JP2008234427A - ユーザ間の対話を支援する装置、方法およびプログラム - Google Patents

Abstract

【課題】対話履歴から有用な情報を選択する対話支援装置を提供すること。
【解決手段】入力文を受付ける入力受付部１０２と、入力文の発話種別が特定の質問であるか否かを判定する判定部１０５と、発話種別が特定の質問である場合に、質問文と応答文と対話が行われた位置を表す位置情報とを対応づけた対話履歴を記憶する履歴記憶部６２１から、入力文と同一または類似の質問文を含む対話履歴を取得する履歴取得部１０７と、入力文を受付けたときの現在位置を表す現在位置情報を取得する位置取得部１０１と、位置情報が表す位置と現在位置情報が表す位置との距離が、予め定められた閾値より小さい対話履歴を選択する選択部１０８と、選択された対話履歴に含まれる応答文と、選択された対話履歴に含まれる位置情報とを出力する出力部１０９とを備えた。
【選択図】 図１

Description

この発明は、過去の対話履歴を参照して複数のユーザ間の対話を支援する装置、方法およびプログラムに関するものである。

近年、文化や経済のグローバル化に伴い、異なる言語を母語とする人同士のコミュニケーションの機会が増加している。そこで、自然言語処理技術、音声認識処理技術、機械翻訳技術、手書き文字認識技術などを統合して、異なる言語を母語とする人同士のコミュニケーションを支援する音声翻訳装置などの対話支援装置に適用する技術に対する期待が高まっている。

例えば、電子メールやチャットなどの対話システムの中で機械翻訳方式を利用する技術や、海外旅行の際に用いる携帯型翻訳機などが開発されている。このような対話支援装置では、上述のようなさまざまな技術が利用されているため、実用的な装置を開発するために、各技術により実行する処理それぞれの精度向上が必要になる。例えば、特許文献１では、装置の現在位置の情報を利用して、音声認識処理で参照する言語モデルを変更し、音声認識の精度を向上する技術が提案されている。

一方、問合せ窓口業務などのように質問者の質問に対して回答者が回答を行うシステムで、過去の対話履歴を蓄積し、新規の質問に対して過去の類似する対話履歴を参照することにより回答者を支援する回答支援システムも広く普及している（例えば、特許文献２）。これらのシステムは、電子メール、インターネット上の掲示板、チャット、またはブログなどを用いた対話のように、質問者と回答者が実際には対面することなく対話を行うときに、異なるユーザによる過去の対話履歴を参照するものである。

特開２０００−２９４９３号公報 特開２００６−９２４７３号公報

しかしながら、特許文献２では、質問者と回答者が対面しながら対話を行うことを想定していないため、対話が行われている場所、周囲の状況、または質問者の発話目的などに応じた適切な回答を得られない場合があるという問題があった。

例えば、「コンビニはどこですか？」という質問であっても、その対話が行われる場所によって、回答内容が全く異なるのは当然のことである。また、同じ場所での発話であっても「コンビニはどこですか？」という質問と「コンビニは好きですか？」という質問の回答が全く異なるのも当然のことである。

これに対し、特許文献２の方法は、単に新規の質問に対して類似する過去の対話履歴を検索するものであるため、全く異なる場所における回答も検索結果として出力される。このように、対話場所等に応じた適切な回答のみを得ることができず、過去の対話履歴を有効に再利用できない場合があった。

本発明は、上記に鑑みてなされたものであって、対話が行われた場所の位置情報を用いて過去の対話履歴から有用な情報を選択して提供することにより対話を支援する装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力文を受付ける入力受付部と、受付けた前記入力文を解析して前記入力文の発話意図の種類を表す発話種別を求め、求めた前記発話種別が特定の質問であるか否かを判定する判定部と、求めた前記発話種別が前記特定の質問である場合に、前記入力文より前に入力された質問を表す文である過去の質問文と、前記過去の質問文に対する過去の応答文と、前記過去の質問文および前記過去の応答文による過去の対話が行われた位置を表す過去の位置情報とを対応づけた対話履歴を記憶する履歴記憶部から、受付けた前記入力文と同一または類似の前記過去の質問文を含む前記対話履歴を取得する履歴取得部と、前記入力文を受付けたときの現在位置を表す現在位置情報を取得する位置取得部と、取得された前記対話履歴から、前記対話履歴に含まれる前記過去の位置情報が表す位置と取得された前記現在位置情報が表す位置との距離が、予め定められた閾値より小さい前記対話履歴を選択する選択部と、選択された前記対話履歴に含まれる前記過去の応答文と、選択された前記対話履歴に含まれる前記過去の位置情報とを出力する出力部と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができる方法およびプログラムである。

本発明によれば、対話が行われた場所の位置情報を用いて過去の対話履歴から有用な情報を選択して提供することにより対話を支援することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる対話支援する装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態にかかる対話支援装置は、対話が行われた位置の情報を対話履歴とともに履歴サーバに保存しておき、新たに入力されたユーザの発話意図の種類を表す発話種別を解析し、発話種別が予め定められた位置情報が有効な種類（例えば位置に関する質問という種類）であると判明した場合、類似する対話履歴の中から、ユーザの現在位置と過去の対話位置との距離がより近い対話を優先的に提示するものである。

以下では、日本語と英語との間の機械翻訳を行って応答を提示することにより対話を支援する音声翻訳装置に適用した例について説明する。なお、翻訳の原言語および目的言語の組み合わせはこれに限るものではなく、あらゆる言語の組み合わせについて適用することができる。また、適用可能な装置は音声翻訳装置に限られるものではなく、特許文献２の回答支援システムのように、翻訳を行わずに、同一言語による質問および回答からなる対話を支援する装置として実現してもよい。

図１は、第１の実施の形態にかかる音声翻訳装置１００を含む音声翻訳システムの全体構成を示すブロック図である。図１に示すように、音声翻訳システムは、複数の音声翻訳装置１００ａ、１００ｂと、履歴サーバ２００とが、インターネットなどのネットワーク３００を介して接続された構成となっている。

なお、ネットワーク３００はインターネットに限られるものではなく、従来から用いられているあらゆるネットワーク形態により構成することができる。

履歴サーバ２００は、複数の音声翻訳装置１００ａ、１００ｂにより行われた対話の履歴（対話履歴）を格納するサーバ装置であり、履歴記憶部２２１と、送受信部２０１と、履歴管理部２０２とを備えている。

履歴記憶部２２１は、対話履歴を記憶する記憶部である。図２は、履歴記憶部２２１に記憶された対話履歴のデータ構造の一例を示す説明図である。図２に示すように、対話履歴は、対話を識別する対話ＩＤと、質問文と、質問文に対する応答である応答文の原文と、応答文の翻訳結果と、対話の行われた位置を表す対話位置と、対話が行われた日時を表す対話日時とを対応づけて格納している。対話位置は、後述する位置取得部１０１により取得される緯度および経度によって表現する。

送受信部２０１は、各音声翻訳装置１００との間で情報の送受信を行うものである。履歴管理部２０２は、音声翻訳装置１００からの要求に応じて、対話履歴の保存処理や、対話履歴の検索処理などの対話履歴に関する処理を実行するものである。

具体的には、履歴管理部２０２は、音声翻訳装置１００から受信した検索キーワードと一致する質問文、または、検索キーワードに対する類似度が所定値以上の質問文を含む対話履歴を検索する。類似する文を検索する技術としては、単語ベクトルを用いる方法など従来から用いられているあらゆる方法を適用できる。

なお、送受信部２０１を介して情報を送受信し、履歴管理部２０２が保存処理や検索処理を実行するのではなく、音声翻訳装置１００から履歴サーバ２００の履歴記憶部２２１にネットワーク３００を介して直接アクセス可能とし、音声翻訳装置１００から直接履歴記憶部２２１に対する保存処理および検索処理を行うように構成してもよい。

音声翻訳装置１００ａ、１００ｂは、個々のユーザによって利用される携帯型対話支援装置であり、同一の構成を備えているため、以下では単に音声翻訳装置１００という場合がある。なお、音声翻訳装置１００の個数は２つに限られるものではない。

図１に示すように、音声翻訳装置１００は、主なハードウェア構成として、規則記憶部１２１と、ＧＰＳ（Global Positioning System）受信機１１１と、マイク１１２と、キーボード１１３と、ディスプレイ１１４と、スピーカ１１５とを備えている。また、音声翻訳装置１００は、主なソフトウェア構成として、位置取得部１０１と、入力受付部１０２と、認識部１０３と、翻訳部１０４と、判定部１０５と、保存部１０６と、履歴取得部１０７と、選択部１０８と、出力部１０９と、送受信部１１０とを備えている。

規則記憶部１２１は、入力された文の発話意図の種類を表す発話種別を決定するための規則を記憶するものである。図３は、規則記憶部１２１に記憶された規則のデータ構造の一例を示す説明図である。

図３に示すように、規則記憶部１２１は、発話意図を判定するためのチェック条件と、判定結果として、発話意図の種類を表す発話種別とを対応づけた規則を記憶している。チェック条件としては、文の末尾の表現のパターンを指定する。また、発話種別としては、質問を意図する発話か否か、質問を意図する発話の場合は、どのような意味内容に関する質問であるかによって分類した発話の種類を指定する。

例えば、同図の最初のレコードでは、文の末尾が「です。」である場合は、発話種別は質問ではないと判定する規則が示されている。また、同図では、文の末尾が「はどこですか。」である場合は、発話種別は、位置に関する質問であると判定する規則が示されている。

なお、履歴サーバ２００の履歴記憶部２２１、および音声翻訳装置１００の規則記憶部１２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

ＧＰＳ受信機１１１は、ＧＰＳ衛星から送信された、位置情報を特定するための電波を受信するものである。マイク１１２は、利用者が発話した音声を入力するものである。なお、日本語ユーザおよび英語ユーザごとに利用するマイクを分けるように構成してもよい。キーボード１１３は、テキストデータの入力や各種操作を行うためのインターフェースである。

ディスプレイ１１４は、対話支援処理で利用される各種画面やメッセージを表示するものである。本実施の形態では、履歴サーバ２００から検索した位置情報を含む対話履歴が、ディスプレイ１１４に表示される。

スピーカ１１５は、後述する翻訳部１０４の翻訳結果を合成した合成音声などの音声データを出力するものである。

位置取得部１０１は、ＧＰＳ受信機１１１が受信した電波から、自装置の現在の位置情報を取得するものである。位置取得部１０１は、位置情報として、緯度および経度の情報を取得する。

入力受付部１０２は、マイク１１２から入力された音声、またはキーボード１１３から入力されたテキストデータを受付けるものである。このように、入力受付部１０２は、音声による入力文を受付けるだけでなく、キーボード１１３などのインターフェースにより入力されたテキストデータによる入力文を受付けることができる。

認識部１０３は、マイク１１２から入力され、入力受付部１０２が受付けた音声を音声認識するものである。認識部１０３による音声認識処理では、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなどを用いた、一般的に利用されているあらゆる音声認識技術を適用することができる。

翻訳部１０４は、認識部１０３による音声認識結果、または、キーボード１１３から入力された発話のテキストデータを、翻訳の目的言語で記述された文に翻訳するものである。翻訳部１０４より行われる翻訳処理は、トランスファ方式、用例ベース方式、統計ベース方式、および中間言語方式などの従来から用いられているあらゆる機械翻訳技術を適用することができる

判定部１０５は、規則記憶部１２１に記憶された規則を参照して受付けた入力文の発話種別を解析し、発話種別が特定の質問であるか否かを判定するものである。具体的には、判定部１０５は、まず、受付けた入力文の末尾と規則のチェック条件とを比較し、一致するチェック条件に対応する発話種別を規則記憶部１２１から取得する。そして、判定部１０５は、取得した発話種別が、特定の質問、例えば、位置に関する質問であるか否かを判定する。

なお、所定の発話種別は位置に関する質問である必要はなく、対話が行われた位置によって回答内容が変更されうるものであれば、その他の種類の質問を所定の発話種別としてもよい。例えば、図２の４件目の対話履歴のように、時間に関する質問「動物園の閉園時間は何時ですか。」については、位置によっていずれの動物園を示すかが異なり、回答が変わりうる。したがって、時間に関する質問を所定の発話種別として定めてもよい。

なお、判定部１０５は、発話を入力したユーザの判定処理も行う。例えば、上述のように１つのマイク１１２で他言語のユーザの入力を受付ける場合、判定部１０５は、認識部１０３による認識結果の言語の違い（例えば日本語と英語）によってユーザの相違を判定する。ユーザの判別方法はこれに限られるものではなく、質問者と応答者とでそれぞれ別のマイクやキーボードを割り当てることによりユーザを判別する方法や、所定のボタンの押下等により入力ユーザを明示的に指定する方法など、従来から用いられているあらゆる方法を適用できる。以下では、質問を入力したユーザを第１ユーザ、当該質問に対する回答を入力したユーザを第２ユーザという場合がある。

保存部１０６は、判定部１０５が第１ユーザの入力が所定の発話種別であると判定した場合、対話履歴を履歴サーバ２００の履歴記憶部２２１に保存するものである。具体的には、保存部１０６は、発話種別が「位置に関する質問」であった場合、第１ユーザおよび第２ユーザの入力が終了した後、位置取得部１０１により取得された現在の位置情報、現在の日付および時刻、および対話内容を対応づけた対話履歴を、後述する送受信部１１０を介して履歴サーバ２００に送信する。

なお、履歴サーバ２００は、送受信部２０１により対話履歴を受信し、受信した対話履歴を履歴管理部２０２によって履歴記憶部２２１に保存する。上述のように、保存部１０６が直接履歴サーバ２００の履歴記憶部２２１にアクセスして保存処理を行うように構成してもよい。

履歴取得部１０７は、判定部１０５が第１ユーザの入力が所定の発話種別であると判定した場合、入力された入力文を検索キーワードとして、検索キーワードと同一または類似する質問文を含む対話履歴を、履歴サーバ２００の履歴記憶部２２１から取得するものである。

具体的には、履歴取得部１０７は、送受信部１１０を介して検索キーワードを履歴サーバ２００に送信し、送信した検索キーワードに対して履歴サーバ２００の履歴管理部２０２が検索して送受信部２０１を介して返信した対話履歴を取得する。なお、上述のように履歴取得部１０７が直接履歴サーバ２００の履歴記憶部２２１にアクセスし、一致または類似する対話履歴を検索するように構成してもよい。

選択部１０８は、履歴取得部１０７が取得した対話履歴から、現在位置に対して所定の距離以内で行われた対話の対話履歴を選択するものである。具体的には、選択部１０８は、取得した対話履歴に含まれる対話位置と、位置取得部１０１から取得した現在の位置との距離を求め、求めた距離が所定の閾値より小さい対話履歴を選択する。

出力部１０９は、ディスプレイ１１４に対する対話履歴の表示、およびスピーカ１１５に対する翻訳結果の音声出力などの出力に関する処理を行うものである。具体的には、出力部１０９は、選択部１０８により選択された対話履歴をユーザに表示する。このとき、出力部１０９は、対話位置と現在の位置との距離が小さい順に並べ替えて対話履歴をディスプレイ１１４に表示する。なお、選択された対話履歴の件数が多い場合は、距離が小さい順に所定の個数分の対話履歴のみを出力するように構成してもよい。

また、出力部１０９は、スピーカ１１５に翻訳結果の合成音声を出力する場合は、翻訳結果を音声に合成する処理を行う。このときに行われる音声合成処理は、音声素片編集音声合成、フォルマント音声合成、音声コーパスベースの音声合成などの一般的に利用されているあらゆる方法を適用することができる。

送受信部１１０は、保存部１０６から送出された保存すべき対話履歴の情報、および履歴取得部１０７から送出された検索キーワードとしての入力文の情報を履歴サーバ２００に送信する処理や、対話履歴の検索結果を履歴サーバ２００から受信する処理を行うものである。

次に、このように構成された第１の実施の形態にかかる音声翻訳装置１００による対話支援処理について図４を用いて説明する。図４は、第１の実施の形態における対話支援処理の全体の流れを示すフローチャートである。

まず、入力受付部１０２が、マイク１１２またはキーボード１１３から入力された発話を受付ける（ステップＳ４０１）。次に、認識部１０３が、受付けた発話を音声認識する（ステップＳ４０２）。なお、キーボード１１３から発話の入力を受付けた場合は、認識部１０３による音声認識処理は不要である。以下では、マイク１１２によって発話が入力されたものとして説明するが、キーボード１１３によって発話が入力された場合は、以下の説明で「認識結果」を「受付けた入力文」と置き換えればよい。

次に、判定部１０５は、第１ユーザの発話か否かを判断し（ステップＳ４０３）、第１ユーザの発話である場合は（ステップＳ４０３：ＹＥＳ）、規則記憶部１２１の規則を参照して、認識結果に対応する発話種別を取得する（ステップＳ４０４）。例えば、認識結果が「コンビニはどこですか」であり、規則記憶部１２１に図３に示すような規則が記憶されている場合、判定部１０５は、発話種別として「位置に関する質問」を取得する。

次に、判定部１０５は、取得した発話種別が「位置に関する質問」であるか否かを判断する（ステップＳ４０５）。取得した発話種別が「位置に関する質問」である場合は（ステップＳ４０５：ＹＥＳ）、履歴取得部１０７は、位置取得部１０１によって現在の位置情報を取得する（ステップＳ４０６）。また、履歴取得部１０７は、認識結果を検索キーワードとして、検索キーワードと一致または類似する質問文を含む対話履歴を履歴サーバ２００から検索する（ステップＳ４０７）。

例えば、「コンビニはどこですか」を検索キーワードとして、図２に示すような履歴記憶部２２１を対象として検索を行った場合、一致する質問文を含む対話ＩＤ＝２の対話履歴と、類似する質問文を含む対話ＩＤ＝１および３の対話履歴とが検索される。

次に、選択部１０８が、検索された対話履歴から、現在の位置から一定距離以内の対話位置を含む対話履歴を選択する（ステップＳ４０８）。例えば、上述のように、入力文「コンビニはどこですか」に対して３件の対話履歴が検索され、現在の位置が北緯３５度、東経１３５度であり、所定の距離が緯度・経度でそれぞれ１分であるとする。この場合、３件の対話履歴のうち、対話ＩＤ＝３の対話履歴は緯度が１分以上異なるため（北緯３４度）選択されず、対話ＩＤ＝１および２の対話履歴のみが選択される。

続いて、出力部１０９が、選択された対話履歴を、現在の位置から対話位置までの距離が小さい順にソートしてディスプレイ１１４に表示する（ステップＳ４０９）。

図５は、第１の実施の形態における対話履歴を表示する表示画面の一例を示す説明図である。図５は、上述の例に対応して、図２の対話ＩＤ＝１および２の対話履歴が表示された例を示している。

同図に示すように、表示画面には、ユーザが入力した発話５０１の下方に、検索された対話履歴が表示されている。対話履歴としては、対話履歴に含まれる応答文の翻訳結果と、対話位置と現在位置とから求めた現在位置に対する相対的な位置関係を表す対話場所と、対話時間とを表示する。対話時間には、対話履歴内の対話日時を参照して決定される「朝」、「昼」、または「夕方」などのような所定の時間範囲を示す情報を表示する。

なお、対話場所として対話履歴に含まれる対話位置（緯度、経度）を表示するように構成してもよい。また、対話場所と現在位置とを図示した地図によって対話場所を表示するように構成してもよい。

図４に戻り、ステップＳ４０３で、第１ユーザの発話でないと判定された場合、すなわち、第２ユーザの発話であると判定された場合は（ステップＳ４０３：ＮＯ）、翻訳部１０４が認識結果を翻訳する（ステップＳ４１０）。

これは、上述のように「コンビニはどこですか」が入力された例であれば、この入力に対して英語を話す第２ユーザが「It stands round that corner.」と発話した場合が相当する。この場合、翻訳部１０４は、この発話を翻訳して翻訳結果として、例えば、日本語「あの交差点を曲がった先です。」を生成する。

次に、第１ユーザおよび第２ユーザによる対話を対話履歴として保存するか否かを判定するために、第１ユーザの発話が所定の発話種別であるか否かを判断する処理が実行される。具体的には、判定部１０５が、翻訳した第２ユーザの発話に対応する第１ユーザの発話の認識結果に対して、ステップＳ４０４と同様の方法により、規則記憶部１２１の規則を参照して発話種別を取得する（ステップＳ４１１）。

なお、対応する第１ユーザの発話は、直前の発話をＲＡＭなどの記憶部（図示せず）に保存しておくことにより取得可能となる。また、第１ユーザの発話を入力した時点で判定した発話種別をＲＡＭなどの記憶部に保存し、保存された発話種別を取得するように構成してもよい。

次に、判定部１０５は、取得した発話種別が「位置に関する質問」であるか否かを判断する（ステップＳ４１２）。取得した発話種別が「位置に関する質問」である場合は（ステップＳ４１２：ＹＥＳ）、保存部１０６は、位置取得部１０１によって現在の位置情報を取得する（ステップＳ４１３）。

次に、保存部１０６は、第１ユーザの発話を質問文、第２ユーザの発話を応答文として、取得した位置情報と対応づけた対話履歴として履歴サーバ２００の履歴記憶部２２１に保存する（ステップＳ４１４）。

例えば、上述の例では、質問文として「コンビニはどこですか」、応答文の原文として「It stands round that corner.」、および応答文の翻訳結果として「あの交差点を曲がった先です。」を、位置情報および対話日時と対応づけた、図２の対話ＩＤ＝３の対話履歴が履歴記憶部２２１に保存される。

ステップＳ４１２で発話種別が「位置に関する質問」でないと判断された場合（ステップＳ４１２：ＮＯ）、または、対話履歴を保存した後（ステップＳ４１４）、出力部１０９は、翻訳部１０４の翻訳結果を出力する（ステップＳ４１５）。例えば、出力部１０９は、翻訳結果を音声合成した音声をスピーカ１１５に対して出力する。また、出力部１０９が、翻訳結果をディスプレイ１１４に表示するように構成してもよい。

ステップＳ４０５で、取得した発話種別が「位置に関する質問」でないと判断された場合（ステップＳ４０５：ＮＯ）、ステップＳ４０９で対話履歴を出力した後、またはステップＳ４１５で翻訳結果を出力した後、対話支援処理が終了する。

このように、第１の実施の形態にかかる対話支援装置では、ユーザの発話意図が予め定められた位置情報が有効な種類であると判明した場合、類似する対話履歴の中から、ユーザの現在位置と過去の対話位置との距離がより近い対話を選択して優先的に提示することができる。このため、対話が行われた場所の位置情報を用いて過去の対話履歴から有用な情報を選択して提供することによりユーザ間の対話を支援することができる。すなわち、発話位置の差異によって回答が大きく異なるような対話で、過去の対話履歴を有効に再利用することが可能となる。

（第２の実施の形態）
第２の実施の形態にかかる対話支援装置は、対話後にユーザが移動した位置の履歴も対話履歴と合わせて保存し、類似する対話履歴を表示するときに、位置履歴も同時に出力するものである。

図６は、第２の実施の形態にかかる音声翻訳装置６１０を含む音声翻訳システムの全体構成を示すブロック図である。図６に示すように、音声翻訳システムは、複数の音声翻訳装置６１０ａ、６１０ｂと、履歴サーバ６２０とが、ネットワーク３００を介して接続された構成となっている。

履歴サーバ６２０は、履歴記憶部６２１と、送受信部２０１と、履歴管理部２０２とを備えている。第２の実施の形態の履歴サーバ６２０は、履歴記憶部６２１に記憶された対話履歴のデータ構造が第１の実施の形態の履歴サーバ２００と異なっている。その他の構成および機能は、第１の実施の形態にかかる履歴サーバ２００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

図７は、履歴記憶部６２１に記憶された対話履歴のデータ構造の一例を示す説明図である。図７に示すように、第２の実施の形態では、対話履歴は、さらに位置履歴１および位置履歴２を含んでいる。位置履歴１は、対話が行われてから３０秒後の音声翻訳装置６１０の位置を表す情報である。位置履歴２は、対話が行われてから１分後の音声翻訳装置６１０の位置を表す情報である。

このように、第２の実施の形態では、対話後の所定時間経過後の位置情報を位置履歴として記憶し、対話履歴の出力時には位置履歴を合わせて表示する。これにより、ユーザは対話が行われた位置だけでなく、その後の移動方向や移動距離を参照できるため、過去の対話に関連する、より有用な情報を得ることが可能となる。

第２の実施の形態の音声翻訳装置６１０は、図６に示すように、主なハードウェア構成として、規則記憶部１２１と、ＧＰＳ受信機１１１と、マイク１１２と、キーボード１１３と、ディスプレイ１１４と、スピーカ１１５とを備えている。また、音声翻訳装置６１０は、主なソフトウェア構成として、位置取得部１０１と、入力受付部１０２と、認識部１０３と、翻訳部１０４と、判定部１０５と、保存部６０６と、履歴取得部１０７と、選択部１０８と、出力部６０９と、送受信部１１０とを備えている。

第２の実施の形態では、保存部６０６、および出力部６０９の機能が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる音声翻訳装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

保存部６０６は、対話履歴を保存した後、さらに一定時間経過ごとに位置取得部１０１により取得した位置情報を履歴サーバ６２０の履歴記憶部６２１に保存する処理が追加された点が、第１の実施の形態の保存部１０６と異なっている。

出力部６０９は、対話履歴を出力するときに、対話履歴に含まれる位置履歴をさらに表示する点が、第１の実施の形態の出力部１０９と異なっている。

次に、このように構成された第２の実施の形態にかかる音声翻訳装置６１０による対話支援処理について図８を用いて説明する。図８は、第２の実施の形態における対話支援処理の全体の流れを示すフローチャートである。

ステップＳ８０１からステップＳ８０８までの、発話受付処理、認識処理、発話種別判定処理、および履歴検索処理は、第１の実施の形態にかかる音声翻訳装置１００におけるステップＳ４０１からステップＳ４０８までと同様の処理なので、その説明を省略する。

対話履歴を選択後、出力部６０９は、選択された対話履歴を、現在の位置から対話位置までの距離が小さい順にソートしてディスプレイ１１４に表示する（ステップＳ８０９）。また、このとき、出力部６０９は、対話履歴に含まれる位置履歴を参照し、対話後の移動方向や距離を参照可能に表示画面に表示する。

図９は、第２の実施の形態における表示画面の一例を示す説明図である。図９に示すように、第２の実施の形態の表示画面には、対話地点、現在地、および移動方向などの情報を含む地図９０１、９０２が表示されている。

同図の矢印が、対話履歴に含まれる位置履歴を参照して示された移動方向を表している。応答文を表示するだけであれば、例えば２件目の対話履歴のように、「あの交差点」がいずれの方向に存在する交差点であるのか、また、「曲がった先」がいずれの方向に曲がることを表すのかが不明であるため、対話履歴から有用な情報を得ることができない。これに対し、本実施の形態のように、対話後の位置履歴を表示するように構成すれば、ユーザは指示対象や方向などを特定可能となるため、対話履歴をより有効に活用できるようになる。

同図の例では、ユーザは、１件目および２件目の対話履歴の移動方向を比較することにより、各応答文によって示されるコンビニがそれぞれ異なるものであるらしいということを推量することが可能となる。これにより、例えば、ユーザはまず１件目の応答文を参照して、東に８０ｍほど移動してコンビニを探すことができる。そして、それによって所望のコンビニが見当たらなければ、あらためて周囲の通行者に、例えば「このすぐ近くにコンビニがありますか？」、または「ここから東に２００ｍくらいのところにコンビニがありますか？」などと質問するといった対話が可能となる。

図８に戻り、さらに対話支援処理の流れについて説明する。ステップＳ８１１からステップＳ８１５までの、翻訳処理、対話履歴保存処理、および翻訳結果出力処理は、第１の実施の形態にかかる音声翻訳装置１００におけるステップＳ４１１からステップＳ４１５までと同様の処理なので、その説明を省略する。

第２の実施の形態では、対話履歴を保存して翻訳結果を出力した後（ステップＳ８１４、ステップＳ８１５）、さらに位置履歴を保存する位置履歴保存処理が実行される（ステップＳ８１６）。

図１０は、位置履歴保存処理の全体の流れを示すフローチャートである。図１０に示すように、位置履歴保存処理では、まず、保存部６０６が、ステップＳ８１４で保存した対話履歴の対話ＩＤを取得する（ステップＳ１００１）。例えば、保存部６０６は、対話履歴保存時にＲＡＭなどの記憶部の所定領域に記憶された対話ＩＤを取得するように構成することができる。

次に、保存部６０６は、位置取得部１０１によって所定の時間間隔で現在の位置情報を取得する（ステップＳ１００２）。例えば、保存部６０６は、３０秒間隔で位置取得部１０１から位置情報を取得する。

次に、保存部６０６は、発話から所定の経過時間が経過したか否かを判断する（ステップＳ１００３）。例えば、所定の経過時間として１分が定められている場合は、発話から１分経過しているか否かを判断する。所定の経過時間が経過していない場合は（ステップＳ１００３：ＮＯ）、保存部６０６は、次の時間間隔が経過後にさらに位置情報を取得して処理を繰り返す（ステップＳ１００２）。

所定の経過時間が経過した場合は（ステップＳ１００３：ＹＥＳ）、保存部６０６は、ステップＳ１００１で取得した対話ＩＤとともに、ステップＳ１００２で取得した位置情報を履歴サーバ６２０に保存する（ステップＳ１００４）。具体的には、保存部６０６は、対話ＩＤと位置履歴とを送受信部１１０を介して履歴サーバ６２０に送信する。なお、履歴サーバ６２０では、送信された位置履歴を、送信された対話ＩＤで識別される対話履歴に対応づけて記憶する。これにより、ステップＳ８０９で対話履歴を出力するとき、出力部６０９が対話履歴に含まれる位置履歴を出力可能となる。

このように、第２の実施の形態にかかる対話支援装置では、対話後のユーザの位置履歴も対話履歴と合わせて保存し、類似する対話履歴を表示するときに、位置履歴も同時に出力することができる。このため、ユーザは位置履歴を参照して、より有用な対話履歴を選択することが可能となる。

（第３の実施の形態）
第３の実施の形態にかかる対話支援装置は、対話後にユーザによる対話の有用度の入力を受付け、受付けた有用度をさらに対話履歴に対応づけて保存し、対話履歴を表示するときに有用度に応じて出力の優先度を決定するものである。

図１１は、第３の実施の形態にかかる音声翻訳装置１１１０を含む音声翻訳システムの全体構成を示すブロック図である。図１１に示すように、音声翻訳システムは、複数の音声翻訳装置１１１０ａ、１１１０ｂと、履歴サーバ１１２０とが、ネットワーク３００を介して接続された構成となっている。

履歴サーバ１１２０は、履歴記憶部１１２１と、送受信部２０１と、履歴管理部２０２とを備えている。第３の実施の形態の履歴サーバ１１２０は、履歴記憶部１１２１に記憶された対話履歴のデータ構造が第２の実施の形態の履歴サーバ６２０と異なっている。その他の構成および機能は、第２の実施の形態にかかる履歴サーバ６２０の構成を表すブロック図である図６と同様であるので、同一符号を付し、ここでの説明は省略する。

図１２は、履歴記憶部１１２１に記憶された対話履歴のデータ構造の一例を示す説明図である。図１２に示すように、第３の実施の形態では、対話履歴は、さらに対話の有用度を含んでいる。同図では、有用度が高い順に、「○」、「△」、「×」の３段階で表した有用度を指定した例が示されている。有用度の表現形式はこれに限られるものではなく、対話が有用である度合いを表すものであれば、数値で表現したものなどあらゆる形式を適用できる。

このように、第３の実施の形態では、ユーザにより入力された対話の有用度を対話履歴に含めて記憶し、対話履歴の出力時には有用度によってソート等を行って対話履歴を表示する。これにより、ユーザは有用な情報を適切に得ることが可能となる。

第３の実施の形態の音声翻訳装置１１１０は、図１１に示すように、主なハードウェア構成として、規則記憶部１２１と、ＧＰＳ受信機１１１と、マイク１１２と、キーボード１１３と、ディスプレイ１１４と、スピーカ１１５とを備えている。また、音声翻訳装置１１１０は、主なソフトウェア構成として、位置取得部１０１と、入力受付部１１０２と、認識部１０３と、翻訳部１０４と、判定部１０５と、保存部１１０６と、履歴取得部１０７と、選択部１０８と、出力部１１０９と、送受信部１１０とを備えている。

第３の実施の形態では、入力受付部１１０２、保存部１１０６、および出力部１１０９の機能が第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかる音声翻訳装置６１０の構成を表すブロック図である図６と同様であるので、同一符号を付し、ここでの説明は省略する。

入力受付部１１０２は、対話終了時に、当該対話の有用度の入力を受付ける機能を有する点が、第２の実施の形態の入力受付部１０２と異なっている。なお、入力方法としては、画面に表示された「○」、「△」、「×」のいずれかを選択する方法や、所定値を最大値とする数値によって有用度を入力する方法など、有用度の表現形式に応じたあらゆる方法を適用できる。

保存部１１０６は、入力受付部１１０２により受付けた有用度を対話履歴に対応づけて保存する処理が追加された点が、第２の実施の形態の保存部６０６と異なっている。

出力部１１０９は、対話履歴を出力するときに、有用度が大きい順にソートし、かつ有用度が所定の閾値以上の有用度である対話履歴を表示する点が、第２の実施の形態の出力部６０９と異なっている。

次に、このように構成された第３の実施の形態にかかる音声翻訳装置１１１０による対話支援処理について図１３を用いて説明する。図１３は、第３の実施の形態における対話支援処理の全体の流れを示すフローチャートである。

ステップＳ１３０１からステップＳ１３０８までの、発話受付処理、認識処理、発話種別判定処理、および履歴検索処理は、第２の実施の形態にかかる音声翻訳装置６１０におけるステップＳ８０１からステップＳ８０８までと同様の処理なので、その説明を省略する。

対話履歴を選択後、出力部１１０９は、選択された対話履歴を、有用度が大きい順にソートしてディスプレイ１１４に表示する（ステップＳ１３０９）。また、出力部１１０９は、優先度が所定値以上の対話履歴をディスプレイ１１４に表示する。例えば、有用度が「○」または「△」である対話履歴のみを表示するように構成する。なお、有用度でソートした後、さらに同一の有用度の対話履歴を、現在の位置から対話位置までの距離の小さい順にソートして表示するように構成してもよい。

図１４は、第３の実施の形態における表示画面の一例を示す説明図である。図１４は、第２の実施の形態での表示画面の一例を示す図９と対比した場合、有用度が「×」である図９の１件目の対話履歴が削除され、有用度が「○」である図９の２件目の対話履歴のみが表示された表示画面の例を表している。

図１３に戻り、さらに対話支援処理の流れについて説明する。ステップＳ１３１１からステップＳ１３１６までの、翻訳処理、対話履歴保存処理、翻訳結果出力処理、および位置履歴保存処理は、第２の実施の形態にかかる音声翻訳装置６１０におけるステップＳ８１１からステップＳ８１６までと同様の処理なので、その説明を省略する。

第３の実施の形態では、位置履歴保存処理の後（ステップＳ１３１６）、入力受付部１１０２が、有用度の入力を受付け（ステップＳ１３１７）、保存部１１０６が、受付けた有用度を履歴サーバ１１２０に保存する処理（ステップＳ１３１８）が追加されている。これにより、ステップＳ１３０９で、出力部１１０９が有用度を参照した出力の制御を実行可能となる。

このように、第３の実施の形態にかかる対話支援装置では、対話後にユーザによる対話の有用度の入力を受付け、受付けた有用度をさらに対話履歴に対応づけて保存し、対話履歴を表示するときに有用度に応じて出力の優先度を決定することができる。このため、位置情報を用いて適切な情報を対話履歴から得るとともに、有用度に応じてより有用な情報のみをユーザに提示可能となる。

なお、上述の第１〜第３の実施の形態では、対話履歴を記憶する履歴サーバを設け、履歴サーバから対話履歴を検索していた。これに対し、音声翻訳装置に対話履歴を記憶する履歴記憶部を備え、この履歴記憶部から対話履歴を検索するように構成してもよい。この場合、履歴サーバのような外部のサーバ装置から定期的に対話履歴のマスターデータを取得して履歴記憶部に保存するように構成してもよいし、自装置で実行された対話の履歴のみを保存するように構成してもよい。また、他の音声翻訳装置と相互に送受信することにより入手した対話履歴を保存するように構成してもよい。

次に、第１〜第３の実施の形態にかかる対話支援装置のハードウェア構成について図１５を用いて説明する。図１５は、第１〜第３の実施の形態にかかる対話支援装置のハードウェア構成を示す説明図である。

第１〜第３の実施の形態にかかる対話支援装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

第１〜第３の実施の形態にかかる対話支援装置で実行される対話支援プログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

第１〜第３の実施の形態にかかる対話支援装置で実行される対話支援プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、第１〜第３の実施の形態にかかる対話支援装置で実行される対話支援プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１〜第３の実施の形態にかかる対話支援装置で実行される対話支援プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１〜第３の実施の形態にかかる対話支援装置で実行される対話支援プログラムは、上述した各部（位置取得部、入力受付部、認識部、翻訳部、判定部、保存部、履歴取得部、選択部、出力部、送受信部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２から対話支援プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかる対話を支援する装置、方法およびプログラムは、発話位置の差異によって回答が大きく異なるような対話で過去の対話履歴を利用して対話を支援する装置、方法およびプログラムに適している。

第１の実施の形態にかかる音声翻訳装置を含む音声翻訳システムの全体構成を示すブロック図である。 第１の実施の形態の履歴記憶部に記憶された対話履歴のデータ構造の一例を示す説明図である。 規則記憶部に記憶された規則のデータ構造の一例を示す説明図である。 第１の実施の形態における対話支援処理の全体の流れを示すフローチャートである。 第１の実施の形態における対話履歴を表示する表示画面の一例を示す説明図である。 第２の実施の形態にかかる音声翻訳装置を含む音声翻訳システムの全体構成を示すブロック図である。 第２の実施の形態の履歴記憶部に記憶された対話履歴のデータ構造の一例を示す説明図である。 第２の実施の形態における対話支援処理の全体の流れを示すフローチャートである。 第２の実施の形態における表示画面の一例を示す説明図である。 位置履歴保存処理の全体の流れを示すフローチャートである。 第３の実施の形態にかかる音声翻訳装置を含む音声翻訳システムの全体構成を示すブロック図である。 第３の実施の形態の履歴記憶部に記憶された対話履歴のデータ構造の一例を示す説明図である。 第３の実施の形態における対話支援処理の全体の流れを示すフローチャートである。 第３の実施の形態における表示画面の一例を示す説明図である。 第１〜第３の実施の形態にかかる対話支援装置のハードウェア構成を示す説明図である。

符号の説明

５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００ａ、１００ｂ 音声翻訳装置
１０１ 位置取得部
１０２ 入力受付部
１０３ 認識部
１０４ 翻訳部
１０５ 判定部
１０６ 保存部
１０７ 履歴取得部
１０８ 選択部
１０９ 出力部
１１０ 送受信部
１１１ ＧＰＳ受信機
１１２ マイク
１１３ キーボード
１１４ ディスプレイ
１１５ スピーカ
１２１ 規則記憶部
２００ 履歴サーバ
２０１ 送受信部
２０２ 履歴管理部
２２１ 履歴記憶部
３００ ネットワーク
５０１ 発話
６１０ａ、６１０ｂ 音声翻訳装置
６０６ 保存部
６０９ 出力部
６２０ 履歴サーバ
６２１ 履歴記憶部
９０１、９０２ 地図
１１１０ａ、１１１０ｂ 音声翻訳装置
１１０２ 入力受付部
１１０６ 保存部
１１０９ 出力部
１１２０ 履歴サーバ
１１２１ 履歴記憶部

Claims (13)

1. 入力文を受付ける入力受付部と、
   受付けた前記入力文を解析して前記入力文の発話意図の種類を表す発話種別を求め、求めた前記発話種別が特定の質問であるか否かを判定する判定部と、
   求めた前記発話種別が前記特定の質問である場合に、前記入力文より前に入力された質問を表す文である過去の質問文と、前記過去の質問文に対する過去の応答文と、前記過去の質問文および前記過去の応答文による過去の対話が行われた位置を表す過去の位置情報とを対応づけた対話履歴を記憶する履歴記憶部から、受付けた前記入力文と同一または類似の前記過去の質問文を含む前記対話履歴を取得する履歴取得部と、
   前記入力文を受付けたときの現在位置を表す現在位置情報を取得する位置取得部と、
   取得された前記対話履歴から、前記対話履歴に含まれる前記過去の位置情報が表す位置と取得された前記現在位置情報が表す位置との距離が、予め定められた閾値より小さい前記対話履歴を選択する選択部と、
   選択された前記対話履歴に含まれる前記過去の応答文と、選択された前記対話履歴に含まれる前記過去の位置情報とを出力する出力部と、
   を備えたことを特徴とする対話支援装置。
2. 前記履歴取得部は、ネットワークを介して接続されたサーバ装置に備えられた前記履歴記憶部から前記対話履歴を取得すること、
   を特徴とする請求項１に記載の対話支援装置。
3. 前記判定部は、求めた前記発話種別が位置に関する質問であるか否かを判定し、
   前記履歴取得部は、求めた前記発話種別が位置に関する質問である場合に、受付けた前記入力文と同一または類似の前記過去の質問文を含む前記対話履歴を前記履歴記憶部から取得すること、
   を特徴とする請求項１に記載の対話支援装置。
4. 前記出力部は、前記距離が小さい順に、選択された前記対話履歴に含まれる前記過去の応答文と、選択された前記対話履歴に含まれる前記過去の位置情報とを出力すること、
   を特徴とする請求項１に記載の対話支援装置。
5. 前記選択部は、取得された前記対話履歴から、前記距離が前記閾値より小さい前記対話履歴を、前記距離が小さい順に予め定められた第１個数分選択すること、
   を特徴とする請求項１に記載の対話支援装置。
6. 前記出力部は、取得された前記現在位置情報が表す位置と選択された前記対話履歴に含まれる前記過去の位置情報が表す位置との相対的な位置関係を示す情報を出力すること、
   を特徴とする請求項１に記載の対話支援装置。
7. 前記入力受付部は、さらに、前記入力文に対する応答文の入力を受付け、
   前記判定部によって、求めた前記発話種別が前記特定の質問であると判定された場合に、受付けた前記入力文と、受付けた前記応答文と、取得した前記現在位置情報とを対応づけた前記対話履歴を前記履歴記憶部に保存する保存部をさらに備えたこと、
   を特徴とする請求項１に記載の対話支援装置。
8. 前記位置取得部は、さらに、前記入力文を受付けた後、予め定められた時間が経過した後の位置を表す経過位置情報を取得し、
   前記保存部は、取得された前記経過位置情報をさらに対応づけた前記対話履歴を前記履歴記憶部に保存し、
   前記出力部は、選択された前記対話履歴に含まれる前記経過位置情報をさらに出力すること、
   を特徴とする請求項７に記載の対話支援装置。
9. 前記入力受付部は、さらに、前記入力文に対する応答文の入力と、受付けた前記入力文および受付けた前記応答文による対話が有用である度合いを表す有用度の入力とを受付け、
   前記判定部によって、求めた前記発話種別が前記特定の質問であると判定された場合に、受付けた前記有用度をさらに対応づけた前記対話履歴を前記履歴記憶部に保存する保存部をさらに備えたこと、
   を特徴とする請求項１に記載の対話支援装置。
10. 前記出力部は、前記有用度が大きい順に、選択された前記対話履歴に含まれる前記過去の応答文と、選択された前記対話履歴に含まれる前記過去の位置情報とを出力すること、
    を特徴とする請求項９に記載の対話支援装置。
11. 前記選択部は、取得された前記対話履歴から、前記距離が前記閾値より小さい前記対話履歴を、前記有用度が大きい順に予め定められた第２個数分選択すること、
    を特徴とする請求項９に記載の対話支援装置。
12. 入力受付部によって、入力文を受付ける入力受付ステップと、
    判定部によって、受付けた前記入力文を解析して前記入力文の発話意図の種類を表す発話種別を求め、求めた前記発話種別が特定の質問であるか否かを判定する判定ステップと、
    履歴取得部によって、求めた前記発話種別が前記特定の質問である場合に、前記入力文より前に入力された質問を表す文である過去の質問文と、前記過去の質問文に対する過去の応答文と、前記過去の質問文および前記過去の応答文による過去の対話が行われた位置を表す過去の位置情報とを対応づけた対話履歴を記憶する履歴記憶部から、受付けた前記入力文と同一または類似の前記過去の質問文を含む前記対話履歴を取得する履歴取得ステップと、
    位置取得部によって、前記入力文を受付けたときの現在位置を表す現在位置情報を取得する位置取得ステップと、
    選択部によって、取得された前記対話履歴から、前記対話履歴に含まれる前記過去の位置情報が表す位置と取得された前記現在位置情報が表す位置との距離が、予め定められた閾値より小さい前記対話履歴を選択する選択ステップと、
    出力部によって、選択された前記対話履歴に含まれる前記過去の応答文と、選択された前記対話履歴に含まれる前記過去の位置情報とを出力する出力ステップと、
    を備えたことを特徴とする対話支援方法。
13. 入力文を受付ける入力受付手順と、
    受付けた前記入力文を解析して前記入力文の発話意図の種類を表す発話種別を求め、求めた前記発話種別が特定の質問であるか否かを判定する判定手順と、
    求めた前記発話種別が前記特定の質問である場合に、前記入力文より前に入力された質問を表す文である過去の質問文と、前記過去の質問文に対する過去の応答文と、前記過去の質問文および前記過去の応答文による過去の対話が行われた位置を表す過去の位置情報とを対応づけた対話履歴を記憶する履歴記憶部から、受付けた前記入力文と同一または類似の前記過去の質問文を含む前記対話履歴を取得する履歴取得手順と、
    前記入力文を受付けたときの現在位置を表す現在位置情報を取得する位置取得手順と、
    取得された前記対話履歴から、前記対話履歴に含まれる前記過去の位置情報が表す位置と取得された前記現在位置情報が表す位置との距離が、予め定められた閾値より小さい前記対話履歴を選択する選択手順と、
    選択された前記対話履歴に含まれる前記過去の応答文と、選択された前記対話履歴に含まれる前記過去の位置情報とを出力する出力手順と、
    をコンピュータに実行させる対話支援プログラム。

Images