JP2022103553A - 情報提供装置、情報提供方法、およびプログラム - Google Patents

Abstract

【課題】音声ユーザインターフェースのユーザビリティを向上させること。【解決手段】実施形態の情報提供装置は、ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供する提供部と、前記ユーザの発話情報を取得する発話取得部と、前記ユーザの状況に関する状況情報を取得する状況取得部と、前記発話取得部により取得される発話情報、前記状況取得部により取得される状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定する重要度決定部と、前記重要度決定部により決定された重要度が閾値以上の特徴語を抽出する抽出部と、前記抽出部により抽出された特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成する情報生成部と、を備える。【選択図】図１

Description

本発明は、情報提供装置、情報提供方法、およびプログラムに関する。

従来、端末装置が音声ユーザインターフェースを用いて受け付けたユーザの発話内容をサーバに送信し、発話内容に応じた情報をサーバから受信して提供するサービスが知られている。上述のサービスに関して、予め電子書籍の商品の次話情報をコンテンツ表示装置に記憶しておき、ユーザが電子書籍の商品を読了した際に次話情報を提供したり、端末装置がサーバとオフライン状態の時に使用する辞書データを提供する技術が存在する（例えば、特許文献１～４参照）。

特開２０１４－６３２２９号公報 特表２０１９－５３６１７２号公報 特開２０１４－１０６５２３号公報 特許第４９１７７２９号公報

ユーザの発話内容や発話に含まれる固有表現等は、ユーザの状況等に応じて変化や流行等によって変化する。しかしながら、情報提供装置が提供する辞書データ等のオフラインデータは、提供先の移動通信機器の記憶容量により制限されるため、オフライン状態において適切な音声認識や充分な情報提供ができない場合があった。そのため、音声ユーザインターフェースのユーザビリティが十分でない場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、音声ユーザインターフェースのユーザビリティを向上させることができる情報提供装置、情報提供方法、およびプログラムを提供することを目的の一つとする。

この発明に係る情報提供装置、情報提供方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報提供装置は、ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供する提供部と、前記ユーザの発話情報を取得する発話取得部と、前記ユーザの状況に関する状況情報を取得する状況取得部と、前記発話取得部により取得される発話情報、前記状況取得部により取得される状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定する重要度決定部と、前記重要度決定部により決定された重要度が閾値以上の特徴語を抽出する抽出部と、前記抽出部により抽出された特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成する情報生成部と、を備える情報提供装置である。

（２）：上記（１）の態様において、前記重要度決定部は、前記ユーザの指向性を示す指向情報に基づいて前記発話情報に含まれる特徴語の重要度を決定するものである。

（３）：上記（１）または（２）の態様において、前記発話情報の取得または認識に関するエラーを検知するエラー検知部を更に備え、前記重要度決定部は、前記エラー検知部による検知結果に基づいて前記発話情報に含まれる特徴語の重要度を決定するものである。

（４）：上記（３）の態様において、前記重要度決定部は、前記エラー検知部により前記エラーが検知された後に、前記発話取得部により取得された発話情報に含まれる特徴語の重要度を、前記エラーが検知されていない状況で取得された発話情報に含まれる特徴語よりも大きくするものである。

（５）：上記（３）または（４）の態様において、前記重要度決定部は、前記エラー検知部により連続して検出された前記エラーの回数に基づいて、前記エラーが検知された後に、前記発話取得部により取得された発話情報に含まれる特徴語の重要度を決定するものである。

（６）：上記（３）～（５）のうち何れか一つの態様において、前記エラー検知部は、前記エラーの種類を検知し、前記抽出部は、前記エラー検知部により検出された前記エラーの種類に応じて、前記エラーが検知された後に、前記発話取得部により取得された発話情報に含まれる特徴語の重要度を決定するものである。

（７）：上記（６）の態様において、前記エラーの種類は、移動通信機器と通信するネットワークに関するエラーであるネットワークエラー、前記発話情報に含まれる発話の意味が理解できないことを示す意味理解エラー、および前記発話情報の音声認識処理に関するエラーを示す音声認識エラーを含み、前記抽出部は、前記音声認識エラーである場合の前記特徴語の重要度を、前記ネットワークエラーである場合よりも大きくし、前記意味理解エラーである場合の前記特徴語の重要度を、前記音声認識エラーである場合よりも大きくするものである。

（８）：上記（１）～（７）のうち何れか一つの態様において、前記重要度決定部は、所定時間における前記発話情報に含まれる同一の特徴語の数に基づいて、前記特徴語の重要度を決定するものである。

（９）：本発明の他の態様は、コンピュータが、ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供し、前記ユーザの発話情報を取得し、前記ユーザの状況に関する状況情報を取得し、取得した前記発話情報、前記状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定し、決定した前記重要度が閾値以上の特徴語を抽出し、抽出した前記特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成する、情報提供方法である。

（１０）：本発明の他の態様は、コンピュータに、ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供させ、前記ユーザの発話情報を取得させ、前記ユーザの状況に関する状況情報を取得させ、取得された前記発話情報、前記状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定させ、決定された前記重要度が閾値以上の特徴語を抽出させ、抽出された前記特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成させる、プログラムである。

上記（１）～（１０）の態様によれば、音声ユーザインターフェースのユーザビリティを向上させることができる。

実施形態の情報提供装置１００を含む情報提供システム１の構成図である。 ユーザ情報ＤＢ２１０の内容について説明するための図である。 観点リスト２１２の内容について説明するための図である。 実施形態の通信端末３００の構成図である。 実施形態のエージェント装置５００が搭載された車両Ｍの概略構成の一例を示す図である。 情報提供装置１００がオフラインデータを提供する一連の流れについて説明するための図である。 言い直し判定の内容について説明するための図である。 エラー種別に重要度が対応付けられた対応テーブルの一例を示す図である。 オフラインデータの一例を示す図である。 オフライン状態における情報提供の一例を示す図である。 情報提供装置１００により実行される回答情報提供処理の流れの一例を示すフローチャートである。 情報提供装置１００により実行されるオフラインデータ提供処理の流れの一例を示すフローチャートである。 エージェント装置５００により実行される処理の一例を示すフローチャートである。

以下、図面を参照し、本発明の情報提供装置、情報提供方法、およびプログラムの実施形態について説明する。

図１は、実施形態の情報提供装置１００を含む情報提供システム１の構成図である。情報提供システム１は、例えば、情報提供装置１００と、ユーザＵ１が利用する通信端末３００と、ユーザＵ２が利用する車両Ｍとを備える。これらの構成要素は、ネットワークＮＷを介して互いに通信可能である。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、電話回線、公衆回線、専用回線、プロバイダ装置、無線基地局等を含む。情報提供システム１には、通信端末３００または車両Ｍのうち、一方または双方が複数含まれてもよい。車両Ｍは、例えば、エージェント装置５００を備える。通信端末３００およびエージェント装置５００のそれぞれは、「移動通信機器」の一例である。以下では、情報提供システム１において、情報提供装置１００と、通信端末３００または車両Ｍ（エージェント装置５００）とがネットワークＮＷを介してリアルタイムに通信できる状態を「オンライン状態」と称し、リアルタイムに通信できない状態を「オフライン状態」と称するものとする。リアルタイムとは、所定の許容時間を含んでもよく、例えば、通信不可状態から所定時間（例えば、５～１０［秒］）以内に通信可能状態に復帰した場合は、リアルタイムに通信できる状態であるものとする。オフライン状態は、例えば、通信環境の悪化やネットワークエラー、通信装置（送受信部）の故障等により発生する。

情報提供装置１００は、通信端末３００とオンライン状態において、通信端末３００からユーザＵ１の発話情報を受け付け、受け付けた発話情報に応じた処理を行い、処理結果を通信端末３００に送信する。発話情報には、例えば、問い合わせや要求等が含まれる。処理結果には、例えば、問い合わせや要求に対する回答情報、音声認識等のエラーに関する情報等が含まれる。また、情報提供装置１００は、エージェント装置５００とオンライン状態において、車両Ｍに搭載されたエージェント装置５００からユーザＵ２の発話情報を受け付け、受け付けた発話情報に応じて処理を行い、処理結果をエージェント装置５００に送信する。また、情報提供装置１００は、通信端末３００やエージェント装置５００が、将来においてオフライン状態になった場合にも、各ユーザＵ１、Ｕ２に情報が提供できるように、事前にオフラインデータを生成し、生成したオフラインデータを通信端末３００やエージェント装置５００に送信する。将来とは、例えば、現時点から所定時間先の時間までの期間である。所定時間は、固定時間でもよく、ユーザの状況（例えば、位置や移動手段）等によって変更される可変時間でもよい。オフラインデータには、例えば、ユーザの発話内容から特徴語を抽出するときに用いられるユーザ固有の辞書データや、特徴語を含む意味情報に応じた対話データ（回答情報）等が含まれる。情報提供装置１００は、例えば、通信端末３００およびエージェント装置５００と、ネットワークＮＷを介して互いに通信し、各種データを送受信するクラウドサーバとして機能してもよい。

通信端末３００は、例えば、スマートフォンやタブレット端末等の携帯型端末である。通信端末３００は、所定周期または所定タイミングで、通信端末３００の位置情報やユーザＵ１により入力された情報、ユーザＵ１の状況に関する状況情報等を、ネットワークＮＷを介して情報提供装置１００に送信する。ここでの状況情報には、例えば、通信端末３００により取得可能なユーザＵ１に関する情報およびユーザＵ１（または通信端末３００）の周囲の状況等が含まれる。また、通信端末３００は、ユーザＵ１からの発話情報を受け付ける。通信端末３００は、情報提供装置１００とオンライン状態である場合には、受け付けた発話情報を情報提供装置１００に送信し、送信した情報に対する回答情報を受信して表示装置等に出力させる。また、通信端末３００は、情報提供装置１００とオフライン状態である場合には、受け付けた発話情報に基づいて記憶部に記憶されたオフラインデータを参照し、発話情報に対応する回答情報を生成して表示装置等に出力させる。

エージェント装置５００が搭載される車両Ｍは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。また、車両Ｍは、自動運転車両であってもよい。自動運転とは、例えば、自動的に車両の操舵または速度のうち、一方または双方を制御して運転制御を実行することである。上述した車両の運転制御には、例えば、ＡＣＣ（Adaptive Cruise Control）や、ＡＬＣ（Auto Lane Changing）、ＬＫＡＳ（Lane Keeping Assistance System）、ＴＪＰ（Traffic Jam Pilot）といった種々の運転制御が含まれてよい。また、自動運転車両には、上述の運転制御を実行する自動運転モードと、乗員（運転者）の手動運転によって運転が制御される手動運転モードが存在する。自動運転モードの場合、手動運転モードと比較して乗員に課されるタスクが小さい。乗員に課されるタスクとは、例えば、車両Ｍの周辺監視や運転操作子への操作（例えば、ステアリングホイールを把持する動作）等である。したがって、自動運転モードの実行中は、例えば乗員は周辺監視を行う必要やステアリングホイールを把持する必要がないため、車両Ｍの走行中に通信端末３００を操作したり、通信端末３００やエージェント装置５００が画面表示した画像等を閲覧することができる。

エージェント装置５００は、所定周期または所定タイミングで、車両Ｍ（エージェント装置５００）の位置情報やユーザＵ２により入力された情報、ユーザＵ２の状況に関する状況情報等を、ネットワークＮＷを介して情報提供装置１００に送信する。ここでの状況情報には、例えば、エージェント装置５００または車両Ｍにより取得可能なユーザＵ２に関する情報、車両Ｍに関する情報、またはユーザＵ２（または車両Ｍ）の周囲の状況等が含まれる。車両Ｍに関する情報には、走行速度や走行距離、走行時間、運転モード（自動運転モード、手動運転モード）等の情報が含まれる。また、エージェント装置５００は、車両Ｍの乗員（例えば、ユーザＵ２）と対話しユーザＵ２からの発話情報を受け付ける。エージェント装置５００は、情報提供装置１００とオンライン状態である場合には、受け付けた発話情報を情報提供装置１００に送信し、送信した情報に対する回答情報を受信して表示装置等に出力させる。また、エージェント装置５００は、情報提供装置１００とオフライン状態である場合には、受け付けた発話情報に基づいて記憶部に記憶されたオフラインデータを参照し、回答情報を生成して表示装置等に出力させる。

［情報提供装置］
情報提供装置１００は、例えば、通信部１１０と、認証部１２０と、取得部１３０と、発話解析部１４０と、エラー検知部１５０と、重要度決定部１６０、抽出部１７０と、オフラインデータ生成部１８０と、提供部１９０と、記憶部２００とを備える。認証部１２０、取得部１３０、発話解析部１４０、エラー検知部１５０、重要度決定部１６０、抽出部１７０、オフラインデータ生成部１８０、および提供部１９０は、それぞれ、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置等に装着されることで情報提供装置１００の記憶装置にインストールされてもよい。オフラインデータ生成部１８０は、「情報生成部」の一例である。

記憶部２００は、上記の各種記憶装置、或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部２００には、例えば、ユーザ情報ＤＢ（Database）２１０、観点リスト２１２、オンライン特徴語ＤＢ２１４、オンライン対話ＤＢ２１６、地図情報２１８、履歴情報２２０、プログラム、およびその他各種情報が格納される。また、記憶部２００に記憶された各種情報やＤＢのうち、少なくとも一部は通信可能な外部装置に記憶されていてもよい。オンライン特徴語ＤＢ２１４は、「辞書データ」の一例である。

ユーザ情報ＤＢ２１０には、例えば、情報提供装置１００が提供するサービスを利用するユーザを識別する情報や認証部１２０による認証処理に用いられる情報等が含まれる。観点リスト２１２には、例えば、ユーザの指向情報が含まれる。指向情報は、例えば、ユーザの指向性を示す情報であり、例えば、ユーザの考え方を示す情報や、趣味や好み等を示す情報（嗜好性の情報）、ユーザの習慣やユーザが重視する事項を示す情報等である。

オンライン特徴語ＤＢ２１４は、情報提供装置１００と移動通信機器とがオンライン状態において、ユーザの発話から自然言語処理によって特徴語を抽出する際に用いられる。オンライン特徴語ＤＢ２１４には、例えば、予め決められた特徴語が蓄積されると共に、流行等によって生成または変化する特徴語が適宜更新されて蓄積される。例えば、オンライン特徴語ＤＢ２１４は、複数のユーザの発話履歴や、ユーザが個人で行動したり、集団で行動した場合等の場面ごとの発話履歴等に基づいて特徴語が生成されていてもよい。

オンライン対話ＤＢ２１６は、ユーザの発話から自然言語処理によって抽出された特徴語を含む意味情報（例えば、問い合わせ文等）に回答情報（対話内容）が対応付けられた情報である。オンライン対話ＤＢ２１６は、回答情報には、文字情報、音声情報、画像情報が含まれてよい。また、回答情報には、地図情報２１８と連携することで取得したＰＯＩ（Point Of Interest）情報や、店舗や施設等に関する情報（例えば、料金やメニュー、駐車場の情報等）、レビュー（評判）に関する情報等の各種案内情報が含まれてよい。オンライン対話ＤＢ２１６は、複数のＤＢにより構成されていてもよく、一部のＤＢが外部装置に記憶されていてもよい。

地図情報２１８は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報２１８は、道路の曲率や車線の情報、位置情報に対応付けられた案内情報が含まれてよい。また、地図情報２１８は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、地図情報２１８には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。地図情報２１８は、例えば、最新であり且つ広範囲の地図データが格納されている。地図情報２１８によって、目的地までの経路に関する情報を提供したり、オンライン対話ＤＢ２１６の回答情報に含まれる店舗や施設、地域、場所に関するＰＯＩ情報を提供することができる。

履歴情報２２０には、例えば、ユーザごとに、移動通信機器から取得した発話情報や、発話情報の取得または認識時に検知したエラー情報、ユーザの状況に関する状況情報、発話内容に対する回答情報等の履歴情報が含まれる。また、履歴情報２２０には、ユーザが一人でいるときの履歴情報（個人履歴）と、ユーザが集団（二以上の人数）でいるときの履歴情報（集団履歴）とが分かれて記憶されていてもよい。集団履歴には、集団に含まれるユーザ以外のメンバーの属性（例えば、家族、チームメイト、ツアー旅行参加者等）の情報が含まれてよい。

通信部１１０は、ネットワークＮＷを介して通信端末３００、エージェント装置５００、その他の外部装置と通信する。また、通信部１１０は、ネットワークＮＷを介して移動通信機器と定期的な通信を行い、通信ができない場合にネットワークエラーとしてエラー情報をエラー検知部１５０に出力する。

認証部１２０は、情報提供システム１を利用するユーザ（ユーザＵ１、Ｕ２等）に関する情報（ユーザ情報ＤＢ２１０）を登録する。例えば、認証部１２０は、移動通信機器からユーザ登録要求を受け付けた場合に、ユーザ情報ＤＢ２１０に含まれる各種情報を入力させるための画像を生成して、登録要求を受け付けた移動通信機器に表示させ、移動通信機器から入力されるユーザに関する情報を取得する。そして、認証部１２０は、移動通信機器から取得したユーザに関する情報を記憶部２００のユーザ情報ＤＢ２１０に登録する。

図２は、ユーザ情報ＤＢ２１０の内容について説明するための図である。ユーザ情報ＤＢ２１０は、例えば、情報提供システム１の利用時等にユーザを認証する認証情報に、住所、氏名、年齢、性別、連絡先等の情報が対応付けられたものである。認証情報には、例えば、ユーザを識別する識別情報であるユーザＩＤやパスワード等が含まれる。また、認証情報には、指紋情報や虹彩情報等の生体認証情報が含まれてもよい。連絡先は、例えば、そのユーザが利用する移動通信機器と情報提供装置１００とが通信するためのアドレス情報である。また、連絡先には、ユーザの電話番号やメールアドレス、端末識別情報等が含まれていてもよい。また、ユーザ情報ＤＢ２１０には、ユーザの家族構成や職業等に関する情報が含まれてもよい。情報提供装置１００は、連絡先の情報に基づいてユーザの移動通信機器と通信し、各種情報を提供する。

認証部１２０は、ユーザ情報ＤＢ２１０に基づいて情報提供システム１のサービスを利用するユーザの認証を行う。例えば、認証部１２０は、移動通信機器から実施形態に係るサービス（情報提供サービス）の利用要求を受け付けたタイミングでユーザの認証を行う。例えば、認証部１２０は、利用要求を受け付けた場合に、ユーザＩＤやパスワード等の認証情報を入力する認証画像を生成し、生成した画像を要求のあった移動通信機器に表示させると共に、表示された画像を用いて入力された入力認証情報に基づいてユーザ情報ＤＢ２１０の認証情報を参照し、入力認証情報に合致する認証情報が格納されているか否かによって、サービスの利用を許可するか否かを判定する。例えば、認証部１２０は、入力認証情報に合致する認証情報がユーザ情報ＤＢ２１０に含まれる場合にはサービスの利用を許可し、合致する情報が含まれていない場合にはサービスの利用を拒否するか、新規登録を行わせるための処理を行う。

また、認証部１２０は、ユーザの新規登録処理を行う場合に、上述したユーザ情報ＤＢ２１０に関する情報の登録に加えて、観点リスト２１２に関する情報の登録を受け付けて、受け付けた情報に基づいて観点リスト２１２の登録を行ってもよい。図３は、観点リスト２１２の内容について説明するための図である。観点リスト２１２には、ユーザＩＤに観点情報が対応付けられている。観点情報には、例えば、ユーザの指向性を示す指向情報が含まれる。指向情報には、例えば、趣味、好きなスポーツ、好きな食べ物、好きな音楽、関心や興味があるもの、その他ユーザを所定のジャンル等で分類できる情報が含まれる。観点リスト２１２は、ユーザ情報ＤＢ２１０に含まれていてもよい。認証部１２０は、ユーザからの指示により、ユーザ情報ＤＢ２１０および観点リスト２１２を更新してもよい。また、観点リスト２１２は、提供部１９０が履歴情報２２０に含まれる情報を用いて統計処理を行い、履歴に含まれる発話に含まれる頻度や回数が閾値以上の単語に対応する観点を観点情報に含めることで生成または更新されてもよい。

取得部１３０は、情報提供装置１００の管理者によって入力された情報や、ネットワークＮＷに接続された移動通信機器や他の外部装置から送信された各種情報を取得する。取得部１３０は、例えば、発話取得部１３２と、状況取得部１３４とを備える。発話取得部１３２は、移動通信機器からユーザの発話情報（例えば、音声データ）を取得する。状況取得部１３４は、移動通信機器からユーザの状況に関する状況情報を取得する。状況情報には、例えば、ユーザの状態や、ユーザに同行する同行者（ユーザが車両Ｍに乗車している場合には、車両Ｍの同乗者）、ユーザの周辺状況、ユーザの予定等の情報が含まれる。ユーザの周辺状況には、例えば、ユーザの周辺の天候、気温、湿度等の情報が含まれ、ユーザが車両Ｍを運転している場合には、道路状況（渋滞の有無、道路形状）等の情報が含まれる。また、ユーザの予定は、例えば、移動通信機器に予め登録されたユーザの予定情報、または他の外部装置（例えば、スケジュールサーバ）に登録された予定情報である。予定情報には、例えば、ユーザの移動または行動する情報が含まれる。また、ユーザの予定には、例えば、車両Ｍに搭載されたナビゲーション装置に設定された目的地に関する情報が含まれてもよい。

発話解析部１４０は、発話取得部１３２により取得された発話情報を解析する。発話解析部１４０は、例えば、ＡＳＲ（Automatic Speech Recognition）機能やＮＬＵ（Natural Language Understanding）機能を備える。例えば、発話解析部１４０は、ＡＳＲ機能として、発話取得部１３２により取得された発話の音声ストリームから音声区間を検出する。例えば、発話解析部１４０は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。また、発話解析部１４０は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声・非音声識別に基づく区間検出を行ってもよく、予め記憶部２００等に記憶された音声区間を検出するためのデータベース（不図示）とのマッチング処理により区間検出を行ってもよい。次に、発話解析部１４０は、検出した音声区間における音声を認識し、音声を文字情報としてテキスト化する。また、発話解析部１４０は、音声区間における音声の音量が小さかったり、独特の抑揚等によって、音声が認識できなかった場合（文字情報としてテキスト化できなかった場合）、認識エラーとしてエラー情報をエラー検知部１５０や提供部１９０に出力する。

また、発話解析部１４０は、ＮＬＵ機能として、テキスト化された文字情報に対する自然言語処理を実行し、文字情報の意味や意図を理解する。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析等が含まれる。形態素解析は、例えば、文字情報を、意味を持つ最小の表現要素の単位に分割し、分割した単位（形態素）ごとの品詞等を解析（抽出）する。このとき、発話解析部１４０は、分割した単語（抽出語）を用いてオンライン特徴語ＤＢ２１４を参照し、システム側で理解可能な特徴語（具体的には、オンライン対話ＤＢ２１６の意味情報に含まれる特徴語に変換されてもよい。構文解析は、例えば、形態素解析により得られた形態素をもとに、文の構造を解析する。意味解析は、例えば、構文解析により得られた構文をもとに、意味や意図を持つまとまりを判別する。文脈解析は、例えば、文単位や文脈単位で意味や意図を解釈する。

また、発話解析部１４０は、解釈した意味に対応する意味情報（発話情報に対する意図情報）を生成する。例えば、発話情報の解釈結果として、「Ａ駅まで何キロ？」、「Ａ駅までどのくらい走る？」等の意味が解釈された場合、発話解析部１４０は、標準文字情報「Ａ駅までの距離は？」に置き換えた意味情報を生成する。これにより、その発話情報が現在位置からＡ駅までの距離を問い合わせているという意図情報を取得することができる。なお、発話解析部１４０は、意味情報を生成する場合にもオンライン特徴語ＤＢ２１４を参照して単語を変換してもよい。これにより、文字揺らぎがあった場合にもオンライン対話ＤＢ２１６から回答情報を取得しやすくすることができる。また、発話解析部１４０は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を解釈したり、解釈結果に基づく意味情報を生成してもよい。また、発話解析部１４０は、予め定義された意図理解モデル等を用いて意味情報を生成してもよい。意図理解モデルは、例えば、発話情報を入力することで、意味情報や意図情報が出力されるためのモデルである。意図理解モデルは、例えば記憶部２００等に記憶されてよい。また、意図理解モデルは、発話解析部１４０による解析結果と正解データ等を用いて更新されてもよい。

なお、発話解析部１４０は、テキスト化された文字情報に対する自然言語処理を実行して意味情報が生成できなかった場合に意味理解エラーとしてエラー情報をエラー検知部１５０や提供部１９０に出力する。意味情報が生成できない場合とは、例えば、上述した形態素解析、構文解析、意味解析、または文脈解析ができない場合や、解釈した意味に対応する意味情報が生成できない場合である。また、発話解析部１４０は、エラーが生じた解析内容に応じて、意味理解エラーを更に細分化してもよい。また、発話解析部１４０は、例えば、エラーが検知された後の発話情報に含まれる特徴語や、エラー等によりユーザが言い直した発話情報に含まれる特徴語等を解析してもよい。

エラー検知部１５０は、通信部１１０によるネットワークエラー、発話解析部１４０による音声認識エラーおよび意味理解エラーを検知する。また、エラー検知部１５０は、他のエラー情報を検知してもよい。

重要度決定部１６０は、発話解析部１４０により解析された発話情報や、状況取得部１３４により取得された状況情報、およびオンライン特徴語ＤＢ２１４に基づいて、発話情報に含まれる特徴語等の重要度を決定する。重要度は、数値であってもよく、レベルや度合を示す指標値であってもよい。更に、重要度決定部１６０は、上述した情報に加えて観点リスト２１２を用いて、発話情報や観点リストに含まれる特徴語の重要度を決定してもよい。また、重要度決定部１６０は、エラー検知部１５０により検知されたエラーの種類に基づいて、その後に認識された発話内容に含まれる特徴語に対する重要度を決定してもよい。重要度決定部１６０による機能の詳細については後述する。

抽出部１７０は、重要度決定部１６０により決定された重要度に基づいて、ユーザによって重要であると推測される特徴語を抽出する。例えば、抽出部１７０は、重要度決定部１６０により決定された重要度が付与された特徴語のうち、重要度が閾値以上の特徴語を抽出する。また、抽出部１７０は、重要度の大きい順から所定数の特徴語を抽出してもよい。

オフラインデータ生成部１８０は、所定周期または所定タイミングで、情報提供装置１００と移動通信機器とがオフライン状態の場合に使用されるユーザ固有のオフラインデータをユーザごとに生成する。所定タイミングとは、例えば、移動通信機器からオフラインデータの生成指示があったタイミングである。オフラインデータには、例えば、抽出部１７０により抽出された特徴語と、特徴語または特徴語を含む意味情報に対応付けられた回答情報（対話情報）とが含まれる。回答情報は、オンライン対話ＤＢ２１６から取得される。また、オフラインデータ生成部１８０は、回答情報に地図情報２１８から取得した地図情報（例えば、目的地までの経路情報や目的地周辺のＰＯＩ情報）等を含めてもよい。また、オフラインデータ生成部１８０は、エージェント装置５００に提供するオフラインデータを生成する場合に、エージェント装置５００が搭載された車両Ｍの運転モードが自動運転モードである場合と、手動運転モードである場合とで、オフラインデータに含まれる回答情報の内容を異ならせてもよい。

提供部１９０は、移動通信機器に各種情報を提供する。例えば、提供部１９０は、オンライン状態において、発話解析部１４０により解析された発話情報に対応する意味情報に基づいてオンライン対話ＤＢ２１６を参照し、合致する意味情報に対応付けられた回答情報を取得する。また、提供部１９０は、ユーザと対話を行うための音声を生成してもよい。提供部１９０は、回答情報を、通信部１１０から移動通信機器に送信させる。また、提供部１９０は、発話解析部１４０により認識エラーや意味理解エラー等のエラー情報を取得した場合に、発話内容が認識できなかったこと、または発話の意図が認識できなかったことを示す情報を通信部１１０から移動通信機器に送信させてもよい。

また、提供部１９０は、オフラインデータ生成部１８０によって生成されたユーザごとのオフラインデータを、ユーザ情報ＤＢ２１０等を参照して、そのユーザが使用する移動通信機器に提供する。また、提供部１９０は、発話情報を送信した移動通信機器が通信端末３００であるか、エージェント装置５００であるかによって提供する情報の種類や情報量、提供するタイミング等を異ならせてもよい。また、提供部１９０は、発話情報や、発話情報の取得または認識時に検知したエラー情報、状況情報、回答情報等を、ユーザＩＤや時刻情報と対応付けて履歴情報２２０に記憶させる。また、提供部１９０は、状況情報に基づいて、ユーザが一人でいるか、集団でいるかを判定し、判定結果に基づいて、個人履歴と、集団履歴とを分けて記憶してもよい。また、提供部１９０は、所定周期または所定タイミングで履歴情報２２０を用いて観点リスト２１２を生成または更新してもよい。

［通信端末］
次に、通信端末３００の構成について説明する。図４は、実施形態の通信端末３００の構成図である。通信端末３００は、例えば、端末側通信部３１０と、入力部３２０と、ディスプレイ３３０と、スピーカ３４０と、マイク３５０と、端末状況取得部３５５と、撮像部３６０と、アプリ実行部３７０と、出力制御部３８０と、端末側記憶部３９０とを備える。端末状況取得部３５５と、アプリ実行部３７０と、出力制御部３８０とは、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置やカードスロット等に装着されることで通信端末３００の記憶装置にインストールされてもよい。

端末側記憶部３９０は、上記の各種記憶装置、或いはＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等により実現されてもよい。端末側記憶部３９０には、例えば、情報提供アプリ３９２、オフラインデータ３９４、プログラム、その他各種情報が格納される。オフラインデータ３９４は、情報提供装置１００から提供されるデータであり、ユーザＵ１固有のオフライン特徴語データやオフライン対話データ等が含まれる。

端末側通信部３１０は、例えば、ネットワークＮＷを利用して、情報提供装置１００、エージェント装置５００、その他の外部装置と通信を行う。また、端末側通信部３１０は、情報提供装置１００と定期的に通信等を行い、その結果やエラー情報等から情報提供装置１００と、オンライン状態であるか、またはオフライン状態であるかの情報を取得する。取得結果は、アプリ実行部３７０に出力される。

入力部３２０は、例えば、各種キーやボタン等の操作によるユーザＵ１の入力を受け付ける。ディスプレイ３３０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等である。入力部３２０は、タッチパネルとしてディスプレイ３３０と一体に構成されていてもよい。ディスプレイ３３０は、出力制御部３８０の制御により、実施形態における各種情報を表示する。スピーカ３４０は、例えば、出力制御部３８０の制御により、所定の音声を出力する。マイク３５０は、例えば、出力制御部３８０の制御により、ユーザＵ１の音声の入力を受け付ける。

端末状況取得部３５５は、内蔵されたＧＰＳ（Global Positioning System）装置（不図示）により通信端末３００の位置情報を取得する。位置情報とは、例えば、二次元の地図座標でもよく、緯度経度情報でもよい。また、端末状況取得部３５５は、通信端末３００の移動方向や移動速度を取得してもよい。また、端末状況取得部３５５は、通信端末３００の周囲の温度や湿度を取得してもよく、外部装置にアクセスして通信端末３００の周囲の天候情報を取得してもよい。また、端末状況取得部３５５は、撮像部３６０の撮像画像に基づいて、画像に含まれるユーザＵ１の表情等からユーザＵ１の状態を認識したり、同行者の有無や人数や種別を認識してもよい。

撮像部３６０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子（イメージセンサ）を利用したデジタルカメラである。撮像部３６０は、例えば、ユーザＵ１の操作によって、ユーザＵ１またはユーザＵ１に同行する同行者の画像を撮像する。

アプリ実行部３７０は、端末側記憶部３９０に記憶された情報提供アプリ３９２が実行されることで実現される。情報提供アプリ３９２は、マイク３５０から取得した発話情報（音声データ）を情報提供装置１００に送信し、情報提供装置１００から提供された回答情報をディスプレイ３３０に出力させたり、スピーカ３４０から出力させるように、出力制御部３８０を制御するアプリケーションプログラムである。回答情報には、例えば、発話情報等に対する回答結果を示す店舗や施設を示す画像や、各店舗や施設に関する画像や音声、目的地までの経路を示す画像や音声が含まれる。また、情報提供アプリ３９２は、アプリケーションの開始または終了を示す情報や、情報提供装置１００からのエラー情報等を、ディスプレイ３３０またはスピーカ３４０から出力させてもよい。

情報提供アプリ３９２は、例えば、ネットワークＮＷを介して外部装置からダウンロードしたものが通信端末３００にインストールされている。情報提供アプリ３９２は、情報提供装置１００の発話解析部１４０と同様にＡＳＲ機能やＮＬＵ機能を備えている。また、情報提供アプリ３９２は、ＡＳＲ機能やＮＬＵ機能に加え、ユーザＵ１と対話を行う対話管理機能、ネットワークＮＷを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現されてもよい。これらの機能の一部または全部は、ＡＩ技術によって実現されてよい。また、これらの機能を行うための構成の一部は、情報提供装置１００に搭載されてもよい。

情報提供アプリ３９２は、認証時に認証画面等をディスプレイ３３０に表示させたり、入力部３２０により入力された情報を、端末側通信部３１０を介して情報提供装置１００に送信したりする。また、情報提供アプリ３９２は、端末状況取得部３５５により取得された情報や、撮像部３６０により撮像された画像、情報提供アプリ３９２により処理された各種情報等を、ネットワークＮＷを介して情報提供装置１００に出力する。

また、情報提供アプリ３９２は、所定周期または所定のタイミングで情報提供装置１００からオフラインデータ３９４を取得し、取得したオフラインデータ３９４を端末側記憶部３９０に記憶させる。情報提供アプリ３９２は、通信端末３００と情報提供装置１００とがオフライン状態である場合、またはユーザＵ１によりオフラインデータ３９４を使用する指示を受け付けた場合に、ユーザＵ１からの発話情報等に対して、オフラインデータ３９４を参照して、問い合わせや要求等に対応する回答を生成し、生成した回答をディスプレイ３３０やスピーカ３４０等から出力させる。なお、情報提供アプリ３９２は、ユーザＵ１の指示により、オフライン状態だけでなく、オンライン状態であってもオフラインデータ３９４を用いて回答情報を取得してもよい。これにより、レスポンスタイムを向上させることができると主に、通信データ量を削減することができる。

出力制御部３８０は、アプリ実行部３７０の制御により、ディスプレイ３３０に表示させる画像の内容や表示態様、スピーカ３４０に出力させる音声の内容や出力態様を制御する。

［車両］
次に、エージェント装置５００が搭載された車両Ｍの概略構成について説明する。図５は、実施形態のエージェント装置５００が搭載された車両Ｍの概略構成の一例を示す図である。図５に示す車両Ｍには、エージェント装置５００と、マイク６１０と、表示・操作装置６２０と、スピーカ６３０と、ナビゲーション装置６４０と、ＭＰＵ（Map Positioning Unit）６５０と、車両機器６６０と、車載通信装置６７０と、乗員認識装置６９０と、自動運転制御装置７００とが搭載される。また、スマートフォン等の汎用通信装置６８０が車室内に持ち込まれ、通信装置として使用される場合がある。汎用通信装置６８０は、例えば、通信端末３００である。これらの装置は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。

先にエージェント装置５００以外の構成について説明する。マイク６１０は、車室内で発せられた音声（発話）を収集する収音部である。表示・操作装置６２０は、画像を表示すると共に、入力操作を受付可能な装置（或いは装置群）である。表示・操作装置６２０は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置６２０は、更に、ＨＵＤ（Head Up Display）や機械式の入力装置を含んでもよい。スピーカ６３０は、例えば、車室内や車外に音声や警報音等を出力する。表示・操作装置６２０は、エージェント装置５００とナビゲーション装置６４０とで共用されてもよい。

ナビゲーション装置６４０は、ナビＨＭＩ（Human Machine Interface）と、ＧＰＳ等の位置測位装置と、地図情報を記憶した記憶装置と、経路探索等を行う制御装置（ナビゲーションコントローラ）とを備える。マイク６１０、表示・操作装置６２０、およびスピーカ６３０のうち一部または全部がナビＨＭＩとして用いられてもよい。ナビゲーション装置６４０は、位置測位装置によって特定された車両Ｍの位置に基づいて地図情報を参照し、地図情報から車両Ｍの位置からユーザによって入力された目的地まで移動するための経路（ナビ経路）を探索し、経路に沿って車両Ｍが走行できるように、ナビＨＭＩを用いて案内情報を出力する。経路探索機能は、ネットワークＮＷを介してアクセス可能な情報提供装置１００やナビゲーションサーバにあってもよい。この場合、ナビゲーション装置６４０は、情報提供装置１００やナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置５００は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置５００は、ハードウェア上は一体に構成される。

ＭＰＵ６５０は、例えば、ナビゲーション装置６４０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、ブロックごとに推奨車線を決定する。例えば、ＭＰＵ６５０は、左から何番目の車線を走行するといった決定を行う。また、ＭＰＵ６５０は、ナビゲーション装置６４０の記憶装置に記憶された地図情報よりも高精度な地図情報（高精度地図）を用いて推奨車線を決定してもよい。高精度地図は、例えば、ＭＰＵ６５０の記憶装置に記憶されていてもよく、ナビゲーション装置６４０の記憶装置やエージェント装置５００の車両側記憶部５６０に記憶してもよい。高精度地図は、車線の中央の情報あるいは車線の境界の情報、道路形状、交通規制情報、住所情報（住所・郵便番号）等が含まれてよい。

車両機器６６０は、例えば、カメラ（撮像部）やレーダ装置、ＬＩＤＡＲ（Light Detection and Ranging）、物体認識装置である。カメラは、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。カメラは、車両Ｍの任意の箇所に取り付けられる。レーダ装置は、車両Ｍの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。ＬＩＤＡＲは、車両Ｍの周辺に光を照射し、散乱光を測定する。ＬＩＤＡＲは、発光から受光までの時間に基づいて、対象までの距離を検出する。物体認識装置は、カメラ、レーダ装置、およびＬＩＤＡＲのうち一部または全部による検出結果に対してセンサフュージョン処理を行って、車両Ｍの周辺に存在する物体の位置、種類、速度等を認識する。物体認識装置は、認識結果をエージェント装置５００や自動運転制御装置７００に出力する。

また、車両機器６６０は、例えば、運転操作子や、走行駆動力出力装置、ブレーキ装置、ステアリング装置等を含む。運転操作子は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、エージェント装置５００や自動運転制御装置７００、もしくは、走行駆動力出力装置、ブレーキ装置、およびステアリング装置のうち一部または全部に出力される。走行駆動力出力装置は、車両Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。ブレーキ装置は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、自動運転制御装置７００から入力される情報、或いは運転操作子から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ステアリング装置は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、自動運転制御装置７００から入力される情報、或いは運転操作子から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

車載通信装置６７０は、例えば、セルラー網やＷｉ－Ｆｉ網を利用してネットワークＮＷにアクセス可能な無線通信装置である。また、車載通信装置６７０は、情報提供装置１００と定期的に通信等を行い、その結果やエラー情報等から情報提供装置１００と、オンライン状態であるか、またはオフライン状態であるかの情報を取得する。取得結果は、エージェント装置５００に出力される。

乗員認識装置６９０は、例えば、着座センサ、車室内カメラ、画像認識装置等を含む。着座センサは座席の下部に設けられた圧力センサ、シートベルトに取り付けられた張力センサ等を含む。車室内カメラは、車室内に設けられたＣＣＤカメラやＣＭＯＳカメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとのユーザの有無、ユーザの顔等を認識して、ユーザの着座位置を認識する。また、乗員認識装置６９０は、予め登録された顔画像とのマッチング処理を行うことで、画像に含まれる運転席や助手席等に着座する同乗者を特定してもよい。また、乗員認識装置６９０は、車室内カメラの画像に含まれる乗員の表情等から乗員の状態（例えば、疲れている、眠い等）を認識してもよい。

自動運転制御装置７００は、自動運転モードにより車両Ｍを走行させる。自動運転制御装置７００は、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより処理を行う。自動運転制御装置７００の構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置７００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置７００のＨＤＤやフラッシュメモリにインストールされてもよい。

自動運転制御装置７００は、車両機器６６０の物体認識装置を介して入力された情報に基づいて、車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。自動運転制御装置７００は、原則的にはＭＰＵ６５０により決定された推奨車線を走行し、更に、車両Ｍの周辺状況に対応できるように、車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。

自動運転制御装置７００は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント、自動駐車イベント等がある。自動運転制御装置７００は、起動させたイベントに応じた目標軌道を生成する。また、自動運転制御装置７００は、生成した目標軌道を、予定の時刻通りに車両Ｍが通過するように、車両機器６６０の走行駆動力出力装置、ブレーキ装置、およびステアリング装置を制御する。例えば、自動運転制御装置７００は、目標軌道（軌道点）に付随する速度要素に基づいて、走行駆動力出力装置またはブレーキ装置を制御したり、目標軌道の曲がり具合に応じて、ステアリング装置を制御する。

次に、エージェント装置５００について説明する。エージェント装置５００は、例えば、車両Ｍの乗員（例えば、ユーザＵ２等）と対話を行い、オンライン状態にはマイク６１０により取得した乗員からの音声データを情報提供装置１００に送信し、情報提供装置１００から得られた回答を、音声出力や画像表示の形で乗員に提示する。エージェント装置５００は、例えば、管理部５２０と、エージェント機能部５４０と、車両側記憶部５６０とを備える。管理部５２０は、例えば、音響処理部５２２と、表示制御部５２４と、音声制御部５２６とを備える。図５に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部５４０と車載通信装置６７０の間に管理部５２０が介在するように、任意に改変することができる。

エージェント装置５００の車両側記憶部５６０以外の各構成要素は、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

車両側記憶部５６０は、上記の各種記憶装置、或いはＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現されてもよい。車両側記憶部５６０には、例えば、オフラインデータ５６２、プログラム、その他各種情報が格納される。オフラインデータ５６２は、情報提供装置１００から提供されるデータであり、ユーザＵ２固有のオフライン特徴語データやオフライン対話データ等が含まれる。

管理部５２０は、ＯＳ（Operating System）やミドルウェア等のプログラムが実行されることで機能する。音響処理部５２２は、車両Ｍの乗員（例えば、ユーザＵ２）から受け付けた各種音声のうち、問い合わせや要求等に関する情報を認識するのに適した状態になるように、入力された音に対して音響処理を行う。

表示制御部５２４は、エージェント機能部５４０からの指示に応じて、表示・操作装置６２０等の出力装置に車両Ｍの乗員からの発話情報に対応する回答情報の画像を生成する。回答情報の画像とは、例えば、問い合わせや要求等に対する回答結果を示す店舗や施設の一覧リストを示す画像や、各店舗や施設に関する画像、目的地までの走行経路を示す画像等である。

音声制御部５２６は、エージェント機能部５４０からの指示に応じて、スピーカ６３０に含まれるスピーカのうち一部または全部に音声を出力させる。音声には、例えば、エージェント画像が乗員と対話を行うための音声や、表示制御部５２４により画像を表示・操作装置６２０に出力された画像に対応する音声、回答結果に基づく音声が含まれる。

エージェント機能部５４０は、管理部５２０により取得される各種情報に基づいて、車両Ｍの乗員の発話に応じて、音声による応答を含むサービスを提供する。エージェント機能部５４０は、情報提供装置１００の発話解析部１４０と同様にＡＳＲ機能やＮＬＵ機能を備えていてもよい。また、エージェント機能部５４０は、ユーザＵ２と対話を行う対話管理機能、ネットワークＮＷを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現されてもよい。これらの機能の一部または全部は、ＡＩ技術によって実現されてよい。また、これらの機能を行うための構成の一部は、情報提供装置１００に搭載されてもよい。

例えば、エージェント機能部５４０は、音響処理部５２２により処理された音声ストリームや、ナビゲーション装置６４０、乗員認識装置６９０、および車両機器６６０等から取得した情報、自動運転制御装置７００の制御状態等を、車載通信装置６７０を介して情報提供装置１００に送信したり、情報提供装置１００から得られる情報を乗員に提供する。また、エージェント機能部５４０は、汎用通信装置６８０と連携し、情報提供装置１００と通信する機能を備えていてもよい。この場合、エージェント機能部５４０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によって汎用通信装置６８０とペアリングを行い、エージェント機能部５４０と汎用通信装置６８０とを接続させる。また、エージェント機能部５４０は、ＵＳＢ（Universal Serial Bus）等を利用した有線通信によって汎用通信装置６８０に接続されるようにしてもよい。

また、エージェント機能部５４０は、所定周期または所定タイミングで情報提供装置１００からオフラインデータを取得した場合に、オフラインデータ５６２として車両側記憶部５６０に記憶させる。また、エージェント機能部５４０は、車載通信装置６７０や汎用通信装置６８０における情報提供装置１００との通信状況を取得し、通信状態がオフライン状態である場合にマイク６１０から取得した音声（発話情報）に基づいて、オフラインデータ５６２を参照し、発話情報に対応する回答情報を取得し、管理部５２０を介してユーザＵ２に提供する。これにより、車両Ｍ（エージェント装置５００）と情報提供装置１００とがオフライン状態である場合にも、オフラインデータ５６２を用いて、ユーザＵ２に情報を提供することができる。また、エージェント機能部５４０は、ユーザＵ２の指示により、オフライン状態だけでなく、オンライン状態であってもオフラインデータ５６２を用いて回答情報を取得してもよい。これにより、レスポンスタイムを向上させることができると主に、通信データ量を削減することができる。

［重要度の決定とオフラインデータの生成］
次に、情報提供装置１００がオフラインデータを提供する一連の流れのうち、特に特徴語に対する重要度の決定およびオフラインデータの生成について具体的に説明する。図６は、情報提供装置がオフラインデータを提供する一連の流れについて説明するための図である。図６の例では、移動通信機器の一例として、車両Ｍに搭載されたエージェント装置５００を用いるものとする。また、図６の例では、既に観点リスト２１２、オンライン特徴語ＤＢ２１４、オンライン対話ＤＢ２１６、および地図情報２１８が記憶部２００に記憶されているものとする。

図６の例において、情報提供装置１００の取得部１３０は、エージェント装置５００とオンライン状態において、エージェント装置５００から発話情報および状況情報を取得する。状況取得部１３４が取得する状況情報には、例えば、乗員認識装置６９０により認識された乗員状態や同乗者の状況、車両機器６６０により検出される運転環境、ナビゲーション装置６４０により設定された予定情報等の情報が含まれる。同乗者の状況には、例えば、同乗者の有無、人数、種別（家族、友人等）が含まれる。運転環境には、例えば、車両Ｍの走行距離や走行時間、運転モード、車両Ｍの周辺の天候、気温、温度等の情報が含まれる。予定情報には、例えば、車両Ｍの目的地の情報やユーザＵ２の行動に関する情報（例えば、レストランの予約）が含まれる。

発話解析部１４０は、エージェント装置５００から送信された発話情報を解析する。また、発話解析部１４０は、エラー検知部１５０等により検知されたエラー情報に基づいて、言い直し判定を行う。図７は、言い直し判定の内容について説明するための図である。図７の例において、“ＡＢＣ”は、オンライン特徴語ＤＢ２１４やオンライン対話ＤＢ２１６に登録されている特徴語であるものとし、“ＡＡＡ”、“ＡＢＡ”は、オンライン特徴語ＤＢ２１４やオンライン対話ＤＢ２１６に登録されておらず装置側で意味が理解できない特徴語であるものとする。例えば、ユーザが１回目に“ＡＡＡ”と発話した場合、発話解析部１４０は、発話解析結果を意味理解エラーとしてユーザＵ２に出力する。また、ユーザが２回目および３回目に“ＡＢＡ”と発話した場合にも、発話解析部１４０はそれぞれ意味理解エラーとして解析結果をユーザに出力する。そして、ユーザが４回目に“ＡＢＣ”と発話し、発話解析結果として特徴語が抽出された場合、発話解析部１４０は、その前に発話された“ＡＡＡ”、“ＡＢＡ”を言い直した特徴語であると判定する。また、発話解析部１４０は、意味理解エラーに加えて、認識エラーの場合にも同様の言い直し判定処理を行ってもよい。

提供部１９０は、発話情報や言い直し判定結果を発話履歴として履歴情報２２０に記憶させる。また、提供部１９０は、エラー検知部１５０により検知されたエラー情報を発話エラー履歴として履歴情報２２０に記憶させ、状況情報も発話履歴等と対応付けて履歴情報２２０に記憶させる。また、提供部１９０は、発話情報に対する回答情報を履歴情報２２０に記憶させてもよい。

重要度決定部１６０は、履歴情報２２０やオンライン特徴語ＤＢ２１４に基づいて、発話情報に含まれる特徴語の重要度を決定する。発話情報に含まれる特徴語には、例えば、発話情報に含まれる抽出語だけでなく、オンライン特徴語ＤＢ２１４によって抽出語から変換された特徴語が含まれてもよい。例えば、重要度決定部１６０は、所定時間における発話情報に含まれる同一の特徴語の数に基づいて、特徴語の重要度を決定する。例えば、重要度決定部１６０は、数が多い特徴語ほど、その特徴語の重要度を大きくする。これにより、ユーザが言い易い特徴語や、最近使用している流行に合わせた特徴語の重要度を大きくすることができる。

また、重要度決定部１６０は、オンライン特徴語ＤＢ２１４に含まれる特徴語のうち、更新日が新しい（現時点より所定日数前）の特徴語の重要度を他の特徴語よりも大きくしてもよい。更新日が新しい特徴語は、最近の流行によって追加された可能性が高く、ユーザＵ２が使用する可能性も高い。したがって、更新日の新しい特徴語の重要度を大きくすることで、将来においてユーザが使用する特徴語をオフラインデータに含め易くすることができる。

また、重要度決定部１６０は、状況情報に基づいて、同乗者に子供が含まれる場合に、子供が好きなテーマパーク等の施設や子供が好きなレストランに関する特徴語の重要度を、他の特徴語よりも大きくする。また、重要度決定部１６０は、状況情報に基づいて、乗員状態（ユーザＵ２の状態）が疲れている状態であると認識されている場合に、休憩できる施設に関する特徴語の重要度を、他の特徴語よりも大きくしてもよい。また、重要度決定部１６０は、状況情報に基づいて、予定情報に含まれる目的地付近の店舗や施設に関する特徴語の重要度を、他の特徴語よりも大きくしてもよい。

また、重要度決定部１６０は、個人履歴と集団履歴とを分けて管理している場合に、車両Ｍに同乗者がいない場合には個人履歴を用い、同乗者がいる場合には集団履歴を用いて発話情報に含まれる特徴語の重要度を決定してもよい。また、重要度決定部１６０は、ユーザの位置情報や予定情報、個人での行動傾向、集団での行動傾向等に基づいて、将来においてユーザＵ２が問い合わせる可能性が高い店舗や施設に関する特徴語の重要度を他の特徴語よりも大きくしてもよい。

また、重要度決定部１６０は、観点リスト２１２に基づいて、特徴語の重要度を決定してもよい。この場合、重要度決定部１６０は、例えば、発話解析部１４０により解析された特徴語のうち、観点リスト２１２に含まれる指向情報に関連のある特徴語の重要度を、指向情報に関連のない特徴語よりも大きくする。例えば、観点リスト２１２に含まれるユーザの指向情報に「イタリアン」が含まれる場合、発話情報に含まれる特徴語のうち、イタリアンに関する特徴語（例えば、イタリアンの店舗情報、店のレビュー情報、メニュー、ビザ、パスタに関連する特徴語）の重要度を、他の特徴語よりも大きくする。また、重要度決定部１６０は、観点リスト２１２に含まれる観点情報の特徴語に対して、重要度を決定してもよい。この場合、重要度決定部１６０は、観点情報に含まれる特徴語のうち、ユーザＵ２の発話内容に含まれる頻度や回数が多いほど、その特徴語の重要度を大きくする。

また、重要度決定部１６０は、発話解析部１４０により解析された言い直し判定結果や発話エラー情報に基づいて、特徴語の重要度を設定してもよい。ユーザが言い直しをしてまで音声認識させようとした発話内容は、ユーザが重要視している内容である可能性が高い。したがって、エラーの後に認識された発話情報に含まれる特徴語の重要度を、エラー検知されていない状況で取得された発話情報に含まれる特徴語よりも大きくすることで、ユーザが重要視している特徴語の重要度を大きくすることができる。

図７の例の場合、重要度決定部１６０は、言い直しにより４回目で認識された特徴語“ＡＢＣ”の重要度を、他の特徴語よりも大きくする。また、重要度決定部１６０は、エラー（意味理解エラーまたは認識エラー）となった語（以下、エラーワードと称する）“ＡＡＡ”および“ＡＢＡ”を特徴語“ＡＢＣ”と対応付けて管理してもよい。また、重要度決定部１６０は、エラーワードに対して重要度を決定してもよい。

また、重要度決定部１６０は、エラー検知部１５０により連続して検出されたエラーの回数に基づいて、エラーが検知された後に、解析された発話情報に含まれる特徴語の重要度を決定してもよい。また、重要度決定部１６０は、言い回しの回数に基づいて、連続して言い直した後に解析された発話情報に含まれる特徴語の重要度を決定してもよい。例えば、重要度決定部１６０は、エラー回数（言い直した回数）応じて特徴語およびエラーワードの重要度を段階的に大きくしてもよい。例えば、図７の例において、重要度決定部１６０は、特徴語“ＡＢＣ”の前に３回連続でエラーを検知している（または言い直している）ため、特徴語“ＡＢＣ”に対して３回に応じた重要度を設定する。また、図７の例では、エラーワード“ＡＡＡ”は１回エラーとなり、エラーワード“ＡＢＡ”は２回エラーとなっている。そのため、重要度決定部１６０は、エラーワード“ＡＢＡ”の重要度を、エラーワード“ＡＡＡ”よりも大きくする。

また、重要度決定部１６０は、エラーワードを発話した順番に基づいて重要度を決定してもよい。例えば、最初に発話した内容（例えばエラーワード“ＡＡＡ”）は、ユーザが言い易い、または、よく使用する発話内容である。そのため、重要度決定部１６０は、最初の発話内容の重要度を、２回目以降にユーザが使用した内容（例えば、エラーワード“ＡＢＡ”）よりも大きくする。

また、重要度決定部１６０は、エラー検知部１５０により検知されたエラーの種類に応じて特徴語の重要度を設定してもよい。図８は、エラー種別に重要度が対応付けられた対応テーブルの一例を示す図である。対応テーブルは、例えば記憶部２００に記憶される。図８の例において、重要度は「Ａ」が最も大きく、次に「Ｂ」、「Ｃ」の順で小さくなるものとする。図８の例では、音声認識エラーである場合の特徴語の重要度をネットワークエラーである場合よりも大きくし、意味理解エラーである場合の特徴語の重要度を、音声認識エラーである場合よりも大きくしている。また、対応テーブルには、他のエラー種別に対する重要度が設定されていてもよい。図７の例では、特徴語“ＡＢＣ”は、意味理解エラーの後に認識された特徴語であるため、重要度「Ａ」が設定される。このように、エラーの種類に基づいて、対話型情報提供サービスにおける音声ユーザインターフェースとの関連性が高いエラーに関して重要度を大きくすることで、オフラインデータにおける性能の劣化を抑制することができ、音声ユーザインターフェースのユーザビリティを向上させることができる。

また、重要度決定部１６０は、ユーザＵ２に情報を提供したタイミングで、ユーザＵ２がどのようなフォードバック（選択、放置、拒否）をシステム側に返したか、情報を提供したときのユーザの状況（例えば、会話中、自動運転中、手動運転中、個人行動中、集団行動中）等に基づいて、特徴語の重要度を設定してもよい。

重要度決定部１６０は、上述した一以上の重要度の決定基準を統合的に組み合わせて重要度を決定してもよい。また、重要度決定部１６０は、重要度を所定の指標値に変換してもよい。また、重要度決定部１６０は、重要度付き特徴語リストを生成する。重要度付き特徴語リストには、特徴語ごとに重要度が対応付けられている。特徴語には、エラーワードが含まれていてもよい。また、重要度付き特徴リストは、重要度の大きい順または小さい順にソートされていてもよい。

次に、抽出部１７０は、例えば、重要度付き特徴語リストから、重要度が閾値以上の特徴語、または重要度が大きい順に所定数の特徴語を抽出する。オフラインデータ生成部１８０は、抽出部１７０により抽出された特徴語と、オンライン対話ＤＢ２１６、地図情報２１８等に基づいて、エージェント装置５００で使用される情報であるオフラインデータを生成する。

図９は、オフラインデータの一例を示す図である。図９に示すオフラインデータには、例えばオフライン特徴語データと、オフライン対話データと、オフライン意図理解モデルとが含まれる。オフライン特徴語データは、ユーザＵ２の発話から自然言語処理によって特徴語を抽出する際に用いられる。オフライン特徴語データには、例えば、発話情報に含まれる抽出語に、特徴語が対応付けられている。オフライン特徴語データには、一以上の抽出語に一つの特徴語が対応付けられている。抽出語には、オフライン対話データの意味情報に含まれる特徴語が含まれてもよい。

オフライン対話データには、例えば、特徴語を含む意味情報に回答情報が対応付けられている。回答情報には、エージェント装置５００から出力させる対話用の音声情報や、特徴語に対応する画像（静止画像、動画像）等の情報が含まれる。これらの情報は、オンライン対話ＤＢ２１６から取得される。また、回答情報には、地図情報２１８から取得した特徴語に関連する地図情報（例えば、経路情報）が含まれていてもよい。オフライン意図理解モデルには、例えば、発話情報に意図情報が対応付けられている。オフラインデータ生成部１８０は、オフライン特徴語データがオンライン特徴語ＤＢ２１４よりもデータ量が少なく、オフライン対話データがオンライン対話ＤＢ２１６よりもデータ量が少なく、オフライン意図理解モデルが意図理解モデルよりもデータ量が少ないオフラインデータを生成する。オフラインデータのデータ量は、例えば、エージェント装置５００の車両側記憶部５６０の空き容量等に基づいて設定される。また、オフラインデータ生成部１８０は、例えば、オフライン特徴語データのみを含むオフラインデータを生成してもよく、オフライン対話データのみを含むオフラインデータを生成してもよい。

提供部１９０は、オフラインデータ生成部１８０により生成されたオフラインデータをエージェント装置５００に提供する。これにより、エージェント装置５００のオフラインデータ５６２が生成または更新される。エージェント装置５００は、例えば、情報提供装置１００とオフライン状態である場合であってもオフラインデータ５６２を用いてユーザＵ２により適切な情報を提供することができる。また、ユーザＵ２に発話履歴に基づいて辞書データを生成および更新することで、ユーザの使用頻度の多い単語や文章を特徴語として認識することができる。したがって、音声ユーザインターフェースのユーザビリティを向上させることができる。

図１０は、オフライン状態における情報提供の一例を示す図である。図１０の例では、車両Ｍを運転しているユーザＵ２と、オフラインデータ５６２を保持したエージェント装置５００との対話の一例を示している。また、図１０の例において、エージェント装置５００は、情報提供装置１００とオフライン状態であるか、またはユーザＵ２の指示よりオフラインデータ５６２を用いて対話するよう指示されているものとする。

図１０の例において、ユーザＵ２がオフライン状態のエージェント装置５００に「この近くの“ＡＡＡ”を探して」と発話したとする。ここで、“ＡＡＡ”は店舗であるものとする。エージェント装置５００は、ユーザＵ２の発話内容を解析し、取得した発話情報から“ＡＡＡ”という単語を抽出する。次に、エージェント装置５００は、抽出語“ＡＡＡ”を用いて変換辞書データを参照し、抽出語に対応付けられた特徴語として“ＡＢＣ”を取得し、「近くの“ＡＢＣ”を検索する」という意味情報を生成する。そして、エージェント装置５００は、意味情報に基づいて、オフライン対話データの意味情報を検索し、合致する意味情報に対応付けられた回答情報を取得する。

そして、エージェント装置５００は、図１０に示すように、回答情報として「この近くの“ＡＢＣ”は３件です。」等の音声をスピーカ６３０から出力したり、車両Ｍの表示・操作装置６２０に３件のレストランの情報をリスト表示させたり、３件のそれぞれの店舗を地図上に示した地図情報が表示させたりする。また、ユーザＵ２は、「評価は？」と発話したとする。エージェント装置５００は、発話情報を取得し、選択した店舗に対するレビュー情報をオフライン対話データから取得し、「レビュー情報をお知らせします。」等の音声をスピーカ６３０から出力すると共に、レビュー情報を車両Ｍの表示・操作装置６２０に表示させたり、スピーカ６３０から音声を出力させたりする。このように、オフラインデータに含まれる変換辞書を更新することで、オフライン状態であっても、ユーザにより適切な情報を提供することができる。

上述ではエージェント装置５００を用いた例について説明したが、通信端末３００についても上述したユーザ固有のオフラインデータを記憶しておくことで、通信端末３００が情報提供装置１００とオフライン状態であっても、より適切な情報をユーザに提供することができる。また、エージェント装置５００および通信端末３００がオフラインデータを用いて発話解析等を行う場合に、エラーが発生した場合には、エージェント装置５００および通信端末３００において、エラー発生情報を一時的に保存しておき、オンライン復帰時に情報提供装置１００に送信してもよい。情報提供装置１００のオフラインデータ生成部１８０は、受信したエラー発生情報に基づいて、例えばエラーの内容がオフラインデータの固有のエラー（例えば、オフラインデータに文言が保持されていなかった等）であった場合には、次のオフラインデータの生成時にその内容を含めたデータ更新を行う。これにより、利用内容に合わせて、より適切なデータの更新を行うことができる。更に、オフラインデータ生成部１８０は、エラー発生情報に基づいて、オフラインデータだけでなく、オンライン特徴語ＤＢ２１４やオンライン対話ＤＢ２１６、意図理解モデル等についてもデータを更新してもよい。

［処理フロー］
次に、実施形態に係る情報提供システムにより実行される処理の流れについて説明する。以下では、情報提供装置１００により実行される処理と、移動通信機器の一例であるエージェント装置５００により実行される処理とを分けて説明する。また、以下の処理では、情報提供装置１００により実行される処理のうち、エージェント装置５００とオンライン状態において、エージェント装置５００からの発話内容に対してリアルタイムに回答情報を提供する処理（回答情報提供処理）と、所定周期または所定タイミングでオフラインデータを生成してエージェント装置５００に提供する処理（オフライン情報提供処理）とについて説明する。また、エージェント装置５００の処理では、主にユーザＵ２との対話によって、ユーザＵ２に情報を提供する処理を中心として説明する。また、情報提供装置１００は、すでにユーザＵ２のユーザ認証が完了しているものとする。

図１１は、情報提供装置１００により実行される回答情報提供処理の流れの一例を示すフローチャートである。図１１の処理は、情報提供装置１００とエージェント装置５００とがオンライン状態において、発話情報を取得するごとに繰り返し実行されてよい。図１１の例において、発話取得部１３２は、エージェント装置５００から送信されるユーザＵ２の発話情報を取得する（ステップＳ１００）。次に、状況取得部１３４は、ユーザＵ２の状況を示す状況情報を取得する（ステップＳ１０２）。次に、発話解析部１４０は、発話取得部１３２により取得された発話情報を解析する（ステップＳ１０４）。また、エラー検知部１５０は、発話情報の解析時におけるエラー（ネットワークエラー、意味理解エラー、音声認識エラー）を検知する（ステップＳ１０６）。次に、提供部１９０は、発話情報の解析結果等に基づいて回答情報を生成し（ステップＳ１０８）、生成した回答情報を、発話情報を送信したエージェント装置５００に提供する（ステップＳ１１０）。次に、提供部１９０は、一連の処理の結果を履歴情報２２０に蓄積させる（ステップＳ１１２）。これにより、本フローチャートの処理は終了する。

図１２は、情報提供装置１００により実行されるオフラインデータ提供処理の流れの一例を示すフローチャートである。図１２の処理は、所定周期または所定タイミングで繰り返し実行されてよい。図１２の例において、重要度決定部１６０は、履歴情報２２０を取得し（ステップＳ２００）、取得した履歴情報２２０、観点リスト２１２、およびオンライン特徴語ＤＢ２１４に基づいて、発話情報に含まれる特徴語ごとの重要度を決定する（ステップＳ２０２）。次に、抽出部１７０は、特徴語ごとの重要度に基づいて、オフラインデータに含める特徴語を抽出する（ステップＳ２０４）。ステップＳ２０４の処理において、抽出部１７０は、重要度が閾値以上の特徴語をオフラインデータに含める特徴語として抽出する。また、抽出部１７０は、重要度が大きい順に所定数の特徴語をオフラインデータに含める特徴語として抽出してもよい。

次に、オフラインデータ生成部１８０は、抽出された特徴語に基づいて、オフラインデータを生成する（ステップＳ２０６）。次に、提供部１９０は、生成されたオフラインデータをエージェント装置５００に提供する（ステップＳ２０８）。これにより、本フローチャートの処理は、終了する。

図１３は、エージェント装置５００により実行される処理の一例を示すフローチャートである。図１３の処理では、図１２の処理により情報提供装置１００から提供されたオフラインデータがエージェント装置５００の車両側記憶部５６０に記憶されているものとする。また、車両Ｍは、エージェント装置５００による機能が実行されているものとする。

図１３の例において、エージェント装置５００は、ユーザＵ２からの発話情報を取得する（ステップＳ３００）。また、エージェント装置５００は、ユーザＵ２の状況に関する状況情報を取得する（ステップＳ３０２）。次に、エージェント装置５００は、情報提供装置１００とオンライン状態であるか否かを判定する（ステップＳ３０４）。オンライン状態であると判定した場合、エージェント装置５００は、発話情報および状況情報を情報提供装置１００へ送信し（ステップＳ３０６）、情報提供装置１００から発話情報に対する回答情報を取得する（ステップＳ３０８）。また、ステップＳ３０４の処理において、オンライン状態ではない（オフライン状態である）と判定された場合、エージェント装置５００は、車両側記憶部５６０に記憶されたオフラインデータ５６２を参照し、発話情報に対する回答情報を生成する（ステップＳ３１０）。ステップＳ３０８およびステップＳ３１０の処理後、回答情報を出力する（ステップＳ３１２）。これにより、本フローチャートの処理は終了する。

［変形例］
実施形態の情報提供装置１００が備える機能のうち少なくとも一部は、移動通信機器側で実行されてよい。また、実施形態において、通信端末３００を利用するユーザＵ１が車両Ｍを運転する場合、情報提供装置１００は、通信端末３００またはエージェント装置５００のうち、一方または双方に情報提供を行ってもよい。この場合、ユーザＵ１が選択した一方に情報提供を行ってもよく、通信端末３００およびエージェント装置５００のそれぞれに記憶されたオフラインデータのうち、最新のオフラインデータが蓄積されている一方を用いて情報提供を行ってもよい。また、情報提供装置１００は、ユーザＵ１が車両Ｍを運転している場合には、通信端末３００を操作できないためエージェント装置５００に提供し、車両Ｍが停止中である場合には通信端末３００の操作が可能となるため通信端末３００に提供してもよい。

以上説明した実施形態によれば、情報提供装置１００において、ユーザの移動通信機器（通信端末３００、エージェント装置５００）から取得した情報に基づいて移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供する提供部１９０と、ユーザの発話情報を取得する発話取得部１３２と、ユーザの状況に関する状況情報を取得する状況取得部１３４と、発話取得部１３２により取得される発話情報、状況取得部１３４により取得される状況情報、およびオンライン状態で自然言語処理に使用される辞書データに基づいて、発話情報に含まれる特徴語の重要度を決定する重要度決定部１６０と、重要度決定部１６０により決定された重要度が閾値以上の特徴語を抽出する抽出部１７０と、抽出部１７０により抽出された特徴語に基づいて移動通信機器とオフライン状態である場合に、移動通信機器で利用される情報（オフラインデータ）を生成するオフラインデータ生成部（情報生成部）と、を備えることにより、音声ユーザインターフェースのユーザビリティを向上させることができる。

例えば、上述した実施形態によれば、オフライン状態やネットワーク状況が劣化している状況においても、オフラインデータを用いてユーザにより適切な情報を提供することができる。また、本実施形態により提供されるオフラインデータにより、オフライン時における計算リソースや、精度およびレスポンスタイムを向上させることができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供し、
前記ユーザの発話情報を取得し、
前記ユーザの状況に関する状況情報を取得し、
取得した前記発話情報、前記状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定し、
決定した前記重要度が閾値以上の特徴語を抽出し、
抽出した前記特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成する、
ように構成されている、情報提供装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…情報提供システム、１００…情報提供装置、１１０…通信部、１２０…認証部、１３０…取得部、１３２…発話取得部、１３４…状況取得部、１４０…発話解析部、１５０…エラー検知部、１６０…重要度決定部、１７０…抽出部、１８０…オフラインデータ生成部、１９０…提供部、３００…通信端末、３１０…端末側通信部、３２０…入力部、３３０…ディスプレイ、３４０、６３０…スピーカ、３５０、６１０…マイク、３５５…端末状況取得部、３６０…撮像部、３７０…アプリ実行部、３８０…出力制御部、３９０…端末側記憶部、５００…エージェント装置、５２０…管理部、５４０…エージェント機能部、５６０…車両側記憶部、６２０…表示・操作装置、６４０…ナビゲーション装置、６５０…ＭＰＵ、６６０…車両機器、６７０…車載通信装置、６８０…汎用通信装置、６９０…乗員認識装置、７００…自動運転制御装置、Ｍ…車両

Claims (10)

1. ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供する提供部と、
   前記ユーザの発話情報を取得する発話取得部と、
   前記ユーザの状況に関する状況情報を取得する状況取得部と、
   前記発話取得部により取得される発話情報、前記状況取得部により取得される状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定する重要度決定部と、
   前記重要度決定部により決定された重要度が閾値以上の特徴語を抽出する抽出部と、
   前記抽出部により抽出された特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成する情報生成部と、
   を備える情報提供装置。
2. 前記重要度決定部は、前記ユーザの指向性を示す指向情報に基づいて前記発話情報に含まれる特徴語の重要度を決定する、
   請求項１に記載の情報提供装置。
3. 前記発話情報の取得または認識に関するエラーを検知するエラー検知部を更に備え、
   前記重要度決定部は、前記エラー検知部による検知結果に基づいて前記発話情報に含まれる特徴語の重要度を決定する、
   請求項１または２に記載の情報提供装置。
4. 前記重要度決定部は、前記エラー検知部により前記エラーが検知された後に、前記発話取得部により取得された発話情報に含まれる特徴語の重要度を、前記エラーが検知されていない状況で取得された発話情報に含まれる特徴語よりも大きくする、
   請求項３に記載の情報提供装置。
5. 前記重要度決定部は、前記エラー検知部により連続して検出された前記エラーの回数に基づいて、前記エラーが検知された後に、前記発話取得部により取得された発話情報に含まれる特徴語の重要度を決定する、
   請求項３または４に記載の情報提供装置。
6. 前記エラー検知部は、前記エラーの種類を検知し、
   前記抽出部は、前記エラー検知部により検出された前記エラーの種類に応じて、前記エラーが検知された後に、前記発話取得部により取得された発話情報に含まれる特徴語の重要度を決定する、
   請求項３から５のうち何れか１項に記載の情報提供装置。
7. 前記エラーの種類は、移動通信機器と通信するネットワークに関するエラーであるネットワークエラー、前記発話情報に含まれる発話の意味が理解できないことを示す意味理解エラー、および前記発話情報の音声認識処理に関するエラーを示す音声認識エラーを含み、
   前記抽出部は、前記音声認識エラーである場合の前記特徴語の重要度を、前記ネットワークエラーである場合よりも大きくし、前記意味理解エラーである場合の前記特徴語の重要度を、前記音声認識エラーである場合よりも大きくする、
   請求項６に記載の情報提供装置。
8. 前記重要度決定部は、所定時間における前記発話情報に含まれる同一の特徴語の数に基づいて、前記特徴語の重要度を決定する、
   請求項１から７のうち何れか１項に記載の情報提供装置。
9. コンピュータが、
   ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供し、
   前記ユーザの発話情報を取得し、
   前記ユーザの状況に関する状況情報を取得し、
   取得した前記発話情報、前記状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定し、
   決定した前記重要度が閾値以上の特徴語を抽出し、
   抽出した前記特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成する、
   情報提供方法。
10. コンピュータに、
    ユーザの移動通信機器から取得した情報に基づいて前記移動通信機器に出力させる情報をオンライン状態で前記移動通信機器に提供させ、
    前記ユーザの発話情報を取得させ、
    前記ユーザの状況に関する状況情報を取得させ、
    取得された前記発話情報、前記状況情報、および前記オンライン状態で自然言語処理に使用される辞書データに基づいて、前記発話情報に含まれる特徴語の重要度を決定させ、
    決定された前記重要度が閾値以上の特徴語を抽出させ、
    抽出された前記特徴語に基づいて前記移動通信機器とオフライン状態である場合に、前記移動通信機器で利用される情報を生成させる、
    プログラム。

Images