JP2021166102A - 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム - Google Patents

情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム Download PDF

Info

Publication number
JP2021166102A
JP2021166102A JP2021118029A JP2021118029A JP2021166102A JP 2021166102 A JP2021166102 A JP 2021166102A JP 2021118029 A JP2021118029 A JP 2021118029A JP 2021118029 A JP2021118029 A JP 2021118029A JP 2021166102 A JP2021166102 A JP 2021166102A
Authority
JP
Japan
Prior art keywords
information
response
request
user
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021118029A
Other languages
English (en)
Other versions
JP7066235B2 (ja
Inventor
良樹 戸田
Yoshiki Toda
詩博 徐
Shihpo Hsu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tradfit Co Ltd
Original Assignee
Tradfit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tradfit Co Ltd filed Critical Tradfit Co Ltd
Publication of JP2021166102A publication Critical patent/JP2021166102A/ja
Priority to JP2022069467A priority Critical patent/JP2022089968A/ja
Application granted granted Critical
Publication of JP7066235B2 publication Critical patent/JP7066235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】音声及びテキストの入出力を適宜に利用して情報を提供する情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラムを提供する。
【解決手段】本実施の形態に係る情報提供システムは、宿泊施設に設置されるユーザインタフェースと、前記ユーザインタフェースに入力された音声に基づくリクエストを取得するリクエスト取得部、前記リクエスト取得部が取得したリクエストに対応する応答情報をデータベースから取得する応答情報取得部、前記応答情報取得部が取得した応答情報を前記ユーザインタフェースに音声で出力させる処理を行う音声出力処理部、及び、前記データベースから前記応答情報を取得できない場合に、オペレータによる有人応答への切り替えに係る処理を行う処理部を有する情報提供装置とを備える。
【選択図】図1

Description

本開示は、宿泊施設を利用するユーザに対して種々の情報を提供する情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラムに関する。
装置に対してユーザが音声での入力を行うことが可能なシステムが普及し始めている。このようなシステムとして、例えばスマートスピーカ又はAI(Artificial Intelligence)スピーカ等と呼ばれる装置が家庭内に設置され始めている。ユーザは、スマートスピーカに対して音声での質問等を行うことにより、種々の情報をスマートスピーカら音声出力により得ることができる。またユーザは、スマートスピーカに対して音声での命令を行うことにより、家電製品の動作制御等を行うことも可能である。
特許文献1においては、ユーザとロボットとの間で、自然言語による対話を成立させるコミュニケーションシステムが提案されている。ロボットは、マイク及びスピーカを有しており、マイクで取得したユーザの発話をサーバへ送信し、サーバから応答を受信し、応答をスピーカから音声出力する。サーバは、会話に用いられる問い及び回答の会話データベースを有し、この会話データベースを参照してユーザの発話に対する応答を生成し、ロボットへ送信する。
特開2017−191531号公報
音声入力が可能な装置が普及し始めているものの、現状の装置はユーザによる種々のリクエストの全てに対して的確な応答ができるわけではない。また音声入力は、テキスト入力と比較すると精度が低いという課題がある。
本開示は、斯かる事情に鑑みてなされたものであって、その目的とするところは、音声及びテキストの入出力を適宜に利用して情報を提供する情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラムを提供することにある。
本開示に係る情報提供方法は、宿泊施設に設置されたユーザインタフェースに入力された音声に基づくリクエストを取得し、取得したリクエストに対応する応答情報をデータベースから取得し、取得した応答情報を前記ユーザインタフェースに音声で出力させ、前記データベースから前記応答情報を取得できない場合に、オペレータによる有人応答へ切り替える。
本開示においては、宿泊施設に設置されたユーザインタフェースにてユーザからの音声入力に基づくリクエストを取得し、取得したリクエストに対する応答情報をユーザインタフェースにて音声で出力する。取得したリクエストに対する応答情報の出力を行うことができない場合には、テキストの入出力による自動応答への切り替えを行う。これによりユーザは、音声入出力からテキスト入出力への切り替えを容易に行うことが可能となる。
本開示による場合は、音声及びテキストの入出力を適宜に利用して、ユーザに対する情報の提供を行うことができる。
本実施の形態に係る情報提供システムの概要を説明するための模式図である。 本実施の形態に係る情報提供システムの概要を説明するための模式図である。 スマートスピーカに表示されるアクセス用情報の一例を示す模式図である。 スマートフォンに表示されるチャット画面の一例を示す模式図である。 スマートフォンに表示されるチャット画面の一例を示す模式図である。 本実施の形態に係るスマートスピーカの構成を示すブロック図である。 本実施の形態に係る管理サーバの構成を示すブロック図である。 意図識別モデルの一構成例を示す模式図である。 応答情報DBの一構成例を示す模式図である。 オペレータDBの一構成例を示す模式図である。 本実施の形態に係るスマートフォンの構成を示すブロック図である。 本実施の形態に係るスマートスピーカが行う処理の手順を示すフローチャートである。 本実施の形態に係る管理サーバが行う切替制御処理の手順を示すフローチャートである。 本実施の形態に係るスマートフォンが行うチャット開始処理の手順を示すフローチャートである。 本実施の形態に係るスマートフォンが行うチャット処理の手順を示すフローチャートである。 本実施の形態に係る管理サーバが行う切替制御処理の手順を示すフローチャートである。 本実施の形態に係る管理サーバが行う有人応答への切替処理の手順を示すフローチャートである。 本実施の形態に係る管理サーバが行う意図識別モデルの学習処理の手順を示すフローチャートである。 本実施の形態に係る情報提供システムによる宿泊前の情報提供を説明するための模式図である。 実施の形態2に係るスマートスピーカに表示されるアクセス用情報の一例を示す模式図である。 実施の形態2に係るスマートスピーカが行う処理の手順を示すフローチャートである。 実施の形態2に係るスマートフォンが行う音声通信開始処理の手順を示すフローチャートである。
本開示の実施形態に係る情報提供システムの具体例を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
<システム概要>
図1及び図2は、本実施の形態に係る情報提供システムの概要を説明するための模式図である。本実施の形態に係る情報提供システム10は、ホテルの客室、共用部又は民泊に用いる民家等の宿泊施設にユーザインタフェースとして設置されたスマートスピーカ20を用いてユーザに情報を提供することができる。図1に示すスマートスピーカ20は、略半球形状の筐体に、タッチパネル25、マイク26、スピーカ27及びカメラ28等が適宜に配置された構成である。ただしスマートスピーカ20の形状等は一例であってこれに限るものではなく、例えば円柱状又は直方体状等の種々の形状が採用され得る。また客室に設置されるユーザインタフェースはスマートスピーカ20に限らず、音声による入出力を行うことが可能な情報処理装置であれば、どのような装置であってもよい。
客室に宿泊したユーザ(宿泊客)は、特定のキーワード(例えば「スタートサービス」等)の発話によりスマートスピーカ20を起動することができる。ユーザは、発話による音声入力によってスマートスピーカ20に種々のリクエストを与えることができ、スマートスピーカ20から出力される音声による応答情報により、例えばこの宿泊施設に関する情報などの様々な情報を得ることができる。図示の例では、ユーザはスマートスピーカ20に対して「チェックアウトの時間を教えて」と発話によるリクエストを与えている。なお本実施の形態においては、ユーザがスマートスピーカ20等に対して入力する種々の要求又は質問等をリクエストと呼ぶ。
スマートスピーカ20に対してユーザが入力した音声のリクエストは、インターネット等のネットワークを介して音声処理サーバ50へ入力される。音声処理サーバ50は、音声入力に対して音声認識の処理を行うことによって、入力された音声の情報をテキスト(文字列)の情報に変換する。音声処理サーバ50は、変換したテキストを管理サーバ30へ入力する。
管理サーバ30は、音声処理サーバ50から入力されたテキストの情報に基づいて、ユーザのリクエストに対する応答情報を生成する処理を行う。この処理のために管理サーバ30は、意図識別モデル81及び応答情報DB(データベース)82を用いる。意図識別モデル81は、リクエストに係るテキスト情報を入力として受け付け、このリクエストに係るユーザの意図を識別した識別結果を出力するように予め学習された学習済モデルである。応答情報DB82は、リクエストに係る意図と、意図に対する応答メッセージのテキストとが対応付けて記憶されたデータベースである。なお本例では意図識別モデル81及び応答情報DB82を管理サーバ30が備える構成とするが、これに限るものではなく、意図識別モデル81又は応答情報DB82は他のサーバが備えてもよい。
管理サーバ30は、音声処理サーバ50から得たテキスト情報を意図識別モデル81へ入力し、意図識別モデル81が出力する情報を取得することによって、ユーザのリクエストの意図を取得する。図1に示す例では「チェックアウト時間を教えて」のテキスト情報に対し、チェックアウトの時間を問い合わせているというユーザの意図が意図識別モデル81により識別される。次いで管理サーバ30は、識別されたユーザの意図に基づいて応答情報DB82を参照することによって、リクエストの意図に対する応答メッセージのテキスト情報を取得する。管理サーバ30は、応答情報DB82から取得したテキスト情報を音声処理サーバ50へ出力する。図1に示す例では、チェックアウトの時間を問い合わせているという意図に対し、応答情報として例えば「午前10時までにチェックアウトしてください」のテキスト情報が応答情報DB82に記憶されている。
管理サーバ30から応答情報のテキスト出力が与えられた音声処理サーバ50は、与えられたテキスト情報を音声情報に変換する。音声処理サーバ50は、変換した音声情報をスマートスピーカ20へ出力する。スマートスピーカ20は、音声処理サーバ50から出力された音声情報を取得し、この音声情報に基づく音声出力をスピーカ27にて行う。図1に示す例では、スマートスピーカ20は「午前10時までにチェックアウトしてください」の音声出力を行っている。
なお、ユーザによるスマートスピーカ20へのリクエストに対して、管理サーバ30は音声出力以外の応答を行うことも可能である。例えば管理サーバ30は、スマートスピーカ20のタッチパネル25に画像を表示することができる。この場合に、管理サーバ30は表示用の画像の情報を音声処理サーバ50へ出力し、音声処理サーバ50はこの画像情報をスマートスピーカ20へ与える。
また上述の音声入出力によるユーザへの情報提供は、例えばユーザが発話した言語が音声処理サーバ50の音声処理の対応言語に含まれていない場合、また例えばユーザの発話内容が音声処理サーバ50により適切にテキスト情報へ変換できない場合等に、適切な情報をユーザに対して提供できない可能性がある。本実施の形態に係る情報提供システムでは、音声入出力による情報提供を適切に行うことができない場合に、テキストの入出力による情報提供への切り替えを行う。テキストの入出力によって自動的な応答を行うシステムはいわゆるチャットボットと呼ばれるものであり、本実施の形態に係る情報提供システムは、スマートスピーカ20を用いた情報提供と、チャットボットを用いた情報提供とを適宜に切り替えて行うシステムである。
管理サーバ30は、例えば音声処理サーバ50から音声のテキストへの変換ができなかった旨を通知された場合、また例えば意図識別モデル81にてユーザのリクエストの意図が識別できなかった場合等に、チャットボットへの切り替えを促すメッセージをスマートスピーカ20に出力させる。メッセージは例えば「音声リクエストが認識できませんでした。チャットボットを利用しますか?」等とすることができる。このメッセージは、スマートスピーカ20が音声出力してもよく、タッチパネル25にテキストとして表示してもよい。このメッセージに対してチャットボットの利用を肯定する旨の意志がユーザにより示された場合、管理サーバ30は、スマートフォン40等の端末装置を利用してチャットボットにアクセスするためのアクセス用情報を、スマートスピーカ20に出力させる。チャットボットを利用するか否かのユーザの意志は、例えば音声入力として受け付けられてもよく、また例えばスマートスピーカ20のタッチパネル25に対するタッチ操作により受け付けられてもよい。
図3は、スマートスピーカ20に表示されるアクセス用情報の一例を示す模式図である。本実施の形態に係る情報提供システムにおいては、スマートスピーカ20がタッチパネル25にアクセス用情報20aを表示する。図示のアクセス用情報20aは二次元コード(例えばバーコード又はQRコード(登録商標))であり、例えばチャットボットにアクセスするためのURL(Uniform Resource Locator)等の情報をコード化したものである。また本実施の形態においてアクセス用情報20aには、宿泊施設及び客室等を識別する識別情報が含まれている。これによりチャットボットは、アクセス用情報20aに含まれる識別情報を取得し、宿泊施設及び客室等に適した自動応答を行うことができる。ただし、アクセス用情報20aは、URL等の情報のみを含み、宿泊施設及び客室等の識別情報を含まない構成であってもよい。この場合には、例えばユーザが宿泊施設及び客室等に関する情報を入力する構成としてもよい。
ユーザは、スマートスピーカ20に表示されたアクセス用情報20aを自身のスマートフォン40のカメラで撮影することで、チャットボットにアクセスするためのURL等の情報を取得することができる。アクセス用情報20aを取得したユーザは、スマートフォン40にインストールされたブラウザ等のアプリケーションを用いてチャットボットのサービスを提供するサーバへアクセスすることによって、チャットボットの利用を開始することができる。本実施の形態においては、管理サーバ30がチャットボットのサービスを提供する。スマートフォン40の表示部にはチャット画面が表示され、ユーザはスマートフォン40のテキスト入力機能を利用して、チャット画面にリクエストをテキストとして入力することができる。
図4及び図5は、スマートフォン40に表示されるチャット画面の一例を示す模式図である。図4には、チャットボットの利用に先立って、ユーザに対する言語選択を促す選択ボックスの表示例が示されている。本実施の形態においてはチャットの言語として英語、日本語、中国語及び韓国語等が利用可能であり、選択ボックスには選択し得る言語が、その言語の表記で一覧表示される。ユーザは、選択ボックスに表示された言語に対するタッチ(タップ)操作を行うことで、いずれか1つの言語を選択することができる。
なお図4に示す言語の選択ボックスは、チャット開始に先立って表示されるのみでなく、図5に示すチャット画面の下部左側に設けられた言語選択アイコンに対するユーザのタッチ操作が行われた場合にも表示されてよい。言語選択アイコンには、その時点で選択されている言語がいずれであるかを示すラベルが付される。また図5のチャット画面には、言語選択アイコンの隣に、有人応答への切り替えを行うための切替アイコンが表示される。
本実施の形態においては、図4に示す選択ボックスによりユーザが言語を選択する構成とするが、これに限るものではない。例えば宿泊施設の宿泊客に関する情報を記憶したサーバ装置からユーザの国籍等の情報を取得し、このユーザに適した言語を自動的に選択する構成としてもよい。
また図5には、チャットによるリクエスト及び応答の一例が示されている。図示の例では、チャットの言語として英語が選択されている。図示のチャット画面には、例えば上部に「ホテル情報サービス」、「Exampleホテル」及び「お問い合わせ」等のタイトル文字列が表示され、このチャット画面がホテルに対する問い合せを行うためのチャット画面であることが示されている。タイトル文字列の下方には、ユーザが入力したリクエストのテキストと、これに対する応答のテキストとが、時系列に上から下へ並べて表示される。またユーザが入力したテキストはチャット画面の右側に寄せて表示され、チャットボットによる応答のテキストは左側に寄せて表示される。本例ではユーザによる「I want a water.」のリクエストのテキストに対し、応答情報として「How many waters would you like to order?」のテキストが出力されている。
スマートフォン40にて入力されたテキストの情報は、インターネット等のネットワークを介して翻訳サーバ60へ入力される。翻訳サーバ60は、入力されたテキストの情報を、必要に応じて翻訳する。翻訳サーバ60は、管理サーバ30が対応可能な言語以外の言語によるテキストが入力された場合に、このテキストを管理サーバ30が対応可能な言語に翻訳する。例えば管理サーバ30が日本語及び英語に対応可能であり、中国語のリクエストが入力された場合には、翻訳サーバ60はリクエストを中国語から日本語又は英語へ翻訳し、翻訳したテキストの情報を管理サーバ30へ入力する。なお翻訳サーバ60は、翻訳の必要がないテキストの情報が入力された場合、翻訳を行うことなく、テキストの情報を管理サーバ30へ入力すればよい。
管理サーバ30は、翻訳サーバ60から入力されたテキストの情報に基づいて、ユーザのリクエストに対する応答情報を生成する処理を行う。このときに行う管理サーバ30の処理は、音声入力によるユーザのリクエストに対する応答情報を生成する処理と同様であり、上述の意図識別モデル81及び応答情報DB82を用いて行われる。管理サーバ30は、生成したテキストの応答情報を翻訳サーバ60へ出力する。翻訳サーバ60は、管理サーバ30から与えられた応答情報を、必要に応じて適宜に翻訳し、スマートフォン40へ出力する。スマートフォン40は、翻訳サーバ60からテキストとして与えられた応答情報を、チャット画面にテキストとして表示することによって、ユーザが入力したリクエストに対する自動的な応答を行う。なお管理サーバ30は、音声入力のリクエストに対する応答情報を取得するための意図識別モデル81及び応答情報DB82と、テキスト入力のリクエストに対する応答情報を取得するための意図識別モデル81及び応答情報DB82とを別に備えていてもよい。
チャットボットによるユーザへの情報提供は、例えばユーザがテキストで入力したリクエストが意図識別モデル81にて意図を識別できない場合、また例えば応答情報DB82に対応する応答情報が記憶されていない場合等に、適切な情報をユーザに対して提供できない可能性がある。本実施の形態に係る情報提供システムでは、チャットボットのテキスト入出力による情報提供を適切に行うことができない場合に、オペレータによる有人応答への切り替えを行う。本実施の形態に係る情報提供システムでは、ユーザからのリクエストに自動応答で対応できない場合に、管理サーバ30に代わってユーザからのリクエストに応答するオペレータが存在する。オペレータは、オペレータ端末70を利用して、ユーザのスマートフォン40との間でテキストによる情報交換、即ちチャットを行うことができる。ユーザは、チャットボットの自動応答と同じチャット画面を用いてオペレータとのチャットを行うことができる。
管理サーバ30は、テキスト入出力による自動応答ができないと判定した場合に、有人応答への切り替えを促すメッセージをスマートフォン40に出力させる。メッセージは例えば「リクエストにお答えすることができません。有人応答に切り替える場合には下の切替アイコンをタッチしてください。」等とすることができる。このメッセージに対してユーザによる切替アイコンのタッチ操作が行われ、有人応答への切り替えを肯定する旨の意志がユーザにより示された場合、管理サーバ30は、オペレータ端末70に有人応答を依頼する通知を送信し、チャットボットの自動応答からオペレータの有人応答への切り替えを行う。
なおチャット画面に設けられた切替アイコンに対するタッチ操作による有人応答への切り替えは、管理サーバ30が切り替えを促すメッセージをスマートフォン40に出力させた場合にのみ受け付けてもよく、このメッセージの出力の有無に関係なく常時的に受け付けてもよい。管理サーバ30が切り替えを促すメッセージをスマートフォン40に出力させた場合にのみ切り替えを受け付ける場合、不要の際には切替アイコンをチャット画面に表示しなくてよい。
オペレータによる有人応答への切り替え後、管理サーバ30は、スマートフォン40にてユーザにより入力され、必要に応じて翻訳サーバ60にて翻訳されたテキストの情報を、オペレータ端末70へ送信する。オペレータ端末70は、管理サーバ30からのテキストの情報を基に、図5と同様のチャット画面を表示部に表示する。オペレータは、オペレータ端末70に表示されたユーザのリクエストに対する応答の情報を、例えばキーボード等の入力装置を利用してオペレータ端末70へ入力する。なお本実施の形態においては、オペレータ端末70に対してオペレータがテキスト入力を行うものとするが、これに限るものではなく、音声入力等を行う構成であってもよい。オペレータ端末70は、オペレータによる応答のテキスト入力を受け付け、受け付けたテキスト情報を管理サーバ30へ送信する。管理サーバ30はオペレータ端末70からのテキスト情報を翻訳サーバ60へ与え、必要に応じて翻訳サーバ60にて翻訳されたテキスト情報がユーザのスマートフォン40へ与えられる。スマートフォン40は、与えられたテキスト情報をチャット画面に表示する。これらによりユーザ及びオペレータによるテキストを介したコミュニケーションが成立し、ユーザのリクエストに対してオペレータが応答することができる。
なお本実施の形態においては、スマートスピーカ20を利用した音声入出力による情報提供からスマートフォン40を利用したテキスト入出力による情報提供への切り替えを、スマートスピーカ20に表示したアクセス用情報を介して行う構成としたが、これに限るものではない。例えば音声入出力及びテキスト入出力の両方を利用可能な装置が客室等に設置されている場合、管理サーバ30が、当該装置に対して音声入出力からテキスト入出力への切替指示を出力し、当該出力に基づいて、当該装置が音声入出力からテキスト入出力へ切り替わることとしてもよい。
<装置構成>
図6は、本実施の形態に係るスマートスピーカ20の構成を示すブロック図である。本実施の形態に係るスマートスピーカ20は、処理部(プロセッサ)21、記憶部(ストレージ)22、通信部(トランシーバ)23、タッチパネル25、マイク26、スピーカ27及びカメラ28等を備えて構成されている。処理部21は、CPU(Central Processing Unit)又はMPU(Micro-Processing Unit)等の演算処理装置を用いて構成されている。また処理部21は、複数のCPU又はマルチコアCPU等が採用されてもよい。処理部21は、記憶部22に記憶されたプログラム22aを読み出して実行することにより、音声入力の受け付け、音声出力及び画像表示等の種々の処理を行う。
記憶部22は、例えばフラッシュメモリなどの不揮発性のメモリ素子、又は、ハードディスクなどの磁気記憶装置等を用いて構成されている。記憶部22は、処理部21が実行する各種のプログラム、及び、処理部21の処理に必要な各種のデータを記憶する。本実施の形態において記憶部22は、処理部21が実行するプログラム22aと、スマートスピーカ20を識別するための識別情報22bとを記憶している。
プログラム22aは、例えばスマートスピーカ20の製造段階において記憶部22に書き込まれてもよい。例えばプログラム22aは、遠隔のサーバ装置等が配信するものをスマートスピーカ20が通信にて取得してもよい。例えばプログラム22aは、メモリカード又は光ディスク等の記録媒体99に記録されたプログラム22aをスマートスピーカ20が読み出して記憶部22に記憶してもよい。例えばプログラム22aは、記録媒体99に記録されたものを書込装置が読み出してスマートスピーカ20の記憶部22に書き込んでもよい。プログラム22aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。
識別情報22bは、文字又は数値等が適宜に組み合わされた情報であり、スマートスピーカ20を識別し得る情報であればどのようなものであってもよい。本実施の形態において識別情報22bは、スマートスピーカ20が設置されている宿泊施設を識別する情報と、客室を識別する情報とが組み合わされた情報である。例えば識別情報22bは、Exampleホテルの301号室を示す情報とすることができる。識別情報22bは、スマートスピーカ20が宿泊施設の客室に設置される際に、システムの管理者又は宿泊施設の管理者等により設定される。
通信部23は、インターネット、無線LAN(Local Area Network)及び携帯電話通信網等を含むネットワークNを介して、種々の装置との間で通信を行うことができる。本実施の形態においては、通信部23は、ネットワークNを介して音声処理サーバ50との通信を行う。通信部23は、処理部21から与えられたデータを音声処理サーバ50へ送信すると共に、音声処理サーバ50から受信したデータを処理部21へ与える。
タッチパネル25は、スマートスピーカ20が備えるユーザインタフェースの1つであり、表示部25a及び入力部25bを有している。表示部25aは、液晶ディスプレイ等を用いて構成されており、種々の画像及び文字等を表示する。表示部25aは、処理部21の処理に基づいて種々の画像表示を行う。入力部25bは、ユーザによる接触を検知するセンサが表示部25aの表面に設けられたものであり、表示部25aに表示された画像等に対するタッチ(タップ)操作等を入力として受け付け、受け付けた操作を処理部21へ通知する。
マイク26及びスピーカ27は、スマートスピーカ20が備えるユーザインタフェースの1つであり、音声入出力によるユーザインタフェースを実現する。マイク26は、周辺の音声を取得してデジタルの音声情報に変換し、音声情報を処理部21へ与える。スピーカ27は、処理部21から与えられる音声情報に基づいて、音声出力を行う。また、カメラ28は、例えばユーザ又は客室等の撮像を行い、撮像した画像情報を処理部21へ与える。
本実施の形態に係るスマートスピーカ20は、ユーザの発話によるリクエストをスピーカ27にて取得し、取得したリクエストに係る音声情報を通信部23にて音声処理サーバ50へ送信する。このときにスマートスピーカ20は、記憶部22に記憶した識別情報22bを付して音声情報を送信する。この音声情報は音声処理サーバ50にてテキスト情報に変換されて管理サーバ30へ与えられ、管理サーバ30はリクエストに対する応答をテキスト情報として音声処理サーバ50へ送信する。音声処理サーバ50は、管理サーバ30からのテキスト情報を音声情報に変換してスマートスピーカ20へ送信する。スマートスピーカ20は、音声処理サーバ50から与えられた音声情報をスピーカ27から出力する。
また管理サーバ30は、音声処理サーバ50から与えられたテキスト情報によるユーザのリクエストに応答できない場合、その旨を通知すると共に、チャットボットへアクセスするためのアクセス用情報を送信する。この通知及びアクセス用情報は、音声処理サーバ50を介してスマートスピーカ20へ与えられる。この通知に応じてスマートスピーカ20は、チャットボットへの切り替えを行うか否かをユーザに問い合わせ、チャットボットへの切り替えが肯定された場合に、図3に示すように、二次元コードのアクセス用情報をタッチパネル25の表示部25aに表示する。
図7は、本実施の形態に係る管理サーバ30の構成を示すブロック図である。本実施の形態に係る管理サーバ30は、処理部(プロセッサ)31、記憶部(ストレージ)32及び通信部(トランシーバ)33等を備えて構成されている。処理部31は、CPU、MPU又はGPU(Graphics Processing Unit)等の演算処理装置を用いて構成されている。処理部31は、記憶部32に記憶されたサーバプログラム32aを読み出して実行することにより、ユーザのリクエストに応答する処理、音声入出力からチャットボットへの切替処理、及び、チャットボットから有人応答への切替処理等の種々の処理を行う。
記憶部32は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部32は、処理部31が実行する各種のプログラム、及び、処理部31の処理に必要な各種のデータを記憶する。本実施の形態において記憶部32は、処理部31が実行するサーバプログラム32aと、学習済モデル(識別器)として意図識別モデル81とを記憶している。また記憶部32には、ユーザのリクエストに対する応答が記憶された応答情報DB82と、有人応答を行うオペレータに関する情報が記憶されたオペレータDB83との2つのデータベースが設けられている。
通信部33は、インターネット、無線LAN及び携帯電話通信網等を含むネットワークNを介して、種々の装置との間で通信を行うことができる。本実施の形態においては、通信部33は、ネットワークNを介して音声処理サーバ50、翻訳サーバ60及びオペレータ端末70等との通信を行う。通信部33は、処理部31から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部31へ与える。
なお記憶部32は、管理サーバ30に接続された外部記憶装置であってよい。また管理サーバ30は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。また管理サーバ30は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
サーバプログラム32aは、例えば管理サーバ30の製造段階において記憶部32に書き込まれてもよい。例えばサーバプログラム32aは、遠隔の他のサーバ装置等が配信するものを管理サーバ30が通信にて取得してもよい。例えばサーバプログラム32aは、メモリカード又は光ディスク等の記録媒体98に記録されたサーバプログラム32aを管理サーバ30が読み出して記憶部32に記憶してもよい。例えばサーバプログラム32aは、記録媒体98に記録されたものを書込装置が読み出して管理サーバ30の記憶部32に書き込んでもよい。サーバプログラム32aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体98に記録された態様で提供されてもよい。
意図識別モデル81は、予め教師データを用いた機械学習又は深層学習等がなされた学習済モデルである。学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部32にはこの演算を規定する関数の係数及び閾値等のデータが意図識別モデル81として記憶される。意図識別モデル81は、ユーザが音声又はテキストとして入力した文章の情報に対し、このユーザの意図を識別するように学習された学習済モデルである。サーバプログラム32aを実行する処理部31が、意図識別モデル81として記憶されたデータを読み込むことによって、ユーザのリクエストの意図を識別するための演算を処理部31が実行することが可能となる。
図8は、意図識別モデル81の一構成例を示す模式図である。本実施の形態において意図識別モデル81は、ユーザのリクエストに係るテキスト情報の入力を受け付ける入力層と、入力された情報に対して所定の演算を行う中間層と、ユーザのリクエストの意図の識別結果を示す情報を出力する出力層とを有するニューラルネットワークとして構成される。本実施の形態において意図識別モデル81は、ニューラルネットワークとして例えばRNN(Recurrent Neural Network)の構成が採用され得るが、これに限るものではなく、RNN以外のモデルが採用されてもよい。管理サーバ30は、RNNのモデルに対して、リクエストに係るテキスト情報及び意図を対応付けた教師データを用いて学習を行うことにより、意図識別モデル81を生成する。
なお、本実施の形態においては、意図識別モデル81を管理サーバ30が備える構成とするが、これに限るものではない。例えば意図識別モデル81を別のサーバ装置が備え、管理サーバ30が取得したユーザのリクエストに係るテキスト情報を別のサーバ装置へ送信し、別のサーバ装置が有する意図識別モデル81による識別結果を管理サーバ30が取得してもよい。
また本実施の形態においては、意図識別モデル81の学習処理を管理サーバ30が行う。ただし学習処理は、別のサーバ装置により行われてもよい。この場合に学習された意図識別モデル81は、別のサーバ装置から管理サーバ30へ送信されて記憶部32に記憶されてもよく、別のサーバ装置が保持していてもよい。学習済の意図識別モデル81は、サーバプログラム32aと同様に、ネットワークを介した配信の態様で提供されてもよく、記録媒体98に記録された態様で提供されてもよい。
図9は、応答情報DB82の一構成例を示す模式図である。応答情報DB82は、ユーザのリクエストの意図と、このリクエストに対する応答のメッセージ等の応答情報とが対応付けて記憶されたデータベースである。応答情報DB82のリクエストの意図の各項目は、意図識別モデル81の識別結果に対応するものである。また応答情報DB82の応答情報は、リクエストの意図に対してスマートスピーカ20の音声出力又はチャットボットによるテキスト出力として応答するメッセージのテキスト情報である。なお、リクエストに対する応答は宿泊施設により異なるため、応答情報DB82は宿泊施設毎に設けられる。また図9に示す応答情報DB82は日本語のものであるが、必要に応じて英語又は中国語等の他の言語に対応する応答情報DB82が設けられてよい。
図9に示す例は、宿泊施設として「Exampleホテル」の応答情報DB82のリクエストの意図及び応答情報の一例である。なおスマートスピーカ20から音声処理サーバ50を介して管理サーバ30へ与えられるリクエスト、及び、スマートフォン40から翻訳サーバ60を介して管理サーバ30へ与えられるリクエストには、宿泊施設及び客室等を識別するための識別情報が例えばヘッダ情報等として付されている。管理サーバ30は、複数の宿泊施設について応答情報DB82を有しており、リクエストに付された識別情報に応じて、宿泊施設に適した応答情報DB82を用いることができる。
図示の例では、「チェックインは何時ですか?」というリクエストの意図に、「14:00です。有料で12:00からのアーリーチェックインも可能です。」という応答情報が対応付けて記憶されている。また「チェックインの際に現金が必要ですか?」というリクエストの意図に、「クレジットカード払いも可能です。」という応答情報が対応付けて記憶されている。また「フロントはどこですか?」というリクエストの意図に、「1階です。」という応答情報が対応付けて記憶されている。なお図示のリクエストの意図及び応答情報は、一例であって、これに限るものではない。
図10は、オペレータDB83の一構成例を示す模式図である。オペレータDB83は、日時に関する条件と、有人応答への切り替え先となるオペレータに関する情報とが対応付けて記憶されたデータベースである。オペレータDB83は宿泊施設毎に設けられる。図示の例では、平日の午前8時から午後8時までと、休日の午前6時から午後10時までとの日時に対して、オペレータセンターのオペレータが有人応答を行うことが設定されている。また、平日の午前0時から午前8時まで及び午後8時から午後12時までと、休日の午前0時から午前6時まで及び午後10時から午後12時までとの日時に対して、ホテルフロントのオペレータが有人応答を行うことが設定されている。管理サーバ30は、有人応答へ切り替える際に、日時情報に基づいてオペレータDB83を参照し、有人応答を行うオペレータを決定する。管理サーバ30は、決定したオペレータが利用するオペレータ端末70に有人応答を行う要求を送信する。なお図示の例では、オペレータとしてオペレータセンター及びホテルフロント等が設定されているが、実際にはこれらに設けられたオペレータ端末70の識別情報等が設定されてよい。
またオペレータDB83には、オペレータが対応可能な言語に関する情報が記憶されてもよい。これにより管理サーバ30は、ユーザが使用する言語での対応が可能なオペレータに有人応答を行わせることが可能となる。管理サーバ30は、ユーザが使用する言語について、例えば有人応答への切り替えの際にユーザに言語を選択させてもよく、また例えば宿泊施設の宿泊者名簿等の情報からユーザの言語を判断してもよい。
また本実施の形態に係る管理サーバ30は、記憶部32に記憶されたサーバプログラム32aを処理部31が読み出して実行することにより、リクエスト取得部31a、応答処理部31b、切替処理部31c及び学習処理部31d等がソフトウェア的な機能ブロックとして実現される。リクエスト取得部31aは、通信部33にて音声処理サーバ50との通信を行うことによって、ユーザがスマートスピーカ20に対して音声入力し、音声処理サーバ50がテキスト情報に変換したリクエストを取得する処理を行う。またリクエスト取得部31aは、通信部33にて翻訳サーバ60との通信を行うことによって、ユーザがスマートフォン40に対して入力し、翻訳サーバ60にて適宜の言語に翻訳されたリクエストを取得する処理を行う。リクエスト取得部31aが取得するリクエストの情報は、いずれもテキスト情報である。
応答処理部31bは、記憶部32に記憶された意図識別モデル81及び応答情報DB82を用いて、リクエスト取得部31aが取得したリクエストに対する応答を行う。応答処理部31bは、リクエスト取得部31aが取得したリクエストのテキスト情報を意図識別モデル81へ入力し、意図識別モデル81が出力する意図の識別結果を取得する。応答処理部31bは、取得したリクエストの意図に基づいて、応答情報DB82を参照し、意図に対応する応答情報を取得する。応答処理部31bは、取得した応答情報を音声処理サーバ50又は翻訳サーバ60へ送信し、スマートスピーカ20の音声出力による応答又はスマートフォン40のテキスト出力による応答を行う。
切替処理部31cは、リクエスト取得部31aが取得したユーザのリクエストに対して、適切な応答を行うことができない場合に、スマートスピーカ20を利用する音声応答からスマートフォン40を利用するチャットボットへの切り替え、又は、チャットボットから有人応答への切り替えを行う。切替処理部31cは、例えばリクエスト取得部31aが取得したリクエストのテキスト情報に対して意図識別モデル81が意図を識別できなかった場合、又は、識別された意図に対応する応答情報が応答情報DB82から得られなかった場合等に、切り替えを行う。
切替処理部31cは、音声処理サーバ50から与えられたリクエストに対して応答を行うことができない場合、このリクエストの送信元となるスマートスピーカ20に対して、チャットボットへの切り替えを促す指示を送信する。このときに管理サーバ30から音声処理サーバ50を介してスマートスピーカ20へ与えられる指示には、チャットボットへのアクセスに必要なアクセス用情報20aの画像が含まれる。アクセス用情報20aは、例えばチャットボットにアクセスするためのURLと、スマートスピーカ20が設置された宿泊施設及び客室の識別情報とを二次元コード化した情報である。この指示を受信したスマートスピーカ20は、チャットボットへの切り替えの可否をユーザに問い合わせ、切り替えを行う旨の回答が得られた場合にアクセス用情報20aを表示する。
切替処理部31cは、翻訳サーバ60から与えられたリクエストに対して応答を行うことができない場合、このリクエストの送信元となるスマートフォン40に対して、有人応答への切り替えを促す指示を送信する。この指示を受信したスマートフォン40は、チャットボットから有人応答への切り替えの可否をユーザに問い合わせ、切り替えを行う旨の回答が得られた場合に切り替えの要求を管理サーバ30へ送信する。この要求を受信した管理サーバ30の切替処理部31cは、その時点の日時に関する情報を取得して、記憶部32に記憶されたオペレータDB83を参照し、切り替え先となるオペレータを決定する。またこのときに管理サーバ30は、オペレータが対応可能な言語を考慮して、切り替え先のオペレータを決定してもよい。切替処理部31cは、決定したオペレータが利用するオペレータ端末70に有人応答を行う指示を送信する。以後、管理サーバ30は、スマートフォン40とオペレータ端末70との間で、ユーザのリクエスト及びオペレータの応答に係るテキスト情報を中継する。
学習処理部31dは、意図識別モデル81を学習(再学習)する処理を行う。学習処理部31dは、例えば切替処理部31cによる上述の切り替えが行われ、最終的にオペレータによる有人応答が完了した後、オペレータに対して教師データの入力を求める。このときに学習処理部31dは、応答処理部31bで応答することができなかったユーザのリクエストに係るテキスト情報をオペレータ端末70に表示し、このテキスト情報に対して実際にオペレータが判断したリクエストの意図の入力を求める。学習処理部31dは、ユーザのリクエストのテキスト情報と、これに対してオペレータにより入力された意図とを組み合わせた情報を教師データとしてオペレータ端末70から取得し、記憶部32に蓄積する。学習処理部31dは、所定量の教師データが蓄積された場合、又は、教師データを取得する都度、新たに記憶された教師データを用いて記憶部32に記憶された意図識別モデル81を再学習する。なお意図識別モデル81の再学習は別のサーバ装置にて行い、管理サーバ30は教師データを蓄積するのみであってもよい。
図11は、本実施の形態に係るスマートフォン40の構成を示すブロック図である。本実施の形態に係るスマートフォン40は、処理部(プロセッサ)41、記憶部(ストレージ)42、通信部(トランシーバ)43、タッチパネル44及びカメラ45等を備えて構成されている。処理部41は、CPU又はMPU等の演算処理装置を用いて構成されている。処理部41は、記憶部42に記憶されたプログラム42aを読み出して実行することにより、管理サーバ30へアクセスする処理及びチャットを実現するための処理等の種々の処理を行う。
記憶部32は、例えばフラッシュメモリなどの不揮発性のメモリ素子を用いて構成されている。記憶部42は、処理部41が実行する各種のプログラム、及び、処理部41の処理に必要な各種のデータを記憶する。本実施の形態において記憶部42は、処理部41が実行するプログラム42aを記憶している。プログラム42aは、例えばスマートフォン40の製造段階において記憶部42に書き込まれてもよい。例えばプログラム42aは、遠隔のサーバ装置等が配信するものをスマートフォン40が通信にて取得してもよい。例えばプログラム42aは、メモリカード又は光ディスク等の記録媒体に記録されたプログラム42aをスマートフォン40が読み出して記憶部42に記憶してもよい。例えばプログラム42aは、記録媒体に記録されたものを書込装置が読み出してスマートフォン40の記憶部42に書き込んでもよい。プログラム42aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。
通信部43は、インターネット、無線LAN及び携帯電話通信網等を含むネットワークNを介して、種々の装置との間で通信を行うことができる。本実施の形態においては、通信部43は、ネットワークNを介して翻訳サーバ60との通信を行う。通信部43は、処理部41から与えられたデータを翻訳サーバ60へ送信すると共に、翻訳サーバ60から受信したデータを処理部41へ与える。
タッチパネル44は、スマートフォン40が備えるユーザインタフェースの1つであり、表示部及び入力部を有している。タッチパネル44の表示部は、液晶ディスプレイ等を用いて構成されており、処理部41の処理に基づいて種々の画像及び文字等を表示する。タッチパネル44の入力部は、ユーザによる接触を検知するセンサが表示部の表面に設けられたものであり、表示部に表示された画像等に対するタッチ(タップ)操作等を入力として受け付け、受け付けた操作を処理部41へ通知する。
カメラ45は、周辺の撮像を行い、撮像した画像情報を処理部41へ与える。本実施の形態においてスマートフォン40のカメラ45は、スマートスピーカ20のタッチパネル25に表示されたアクセス用情報20aの撮像に用いられる。
また本実施の形態に係るスマートフォン40は、記憶部42に記憶されたプログラム42aを処理部41が読み出して実行することにより、アクセス用情報取得部41a及びチャット処理部41b等がソフトウェア的な機能ブロックとして実現される。アクセス用情報取得部41aは、スマートスピーカ20がタッチパネル25に表示する二次元コードのアクセス用情報20aを取得する処理を行う。アクセス用情報取得部41aは、例えばスマートスピーカ20に表示されたアクセス用情報20aの撮像を促すメッセージをタッチパネル44に表示し、カメラ45にて撮像されたアクセス用情報20aの画像を取得する。アクセス用情報取得部41aは、取得した画像を基に、アクセス用情報20aに含まれるチャットボットへのアクセス用のURL、並びに、スマートスピーカ20が設置された宿泊施設及び客室の識別情報等を取得する。
チャット処理部41bは、アクセス用情報取得部41aが取得したアクセス用情報に基づいて、チャットボットを提供する管理サーバ30へのアクセスを(翻訳サーバ60を介して)行う。チャット処理部41bは、図4に示す言語の選択ボックスを表示してチャットに用いる言語の選択を受け付けた後、図5に示すチャット画面を表示する。チャット処理部41bは、ユーザが入力したリクエストのテキスト情報を取得し、取得したテキスト情報を翻訳サーバ60を介して管理サーバ30へ送信する。またチャット処理部41bは、翻訳サーバ60を介して管理サーバ30から送信された応答のテキスト情報を受信し、受信したテキスト情報をチャット画面に表示する。なおチャット処理部41bは、チャットの相手がチャットボットによる自動応答であるか、オペレータの有人応答であるかに関わらず、同様の処理でチャットを進めることができる。
<応答切替処理>
本実施の形態に係る情報提供システムでは、スマートスピーカ20を利用した音声応答、スマートフォン40を利用したチャットボットによる自動応答、及び、スマートフォン40を利用したオペレータによる有人応答の三種類の情報提供方法をユーザに対して提供している。また本実施の形態に係る情報提供システムでは、スマートスピーカ20の音声応答からチャットボットの自動応答への切り替え、及び、チャットボットの自動応答からオペレータの有人応答への切り替えの判断を管理サーバ30が行い、ユーザに情報提供方法の切り替えを促すことで、円滑な情報提供方法の切り替えを実現している。
(1)スマートスピーカ20の音声応答からチャットボットの自動応答への切り替え
例えば、宿泊施設に宿泊するユーザは、宿泊施設に関する質問又は要求等を、客室に設置されたスマートスピーカ20を利用して音声入力によりリクエストする。スマートスピーカ20は入力されたリクエストに係る音声情報を音声処理サーバ50へ送信し、音声処理サーバ50は音声情報をテキスト情報に変換して管理サーバ30へ送信する。
なお音声処理サーバ50は、入力された音声情報が日本語であれば日本語のテキスト情報を管理サーバ30へ送信し、英語であれば英語のテキスト情報を管理サーバ30へ送信する。音声処理サーバ50が非対応の言語による音声情報が入力された場合、音声処理サーバ50は、音声情報からテキスト情報への変換ができない旨の通知を管理サーバ30へ送信する。
管理サーバ30は、音声処理サーバ50から受信したテキスト情報を基に、意図識別モデル81及び応答情報DB82を用いてユーザのリクエストに対する応答情報を取得する。管理サーバ30はこの応答情報をテキスト情報として音声処理サーバ50へ送信し、音声処理サーバ50はテキスト情報を音声情報に変換してスマートスピーカ20へ送信する。スマートスピーカ20は、音声処理サーバ50からの音声情報を受信し、受信した音声情報をユーザのリクエストに対する応答としてスピーカ27から音声出力する。
また管理サーバ30は、音声処理サーバ50から受信したテキスト情報に基づいて、意図識別モデル81及び応答情報DB82を用いても応答情報を取得することができない場合、音声応答からチャットボットの自動応答への切り替えを促す切替指示を、音声処理サーバ50を介してスマートスピーカ20へ送信する。このときに管理サーバ30は、チャットボットにアクセスするためのURL等の情報と、スマートスピーカ20が設置された宿泊施設及び客室の識別情報とを含む二次元コードのアクセス用情報20aを生成して切替指示に付して送信する。
なお管理サーバ30が応答情報を取得できない要因は複数存在し得る。例えば、スマートスピーカ20へ入力された音声が不鮮明であったため音声処理サーバ50が音声情報からテキスト情報への変換を行うことができない事が要因として挙げられる。入力された音声情報が、音声処理サーバ50の非対応言語である場合も同様である。これらの場合、音声処理サーバ50から管理サーバ30へ音声処理が不可能であった旨の通知が与えられ、この通知により管理サーバ30は応答情報を取得できないと判定することができる。
また例えば、意図識別モデル81がリクエストの意図を識別できない事が要因として挙げられる。意図識別モデル81が、入力されたリクエストに対して、識別したリクエストの意図と、この識別結果の確かさとを出力する構成である場合、出力された確かさが所定の閾値を超えない場合に、管理サーバ30は意図識別モデル81が意図を識別できないと判定し、応答情報を取得できないと判定することができる。
また例えば、意図識別モデル81が識別したリクエストの意図及びこれに対応する応答情報が、応答情報DB82に登録されていない事が要因として挙げられる。管理サーバ30は、意図識別モデル81が出力したリクエストの意図に基づいて応答情報DB82を検索し、該当する項目が応答情報DB82に存在しない場合に、応答情報を取得できないと判定することができる。
なお管理サーバ30がリクエストに対応する応答情報を取得できないと判定する方法は、上記のものに限らず、様々な方法が採用され得る。
管理サーバ30からの切替指示を音声処理サーバ50を介して受信したスマートスピーカ20は、チャットボットの自動応答への切り替えを行うか否かを問い合わせるメッセージ等をスピーカ27から音声出力するか又はタッチパネル25に表示し、ユーザによる切り替えの可否を問い合わせる。音声入力またはタッチパネルに対する操作等によりユーザから切り替えを肯定する応答が得られた場合、スマートスピーカ20は、切替指示に付されたアクセス用情報20aの二次元コードをタッチパネル25に表示する。
スマートスピーカ20のタッチパネル25にアクセス用情報20aが表示された場合、ユーザは自身のスマートフォン40にてアクセス用情報20aを読み取り、管理サーバ30により実現されるチャットボットへのアクセスをスマートフォン40にて行うことができる。スマートフォン40は、図4に示した言語選択ボックスを表示してユーザにチャットで用いる言語を選択させる。スマートフォン40は、選択された言語によるチャット画面を表示する。このチャット画面においてスマートフォン40は、ユーザによるリクエストのテキスト入力を受け付けると共に、管理サーバ30による応答のテキスト出力を行う。なお本実施の形態においてスマートフォン40は、二次元コードを読み取るアプリケーションプログラム等にてアクセス用情報20aの読み取りを行い、読み取ったアクセス用情報20aに含まれるURLへのアクセスをブラウザ等のプログラムにて行うものとする。チャット画面はブラウザ上に表示され、チャット画面を表示するための処理は、管理サーバ30及びスマートフォン40の協働により行われる。
なお本実施の形態においては、チャットに用いる言語の選択をユーザが行う構成とするが、これに限るものではない。管理サーバ30は、例えばアクセス用情報20aに含まれる宿泊施設及び客室の識別情報に基づいて、言語を自動的に選択してもよい。例えば管理サーバ30は、スマートフォン40から宿泊施設及び客室の識別情報を取得し、宿泊施設の宿泊客を管理する別のサーバ装置等から、識別情報にて識別される宿泊施設の客室に宿泊しているユーザの国籍等の情報を取得することで、チャットに用いる言語を選択することができる。
図12は、本実施の形態に係るスマートスピーカ20が行う処理の手順を示すフローチャートである。本実施の形態に係るスマートスピーカ20の処理部21は、マイク26に対するユーザによるリクエストの音声入力がなされたか否かを判定する(ステップS1)。音声入力がなされていない場合(S1:NO)、処理部21は、リクエストの音声入力がなされるまで待機する。音声入力がなされた場合(S1:YES)、処理部21は、マイク26にて入力された音声を、デジタルデータの音声情報として取得する(ステップS2)。処理部21は、取得した音声情報を、通信部23にて音声処理サーバ50へ送信する(ステップS3)。
その後、処理部21は、送信したリクエストに対する応答を受信したか否かを判定する(ステップS4)。応答を受信していない場合(S4:NO)、処理部21は、応答を受信するまで待機する。ここでスマートスピーカ20が受信する応答は、リクエストに対する音声の応答情報、又は、チャットボットへの切替指示である。応答を受信した場合(S4:YES)、処理部21は、受信した応答がチャットボットへの切替指示であるか否かを判定する(ステップS5)。切替指示でない場合(S5:NO)、処理部21は、受信した応答の音声情報をスピーカ27から音声出力し(ステップS6)、処理を終了する。
受信した応答が切替指示である場合(S5:YES)、処理部21は、切り替えの可否を問い合わせるメッセージ等をスピーカ27から音声出力か又はタッチパネル25に表示することにより、切り替えの可否をユーザに問い合わせる(ステップS7)。処理部21は、この問い合わせに対して切り替えを肯定する回答が得られたか否かを判定する(ステップS8)。切り替えを肯定する回答が得られた場合(S8:YES)、処理部21は、切替指示と共に管理サーバ30から与えられる二次元コードのアクセス用情報20aをタッチパネル25に表示し(ステップS9)、処理を終了する。切り替えを肯定する回答が得られなかった場合(S8:NO)、処理部21は、アクセス用情報20aを表示することなく、処理を終了する。
図13は、本実施の形態に係る管理サーバ30が行う切替制御処理の手順を示すフローチャートである。本実施の形態に係る管理サーバ30の処理部31のリクエスト取得部31aは、通信部33にて音声処理サーバ50からのテキスト情報によるリクエストを受信したか否かを判定する(ステップS21)。リクエストを受信していない場合(S21:NO)、リクエスト取得部31aは、リクエストを受信するまで待機する。
リクエストを受信した場合(S21:YES)、処理部31の応答処理部31bは、受信したリクエストのテキスト情報を記憶部32に記憶された意図識別モデル81へ入力する(ステップS22)。次いで応答処理部31bは、意図識別モデル81が出力するリクエストの意図の識別結果を取得する(ステップS23)。取得した識別結果に基づいて、応答処理部31bは、リクエストの意図が識別可能であったか否かを判定する(ステップS24)。リクエストの意図が識別可能であった場合(S24:YES)、応答処理部31bは、識別された意図に基づいて、記憶部32に記憶された応答情報DB82を参照する(ステップS25)。応答処理部31bは、応答情報DB82を参照して応答情報が得られたか否かを判定する(ステップS26)。応答情報が得られた場合(S26:YES)、応答処理部31bは、応答情報DB82から取得した応答情報を、音声処理サーバ50を介してリクエスト送信元のスマートスピーカ20へ送信し(ステップS27)、処理を終了する。
意図識別モデル81にてリクエストの意図が識別不可能であった場合(S24:NO)、又は、応答情報DB82からリクエストの意図に対する応答情報が得られなかった場合(S26:NO)、処理部31の切替処理部31cは、チャットボットへアクセスするためのアクセス用情報20aを生成する(ステップS28)。切替処理部31cは、生成したアクセス用情報20aを含む切替指示を、音声処理サーバ50を介してリクエスト送信元のスマートスピーカ20へ送信し(ステップS29)、処理を終了する。
図14は、本実施の形態に係るスマートフォン40が行うチャット開始処理の手順を示すフローチャートである。本実施の形態に係るスマートフォン40の処理部41は、例えばユーザの操作に応じてアプリケーションプログラムを起動し、二次元コードの読み取りを行うモードへと移行する(ステップS41)。本モードにおいて処理部41のアクセス用情報取得部41aは、カメラ45にてアクセス用情報20aを撮像することにより、アクセス用情報20aを取得する(ステップS42)。アクセス用情報取得部41aは、取得したアクセス用情報20aに含まれるURL及び識別情報を取得する(ステップS43)。
次いで処理部41のチャット処理部41bは、取得したURL及び識別情報に基づいて管理サーバ30へのアクセスを行う(ステップS44)。なおこのときにスマートフォン40がアクセス用情報20aから取得した識別情報を管理サーバ30へ送信することにより、管理サーバ30は、いずれの宿泊施設及び客室のユーザからのアクセスであるかを判断することができる。チャット処理部41bは、言語の選択ボックスを表示して、チャットに用いる言語の選択を受け付ける(ステップS45)。チャット処理部41bは、選択された言語により、管理サーバ30が提供するチャットボットとのチャット処理を開始し(ステップS46)、処理を終了する。
(2)チャットボットの自動応答からオペレータの有人応答への切り替え
スマートフォン40を利用してチャットを開始したユーザは、テキスト入力によりリクエストの入力を行うことができる。入力されたリクエストのテキスト情報はスマートフォン40から翻訳サーバ60へ送信され、必要に応じてテキスト情報の翻訳が翻訳サーバ60にて行われる。翻訳サーバ60は、翻訳したテキスト情報又は翻訳が不要なテキスト情報を管理サーバ30へ送信する。なお、テキスト情報の翻訳が必要でない場合には、スマートフォン40から管理サーバ30へ直接的にテキスト情報が送信されてもよい。
管理サーバ30は、翻訳サーバ60から受信したテキスト情報を基に、意図識別モデル81及び応答情報DB82を用いてユーザのリクエストに対する応答情報を取得する。管理サーバ30はこの応答情報をテキスト情報として翻訳サーバ60へ送信し、翻訳サーバ60は必要に応じてテキスト情報を翻訳する。翻訳サーバ60は、翻訳したテキスト情報又は翻訳が不要なテキスト情報を、スマートフォン40へ送信する。スマートフォン40は、翻訳サーバ60からのテキスト情報を受信し、受信したテキスト情報をユーザのリクエストに対する応答としてチャット画面に表示する。
また管理サーバ30は、翻訳サーバ60から受信したテキスト情報に基づいて、意図識別モデル81及び応答情報DB82を用いても応答情報を取得することができない場合、チャットボットの自動応答からオペレータの有人応答への切り替えを促す切替指示を、翻訳サーバ60を介してスマートフォン40へ送信する。
なお管理サーバ30が応答情報を取得できない要因は複数存在し得る。例えば、意図識別モデル81がリクエストの意図を識別できない事が要因として挙げられる。また例えば、意図識別モデル81が識別したリクエストの意図及びこれに対応する応答情報が、応答情報DB82に登録されていない事が要因として挙げられる。管理サーバ30がリクエストに対応する応答情報を取得できないと判定する方法は、様々な方法が採用され得る。
管理サーバ30からの切替指示を翻訳サーバ60を介して受信したスマートフォン40は、オペレータの有人応答への切り替えを行うか否かを問い合わせるメッセージ等をチャット画面に表示し、ユーザによる切り替えの可否を問い合わせる。この問い合わせに対してユーザは、例えばチャット画面に設けられた切替アイコンへのタッチ操作を行うことで、有人応答への切り替えを行うことができる。ユーザから切り替えを肯定する回答が得られた場合、スマートフォン40は、有人応答への切り替えを行う要求を、翻訳サーバ60を介して管理サーバ30へ送信する。
スマートフォン40からの切り替えの要求を受信した管理サーバ30は、その時点における日時情報を取得し、取得した日時情報に基づいて記憶部32に記憶されたオペレータDB83を参照する。管理サーバ30は、日時情報及びオペレータDB83に基づいて有人応答を依頼するオペレータを決定し、決定したオペレータが使用するオペレータ端末70に有人応答を行う指示を送信する。またこのときに管理サーバ30は、オペレータが対応可能な言語を考慮して、切り替え先のオペレータを決定してもよい。
また管理サーバ30は、オペレータが有人応答の対応を開始する前に、これまでの経緯及びユーザに関する情報等を送信してオペレータ端末70に表示させる。これまでの経緯は、例えばスマートスピーカ20にて入出力された音声の内容を示すテキスト情報、及び、チャットボットの自動応答にて入出力されたテキスト情報等が含まれ得る。管理サーバ30は、これらの情報を履歴情報として記憶部32に記憶している。またユーザに関する情報は、例えばユーザの性別、年齢及び国籍等の情報とすることができ、宿泊施設の宿泊客に関する情報を記憶する他のサーバ装置等から取得される。これらの情報を予めオペレータ端末70に表示することで、有人応答を行うオペレータが円滑にユーザとのチャットを開始することができる。
以後、管理サーバ30は、スマートフォン40及びオペレータ端末70の間のテキスト情報の送受信を中継することによって、ユーザ及びオペレータのテキスト情報によるチャットを成立させる。
また本実施の形態においては、オペレータによる有人応答が終了した後、管理サーバ30は、有人応答を行ったオペレータに対して、意図識別モデル81を再学習させるための教師データの作成を依頼する。管理サーバ30は、例えばユーザへの有人応答を終えたオペレータ端末70に、このユーザのリクエストの意図がどのようなものであったかを問い合わせる。このときに管理サーバ30は、有人応答の前に音声応答又はチャットボットの自動応答においてユーザが入力したテキスト情報をオペレータ端末70へ送信し、これらのテキスト情報をオペレータ端末70に表示させてもよい。オペレータ端末70に表示されたメッセージ等に基づいて、オペレータは、有人応答を行ったユーザのリクエストの意図がどのようなものであったかを入力する。オペレータ端末70は、オペレータにより入力された情報を管理サーバ30へ送信する。管理サーバ30は、オペレータ端末70からの情報を受信し、ユーザの入力に係るリクエストのテキスト情報と、オペレータにより入力されたリクエストの意図とを対応付けた教師データを作成して、記憶部32に記憶する。なお、オペレータ端末70にてオペレータにより入力された情報は、意図識別モデル81の学習に用いるのみでなく、応答情報DB82への応答情報の追加又は修正等に用いることもできる。
図15は、本実施の形態に係るスマートフォン40が行うチャット処理の手順を示すフローチャートである。本実施の形態に係るスマートフォン40の処理部41のチャット処理部41bは、タッチパネル44に対する操作に基づいて、ユーザによるリクエストの入力を受け付ける(ステップS51)。チャット処理部41bは、受け付けたリクエストのテキスト情報を、通信部43にて翻訳サーバ60へ送信する(ステップS52)。
その後、チャット処理部41bは、送信したリクエストに対する応答を受信したか否かを判定する(ステップS53)。応答を受信していない場合(S53:NO)、チャット処理部41bは、応答を受信するまで待機する。ここでスマートフォン40が受信する応答は、リクエストに対する応答のテキスト情報、又は、オペレータによる有人応答への切替指示である。応答を受信した場合(S53:YES)、チャット処理部41bは、受信した応答が有人応答への切替指示であるか否かを判定する(ステップS54)。切替指示でない場合(S54:NO)、チャット処理部41bは、受信した応答のテキスト情報をチャット画面に表示し(ステップS55)、処理を終了する。
受信した応答が切替指示である場合(S54:YES)、チャット処理部41bは、切り替えの可否を問い合わせるメッセージを表示することにより、切り替えの可否をユーザに問い合わせる(ステップS56)。チャット処理部41bは、この問い合わせに対して切り替えを肯定する回答が得られたか否かを判定する(ステップS57)。切り替えを肯定する回答が得られた場合(S57:YES)、チャット処理部41bは、有人応答への切り替えの要求を、翻訳サーバ60を介して管理サーバ30へ送信し(ステップS58)、処理を終了する。切り替えを肯定する回答が得られなかった場合(S57:NO)、チャット処理部41bは、切り替えの要求を送信することなく、処理を終了する。
図16は、本実施の形態に係る管理サーバ30が行う切替制御処理の手順を示すフローチャートである。本実施の形態に係る管理サーバ30の処理部31のリクエスト取得部31aは、通信部33にて翻訳サーバ60からのテキスト情報によるリクエストを受信したか否かを判定する(ステップS71)。リクエストを受信していない場合(S71:NO)、リクエスト取得部31aは、リクエストを受信するまで待機する。
リクエストを受信した場合(S71:YES)、処理部31の応答処理部31bは、受信したリクエストのテキスト情報を記憶部32に記憶された意図識別モデル81へ入力する(ステップS72)。次いで応答処理部31bは、意図識別モデル81が出力するリクエストの意図の識別結果を取得する(ステップS73)。取得した識別結果に基づいて、応答処理部31bは、リクエストの意図が識別可能であったか否かを判定する(ステップS74)。リクエストの意図が識別可能であった場合(S74:YES)、応答処理部31bは、識別された意図に基づいて、記憶部32に記憶された応答情報DB82を参照する(ステップS75)。応答処理部31bは、応答情報DB82を参照して応答情報が得られたか否かを判定する(ステップS76)。応答情報が得られた場合(S76:YES)、応答処理部31bは、応答情報DB82から取得した応答情報を、翻訳サーバ60を介してリクエスト送信元のスマートフォン40へ送信し(ステップS77)、処理を終了する。
意図識別モデル81にてリクエストの意図が識別不可能であった場合(S74:NO)、又は、応答情報DB82からリクエストの意図に対する応答情報が得られなかった場合(S76:NO)、処理部31の切替処理部31cは、チャットボットの自動応答からオペレータによる有人応答への切替指示を、音声処理サーバ50を介してリクエスト送信元のスマートフォン40へ送信し(ステップS78)、処理を終了する。
図17は、本実施の形態に係る管理サーバ30が行う有人応答への切替処理の手順を示すフローチャートである。本実施の形態に係る管理サーバ30の処理部31の切替処理部31cは、翻訳サーバ60を介してスマートフォン40からの有人応答への切り替え要求を受信したか否かを判定する(ステップS91)。有人応答への切り替えの要求を受信していない場合(S91:NO)、切替処理部31cは、要求を受信するまで待機する。
有人応答への切り替えの要求を受信した場合(S91:YES)、切替処理部31cは、その時点での日時の情報を取得する(ステップS92)。なお日時の情報は、例えば管理サーバ30にて動作するオペレーティングシステム等から取得することができる。切替処理部31cは、取得した日時情報に基づいて、記憶部32に記憶されたオペレータDB83を参照する(ステップS93)。切替処理部31cは、日時情報及びオペレータDB83に基づいて、有人応答を行うオペレータを決定する(ステップS94)。切替処理部31cは、決定したオペレータが使用するオペレータ端末70に応答を行う指示を与える(ステップS95)。
その後、処理部41は、スマートフォン40からのユーザのリクエストをオペレータ端末70へ送信し、オペレータ端末70からのオペレータの応答をスマートフォン40へ送信することにより、リクエスト及び応答の中継を行う(ステップS96)。処理部41は、有人応答が終了したか否かを判定する(ステップS97)。有人応答が終了していない場合(S97:NO)、処理部41は、ステップS96へ処理を戻し、リクエスト及び応答の中継を継続して行う。
有人応答が終了した場合(S97:YES)、処理部41は、有人応答を行ったオペレータ端末70に対して、ユーザのリクエストの意図を問い合わせる(ステップS98)。処理部41は、この問い合わせに対するオペレータの回答に基づいて、リクエストのテキスト情報とリクエストの意図とを対応付けた教師データを生成して記憶部32に記憶し(ステップS99)、処理を終了する。
<意図識別モデルの再学習>
本実施の形態に係る情報提供システムでは、オペレータによる有人応答の結果により作成された教師データを用いて、管理サーバ30の意図識別モデル81の学習(再学習)処理が行われる。意図識別モデル81の再学習は、例えば1ヶ月に1回等の期間的なタイミング、又は、教師データの蓄積量が所定量を超えたタイミング等に行われる。
図18は、本実施の形態に係る管理サーバ30が行う意図識別モデル81の学習処理の手順を示すフローチャートである。本実施の形態に係る管理サーバ30の処理部31の学習処理部31dは、意図識別モデル81の再学習を行うタイミングに至ったか否かを判定する(ステップS111)。再学習を行うタイミングに至っていない場合(S111:NO)、学習処理部31dは、再学習を行うタイミングに至るまで待機する。
再学習を行うタイミングに至った場合(S111:YES)、学習処理部31dは、記憶部32に記憶された学習データを読み出す(ステップS112)。また学習処理部31dは、記憶部32に記憶された意図識別モデル81を読み出す。学習処理部31dは、読み出した学習データを用いて意図識別モデル81を学習させる処理を行う(ステップS114)。学習処理部31dは、学習処理を終えた学習済の意図識別モデル81を記憶部32に記憶し(ステップS115)、処理を終了する。
<宿泊前の利用>
本実施の形態に係る情報提供システムでは、宿泊施設に宿泊しているユーザ(宿泊客)のみでなく、宿泊する前のユーザ(例えば予約客)に対しても同様の方法で情報を提供することが可能である。図19は、本実施の形態に係る情報提供システムによる宿泊前の情報提供を説明するための模式図である。例えばユーザは、宿泊施設に対する宿泊の予約を予約サーバ80に対して行うことができる。予約サーバ80は、ユーザによる宿泊の予約が完了した後、宿泊施設の情報を提供する情報提供システムへアクセスするためのアクセス用情報を、予約したユーザへ送信する。
予約サーバ80からユーザへのアクセス用情報の送信は、例えばユーザに係る情報として登録された電子メールアドレスに対するメール送信により行うことができる。ユーザへの電子メールには、例えば情報提供システム又は管理サーバ30へアクセスするためのURL及び予約した宿泊施設の識別情報等がアクセス用情報として付され得る。予約サーバ80が送信した電子メールは例えばユーザのスマートフォン40にて受信され、電子メールに付されたアクセス用情報に基づいてユーザはスマートフォン40にて情報提供システムにアクセスする。この場合にユーザは、管理サーバ30が提供するチャットボットの自動応答による情報提供を利用することができる。また例えば、電子メールにはアクセス用情報の二次元コードの画像が添付されていてもよい。ユーザは、二次元コードをスマートフォン40に表示し、自宅に設置された自身のスマートスピーカ20にてカメラ28を利用して二次元コードを読み取り、スマートスピーカ20にて情報提供システムへのアクセスを行ってもよい。この場合にユーザは、管理サーバ30が提供する音声応答による情報提供をスマートスピーカ20にて利用することができる。
また例えば、予約サーバ80からユーザへのアクセス用情報の送信は、郵送によるものであってもよい。ユーザへ郵送される宿泊施設の案内等に、アクセス用情報の二次元コードが印刷された手紙又はカード等が同封される。ユーザは、自身のスマートフォン40又はスマートスピーカ20にて二次元コードの読み取りを行い、自身のスマートフォン40又はスマートスピーカ20にて情報提供システムを利用することができる。
情報提供システムの管理サーバ30は、宿泊客であるか予約客であるかに関わらず、ユーザからのリクエストに対して同様の応答を行うことができる。ただし管理サーバ30は、予約客のユーザに対しては応答として与える情報に制限を設けてもよい。また情報提供システムは、宿泊客及び予約客以外のユーザ、例えば宿泊を検討しているユーザ等に対する情報提供を行ってもよい。この場合にユーザは、自身のスマートフォン40又はスマートスピーカ20を利用して宿泊施設のウェブサイト等にアクセスし、問い合わせ等のリクエストを発することで、情報提供システムを利用することができる。
<まとめ>
以上の構成の本実施の形態に係る情報提供システムは、宿泊施設の客室に設置されたスマートスピーカ20にてユーザからの音声入力に基づくリクエストを取得し、取得したリクエストに対する応答情報をスマートスピーカ20にて音声出力する。取得したリクエストに対する応答情報の出力を行うことができない場合、管理サーバ30は、テキスト入出力による自動応答への切り替えを行う。
リクエストに対する応答情報の出力を行うことができない場合とは、ユーザのリクエストに対応する応答情報を応答情報DB82から取得することができず、リクエストに対して適切な応答を行うことができない場合、リクエスト毎に固有の応答を行うことができない場合である。詳細には、例えばユーザが発話した言語が音声処理サーバ50の音声処理の対応言語に含まれていない場合、ユーザの発話内容が音声処理サーバ50により適切にテキスト情報へ変換できない場合、ユーザのリクエストが意図識別モデル81にて意図を識別できない場合、又は、応答情報DB82に対応する応答情報が記憶されていない場合等が含まれる。
なお、ユーザのリクエストに対して、例えばリクエストの意図が識別できない場合等に「リクエストに応答できません」等の所定のメッセージを一律に応答することがあり得る。このような応答は、リクエスト毎に固有の応答ではなく、リクエストに対する適切な応答ではない。このような応答を行う場合であっても、本実施の形態においては、リクエストに対する応答情報の出力を行うことができない場合に含まれる。
音声入出力からテキスト入出力へ切り替えを行う場合、管理サーバ30は、テキスト入出力による自動応答へアクセスするためのアクセス用情報20aをスマートスピーカ20のタッチパネル25に表示させる。これによりユーザは、スマートスピーカ20に表示されたアクセス用情報20aを利用して、音声入力からテキスト入出力への切り替えを容易に行うことができる。
また本実施の形態に係る管理サーバ30は、スマートスピーカ20が表示したアクセス用情報20aに基づくスマートフォン40からのアクセスを受け付け、スマートフォン40に入力されたテキストに基づくリクエストを取得し、取得したリクエストに対する応答情報をスマートフォン40にテキストで出力させる。これによりユーザは、自身の使い慣れたスマートフォン40を利用してテキスト入力を行い、リクエストに対する応答を取得することができる。
また本実施の形態に係る管理サーバ30は、テキスト情報の入力に基づくリクエストに対して応答情報が出力できない場合に、オペレータによる有人応答への切り替えを行う。これにより自動応答では対応できないユーザのリクエストに対して、オペレータによる確実な応答を行うことができる。
また本実施の形態に係る管理サーバ30は、日時に応じたオペレータの対応をオペレータDB83に記憶しており、切り替えを行う日時情報に基づいてオペレータDB83を参照し、有人応答の切り替え先となるオペレータを決定する。これにより管理サーバ30は、例えばオペレータセンターの勤務時刻等に応じて、有人応答の切り替え先を適切に決定することができ、ユーザからのリクエストに対して確実に有人応答を行うことができる。
また本実施の形態に係る管理サーバ30は、ユーザのリクエストに係る情報を入力として受け付け、リクエストの意図を識別して出力するよう学習された意図識別モデル81を用いる。管理サーバ30は、ユーザのリクエストに係る情報を取得して意図識別モデル81へ入力し、意図識別モデル81が出力するリクエストの意図を取得し、取得したリクエストの意図に対する応答情報をスマートスピーカ20又はスマートフォン40に出力させる。ユーザのリクエストに対して応答情報が出力できずにオペレータの有人応答への切り替えを行った場合、管理サーバ30は、この有人応答の結果に基づいて意図識別モデル81の再学習を行う。これにより、意図識別モデル81の識別能力を向上させ、ユーザのリクエストに対する自動応答の精度を高めることができる。
また本実施の形態に係る管理サーバ30は、リクエストに対する応答情報を応答情報DB82に記憶しており、応答情報DB82は宿泊施設毎に設けられる。スマートスピーカ20及びスマートフォン40は、ユーザが入力したリクエストと共に、宿泊施設及び客室を識別する識別情報を送信する。管理サーバ30は、ユーザからのリクエストと共に受信した識別情報に基づいて、宿泊施設に対応する応答情報DB82を利用し、リクエストに対する応答情報を取得する。管理サーバ30は、取得した応答情報をスマートスピーカ20又はスマートフォン40から出力させる。これにより管理サーバ30は、宿泊施設に適した応答情報をユーザに対して提供することができる。
また本実施の形態に係る情報提供システムは、宿泊前のユーザに対しても情報提供を行う。例えば予約サーバ80は、宿泊施設に宿泊を予約したユーザのスマートフォン40に対してアクセス用情報を送信する。ユーザはアクセス用情報に基づきスマートフォン40にて情報提供システムへアクセスし、管理サーバ30はアクセス用情報に基づくユーザのスマートフォン40からのアクセスを受け付ける。これにより情報提供システムは、宿泊施設に宿泊しているユーザのみでなく、宿泊前のユーザに対しても情報を提供することができる。ユーザは、宿泊前に宿泊施設に関する種々の情報を取得し、旅行等に備えることができる。
なお本実施の形態においては、宿泊施設に設置されるユーザインタフェースをスマートスピーカ20としたが、これに限るものではない。ユーザインタフェースは、マイク及びスピーカによる音声入出力を行うことが可能な装置であればどのようなものであってもよい。例えば、パーソナルコンピュータにマイク及びスピーカを接続したものをユーザインタフェースとして用いることができる。また本実施の形態においては、ユーザが利用する端末装置をスマートフォン40としたが、これに限るものではない。端末装置は、例えばパーソナルコンピュータ、タブレット型端末装置又は携帯電話機等のように、テキスト入出力が可能な装置であればどのようなものであってもよい。
また本実施の形態においては、音声応答からチャットボットの自動応答への切り替え、及び、チャットボットの自動応答からオペレータの有人応答への切り替えを行う前に、ユーザへ切り替えの可否を問い合せる構成としたが、これに限るものではない。管理サーバ30は、ユーザへの問い合わせを行うことなく、これらの切り替えを自動的に行ってもよい。また本実施の形態においては、スマートスピーカ20がアクセス用情報20aを二次元コードとして表示する構成としたが、これに限るものではない。例えばアクセス用情報20aは、例えばURL、ログインID及びパスワード等の情報を含む文字情報としてスマートスピーカ20が表示してもよい。アクセス用情報20aの出力方法はどのようなものであってもよい。
また本実施の形態においては、管理サーバ30、音声処理サーバ50、翻訳サーバ60及び予約サーバ80の複数のサーバ装置が処理を分担して情報提供システムを実現しているが、これらの処理分担は上述のものに限らない。例えばこれら複数のサーバ装置は1つのサーバ装置として実現されてもよく、また例えば5つ以上のサーバ装置により処理を分担してもよい。例えば管理サーバ30は、音声処理サーバ50又は翻訳サーバ60の処理を行ってもよい。また例えば管理サーバ30は、予約サーバ80の処理を行ってもよい。また意図識別モデル81の保持及び学習等を行うサーバ装置を、管理サーバ30とは別の装置としてもよい。
また本実施の形態において管理サーバ30は、意図識別モデル81及び応答情報DB82を用いてリクエストに対する応答を行う構成としたが、これに限るものではない。例えば管理サーバ30は、リクエストのテキスト情報の入力を受け付けて、リクエストに対する応答情報を出力する学習済モデルを用いてもよい。また例えば管理サーバ30は、学習済モデルを用いず、リクエストのテキスト情報と応答情報とが対応付けられたデータベースを用いてもよい。管理サーバ30がリクエストに対して応答を行う方法は、どのようなものであってもよい。
<実施の形態2>
上述の実施の形態に係る情報提供システムにおいては、まずスマートスピーカ20がユーザのリクエストに対する音声応答を行い、適切な音声応答ができないと判断された場合にチャットボットによる応答への切り替えが行われ、チャットボットにより適切な応答ができないと更に判断された場合にオペレータによる有人応答への切り替えが行われる。これに対して実施の形態2に係る情報提供システムでは、スマートスピーカ20が適切な音声応答を行うことができないと判断された場合、チャットボットによる応答又はオペレータによる有人応答のいずれへ切り替えるかをユーザが選択することができる。
実施の形態2に係る情報提供システムでは、宿泊施設に宿泊したユーザは、客室に備えられたスマートスピーカ20に対して発話によるリクエストを行うことにより、このリクエストに対する応答の情報をスマートスピーカ20の音声出力により得ることができる。この場合に情報提供システムのスマートスピーカ20、管理サーバ30及び音声処理サーバ50等によって行われる音声応答の処理は、実施の形態1にて説明したものと同じであってよい。
例えばユーザが発話した言語が音声応答の対応言語に含まれていない場合など、適切な音声応答による情報提供を行うことができないと判断した場合、実施の形態2に係る管理サーバ30は、チャットボットによる応答又はオペレータによる有人応答への切り替えをユーザに促す。このときに管理サーバ30は、チャットボットによる応答へ切り替えるための情報と、有人応答へ切り替えるための情報とをスマートスピーカ20の表示部25aに表示させ、ユーザにいずれの応答へ切り替えるかを選択させる。
図20は、実施の形態2に係るスマートスピーカ20に表示されるアクセス用情報の一例を示す模式図である。実施の形態2に係る情報提供システムにおいてスマートスピーカ20は、チャットボットでの応答へ切り替えるためのアクセス用情報20aと、コールセンターの有人応答へ切りけるためのアクセス用情報20bとをタッチパネル25に表示する。
図示の例では、スマートスピーカ20は、略円形のタッチパネル25の上部に「ご希望される応答方法のコードを読み取ってください。」のメッセージを表示し、このメッセージの下方にチャットボット用のアクセス用情報20aと、コールセンター用のアクセス用情報20bとが左右に並べて表示されている。
なお図20に示したアクセス用情報20a,20bの表示方法は一例であって、これに限るものではない。例えばスマートスピーカ20は、チャットボット又はコールセンターのいずれかの選択を受け付けるボタン又はアイコン等の選択肢をタッチパネル25に表示し、この選択肢に対するタッチ操作に基づいてユーザから応答方法の選択を受け付け、選択され応答方法に対応するアクセス用情報20a,20bのみをタッチパネル25に表示してもよい。また例えばスマートスピーカ20は、アクセス用情報20bに代えて、コールセンターへアクセスするための電話番号等の情報を表示してもよい。
ユーザは、スマートスピーカ20に表示された2つのアクセス用情報20a,20bのいずれかをスマートフォン40のカメラで読み取ることで、応答方法を選択することができる。チャットボットによる応答のためのアクセス用情報20aを読み取った場合、スマートフォン40は、アクセス用情報20aからURL等の情報を取得してチャットボットにアクセスし、チャットボットによる応答のサービスをユーザに提供する。チャットボットによる応答については、上述の実施の形態と同様であるため、詳細な説明は省略する。
コールセンターによる有人応答のためのアクセス用情報20bを読み取った場合、スマートフォン40は、アクセス用情報20bから電話番号又はURL等の情報を取得して、コールセンターへのアクセスを行う(即ちコールセンターへ電話をかける)。実施の形態2においては、スマートフォン40にてコールセンターへのアクセスを行うことによって、コールセンターのオペレータとユーザとがスマートフォン40を介した音声通信(通話)を行うことができる。ただしオペレータ及びユーザが音声通信を行うのではなく、上述の実施の形態にて説明したオペレータ端末70及び管理サーバ30等を介したオペレータとのチャットを行ってもよい。
実施の形態2に係る情報提供システムのコールセンターには、複数の言語に対応するため、各言語に対応するオペレータが複数常駐している。スマートスピーカ20は、ユーザが使用する言語を判定し、この言語に対応したオペレータと音声通信を行うことができるアクセス用情報20bを表示する。なお、ユーザが使用する言語の判定は、スマートスピーカ20が行ってもよく、管理サーバ30が行ってもよく、音声処理サーバ50が行ってもよく、これら以外の装置が行ってもよい。
ユーザが使用する言語を判定する方法には、いくつかの方法が採用され得る。以下に言語判定の方法を複数説明するが、情報提供システムはこれら複数の方法のうちの1つ又は複数を用いて言語判定を行ってよい。
(1)ユーザの発話から判定
ユーザがスマートスピーカ20に対して発した言葉、単語又は文章等の内容に基づいて、ユーザが使用する言語を判定する。ユーザの発話に係る音声情報はスマートスピーカ20から音声処理サーバ50へ送信され、音声処理サーバ50は処理対象の言語について音声情報をテキスト情報に変換することができる。このため音声処理サーバ50は、与えられた音声情報が処理対象の言語であるか否か、複数の言語に対応していれば音声情報が処理対象の言語のいずれであるかを判定することができる。音声情報が処理対象の言語でない場合、例えば音声処理サーバ50がテキスト情報への変換は行わずに言語の判定だけを行ってもよく、また例えば音声処理サーバ50が処理できない音声情報を管理サーバ30へ送信し、管理サーバ30が音声情報から言語の判定を行ってもよく、また例えばスマートスピーカ20が音声情報から言語の判定を行ってもよい。
音声情報から言語を判定するには、例えば音声情報とその言語種別とが対応付けられた教師データを用いて機械学習がなされた学習モデルが用いられ得る。この学習モデルは、音声処理サーバ50の処理対象の言語よりも多くの言語について学習がなされ、音声情報を入力として受け付けて、この音声情報の言語の種別に関する情報を出力する。音声処理サーバ50、管理サーバ30又はスマートスピーカ20は、この学習モデルを予め記憶しており、音声処理サーバ50の処理対象ではない言語について、音声情報に基づく言語の判定を行うことができる。
(2)宿泊者情報から判定
管理サーバ30又は宿泊施設のコンピュータ等が宿泊者に関する情報を管理するデータベース等を備える場合、このデータベースに記憶された情報を基に、ユーザが使用する言語を判定することができる。例えばユーザの宿泊者情報として、ユーザの住所又は出身地等の国又は場所等に関する情報がデータベースに記憶されている場合、この国又は場所等に対応する言語をユーザが使用する言語と判定することができる。
なお、宿泊者情報の管理には、PMS(Property Management System)と呼ばれるホテル管理システムが利用され得る。スマートスピーカ20又は管理サーバ30は、PMSのサーバとの間で通信を行い、宿泊しているユーザに関する情報を取得して、このユーザが使用する言語を判定することができる。
(3)スマートフォンの情報から判定
ユーザが所持しているスマートフォン40に設定されている言語に関する情報を取得し、取得した情報を基にユーザが使用する言語を判定することができる。例えばスマートスピーカ20は、NFC(Near Field Communication)、Bluetooth(登録商標)又は無線LAN等の無線通信を利用してスマートフォン40との間で情報の授受を行うことができる。スマートフォン40にはユーザが使用する言語に関する設定が予めなされており、スマートスピーカ20はスマートフォン40からこの言語設定の情報を無線通信により取得して、ユーザが使用する言語を判定する。
なおスマートフォン40の設定情報を利用する場合、スマートスピーカ20が言語を判定するのではなく、スマートフォン40が判定を行ってもよい。即ち、スマートスピーカ20に表示されたアクセス用情報20bを読み取ったスマートフォン40は、アクセス用情報20bに基づいてコールセンターへのアクセスを行う際に、自身に設定された言語に応じてアクセス先を決定してもよい。
(4)ユーザによる選択
スマートスピーカ20は、ユーザから言語の選択操作を受け付けて、ユーザが使用する言語を判定することができる。スマートスピーカ20は、例えば図4に示したスマートフォン40の言語選択ボックスと同様のものをタッチパネル25に表示し、ユーザによる言語選択をタッチパネル25にて受け付ける。なおスマートスピーカ20による言語選択の受け付けは、適宜のタイミングで行われてよい。スマートスピーカ20は、例えばユーザが宿泊施設を訪れて最初にスマートスピーカ20を使用するタイミングで言語選択の受け付けを行ってよく、また例えばコールセンターへのアクセスを行うためのアクセス用情報20bを表示する直前のタイミングで言語選択を受け付けてもよい。
実施の形態2に係るスマートスピーカ20、管理サーバ30、スマートフォン40又は音声処理サーバ50等の装置は、上記の(1)〜(4)のいずれか1つを採用して又は複数を適宜に組み合わせて、ユーザが使用する言語を判定する。スマートスピーカ20は、使用言語の判定結果に応じたアクセス用情報20bをタッチパネル25に表示する。このアクセス用情報20bをスマートフォン40にて読み取ったユーザは、アクセス用情報20bを利用してコールセンターにアクセスすることによって、自身が使用する言語でオペレータとの音声通信を行うことができる。
なお実施の形態2に係る情報提供システムでは、スマートスピーカ20、管理サーバ30、スマートフォン40又は音声処理サーバ50等の装置が、アクセス用情報20bを表示する前に、ユーザが使用する言語を判定する構成であるが、これに限るものではない。例えば、スマートスピーカ20が表示したアクセス用情報20bをスマートフォン40にて読み取り、ユーザがアクセス用情報20bを利用してスマートフォン40でコールセンターへアクセスを行った後に、ユーザが使用する言語を判定してもよい。この場合、例えばコールセンターを管理するサーバ等の装置が、上記の(1)〜(4)のいずれか1つを採用して又は複数を適宜に組み合わせてユーザの使用する言語を判定し、判定結果に応じたオペレータとユーザとの間で音声通信を行わせる。
またスマートスピーカ20が表示するアクセス用情報20bは、例えば宿泊施設毎、宿泊施設の部屋毎又は宿泊施設の所在地毎等により異なる情報が表示されてもよい。これによりコールセンターでは、スマートフォン40が掛けた電話番号に応じて、いずれの宿泊施設等からの問い合わせであるかを判断することができる。またアクセス用情報20bは、例えば時間又は曜日等に応じて異なる情報が表示されてもよく、また例えばコールセンターが営業しているか否か又はオペレータが在席しているか否か等に応じて異なる情報が表示されてもよい。
図21は、実施の形態2に係るスマートスピーカ20が行う処理の手順を示すフローチャートである。実施の形態2に係るスマートスピーカ20の処理部21は、ユーザからのリクエストに関する音声情報を音声処理サーバ50へ送信すると共に、音声処理サーバ50から受信した音声情報をスピーカ27から出力する音声応答処理を行う(ステップS201)。
処理部21は、音声応答処理を行っている際に、音声応答からチャットボットによる応答又はコールセンターによる応答への切り替えを指示する切替指示が音声処理サーバ50から与えられたか否かを判定する(ステップS202)。切替指示が与えられていない場合(S202:NO)、処理部21は、ステップS201へ処理を戻し、音声応答処理を継続する。
切替指示が与えられた場合(S202:YES)、切り替えの可否を問い合わせるメッセージ等をスピーカ27から音声出力するか又はタッチパネル25に表示することにより、切り替えの可否をユーザに問い合わせる(ステップS203)。処理部21は、この問い合わせに対して切り替えを肯定する回答が得られたか否かを判定する(ステップS204)。切り替えを肯定する回答が得られなかった場合(S204:NO)、処理部21は、ステップS201へ処理を戻し、音声応答処理を継続する。
切り替えを肯定する回答が得られた場合(S204:YES)、処理部21は、ユーザが使用する言語を判定する(ステップS205)。なお言語判定は、これ以前のタイミングで行われてもよい。またスマートスピーカ20以外の装置で言語判定を行ってもよく、この場合にはスマートスピーカ20の処理部21は、言語判定を行った装置から直接的又は間接的に判定結果を取得する。
次いで処理部21は、図11に示すように、チャットボットによる応答への切り替えを行うためのアクセス用情報20aと、コールセンターによる有人応答への切り替えを行うためのアクセス用情報20bとを、タッチパネル25に表示して(ステップS206)、処理を終了する。
図22は、実施の形態2に係るスマートフォン40が行う音声通信開始処理の手順を示すフローチャートである。実施の形態2に係るスマートフォン40の処理部41は、例えばユーザの操作に応じてアプリケーションプログラムを起動し、二次元コードの読み取りを行うモードへと移行する(ステップS211)。本モードにおいて処理部41のアクセス用情報取得部41aは、スマートスピーカ20が表示したアクセス用情報20bをカメラ45にて撮像することにより、コールセンターによる有人応答への切り替えを行うためのアクセス用情報20bを取得する(ステップS212)。アクセス用情報取得部41aは、取得したアクセス用情報20bに含まれる電話番号等の情報を取得する(ステップS213)。
次いで処理部41は、取得した電話番号等の情報に基づいて、コールセンターへのアクセスを行う(ステップS214)。処理部41は、ユーザ及びコールセンターの間での音声通信を開始し(ステップS215)、処理を終了する。
以上の構成の実施の形態2に係る情報提供システムは、宿泊施設の客室に設置されたスマートスピーカ20にてユーザからの音声入力に基づくリクエストを取得し、取得したリクエストに対する応答情報をスマートスピーカ20にて音声出力する。取得したリクエストに対する応答情報の出力を行うことができない場合、管理サーバ30及びスマートスピーカ20は、テキスト入出力による自動応答、又は、オペレータによる有人応答のいずれかへの切り替えを行う。
このときにスマートスピーカ20は、テキスト入出力による自動応答へ切り替えるためのアクセス用情報20aと、オペレータによる有人応答へ切り替えるためのアクセス用情報20bとを表示し、いずれの切り替えを行うかをユーザに選択させる。ユーザは、自身のスマートフォン40にていずれかのアクセス用情報20a,20bを読み取ることで、いずれの応答方法に切り替えるかを選択することができる。
これによりユーザは、スマートスピーカ20を利用した音声応答で所望の結果が得られない場合等に、チャットボットによる応答又はオペレータによる有人応答のいずれかを選択して切り替えることができる。ユーザが自身の好み等に応じた応答方法への切り替えを行うことができるため、ユーザに適した情報提供を行うことが期待できる。
また実施の形態2に係る情報提供システムは、ユーザが使用する言語の種別を判定し、判定した言語で対応できるオペレータによる有人応答への切り替えを行う。これによりユーザは、オペレータとの音声通信等を円滑に行うことができる。
なお、実施の形態2に係る情報提供システムでは、スマートスピーカ20が表示したアクセス用情報20bをスマートフォン40にて読み取り、ユーザがスマートフォン40を用いてコールセンターのオペレータとの音声通信を行う構成であるが、これに限るものではない。例えばコールセンターのオペレータによる有人応答への切り替えがユーザにより選択された場合に、スマートスピーカ20がコールセンターへのアクセスを行い、スマートスピーカ20がユーザ及びオペレータによる音声通信を行ってもよい。
また実施の形態2に係る情報提供システムでは、オペレータ端末70を利用したチャットによるオペレータの有人応答の昨日は備えていなくてもよい。
また、実施の形態2に係る情報提供システムのその他の構成は、先の実施の形態に係る情報提供システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
<実施の形態3>
上述の実施の形態2に係る情報提供システムは、音声によるリクエストに対する応答情報の出力を行うことができない場合に、テキスト入出力による自動応答、又は、オペレータによる有人応答のいずれかへの切り替えを行っている。これに対して実施の形態3に係る情報提供システムは、音声によるリクエストに対する応答情報の出力を行うことができない場合に、まず、テキスト入出力による自動応答への切り替えを行う。これは実施の形態1に係る情報提供システムと同様の手順で行うことができる。
上述の実施の形態1に係る情報提供システムは、テキスト入出力による自動応答でユーザのリクエストに応答できない場合、テキスト入出力によるオペレータの有人応答への切り替えを行っている。これに対して実施の形態3に係る情報提供システムは、テキスト入出力による自動応答でユーザのリクエストに応答できない場合には、実施の形態1に係る情報提供システムと同様のテキスト入出力による有人応答へ切り替えるか、又は、コールセンターのオペレータによる音声での有人応答へ切り替えるかの選択をユーザから受け付ける。
実施の形態3に係る情報提供システムの管理サーバ30は、ユーザからのリクエストの意図が識別不可能であった場合、又は、リクエストの意図に対する応答情報が得られなかった場合、チャットボットの自動応答からオペレータによる有人応答への切替指示をユーザのスマートフォン40へ送信する。これは、例えば図16に示したフローチャートのステップS78に示された処理に相当する。
実施の形態3に係る情報提供システムのスマートフォン40は、テキスト入出力によるチャットボットの自動応答を行っている際に、管理サーバ30から切替指示を受信したか否かの判定を行う。これは、例えば図15に示したフローチャートのステップS54に示された処理に相当する。
管理サーバ30から切替指示を受信した場合、実施の形態3に係るスマートフォン40は、オペレータのテキスト入出力による有人応答へ切り替えるか、又は、コールセンターのオペレータの音声入出力による有人応答へ切り替えるかの選択を受け付ける。このときにスマートフォン40は、タッチパネル44に例えば有人応答へ切り替える旨のメッセージを表示すると共に、「チャット(テキスト入出力)」のラベルが付されたボタンと、「コールセンター(音声入出力)」のラベルが付されたボタンとを並べて表示する。スマートフォン40は、いずれかのボタンに対するタッチ操作を受け付けることにより、テキスト入出力による有人応答又は音声入出力による有人応答の選択を受け付ける。
テキスト入出力による有人応答への切り替えが選択された場合、スマートフォン40は、テキスト入出力による有人応答への切り替えの要求を管理サーバ30へ送信する。これは、例えば図15に示したフローチャートのステップS58に示された処理に相当する。スマートフォン40からの要求を受信した管理サーバ30は、例えば図17に示したフローチャートの処理により、テキスト入出力による有人応答を行う。
音声入出力による有人応答への切り替えが選択された場合、実施の形態3に係るスマートフォン40は、音声入出力による有人応答への切り替えの要求を管理サーバ30へ送信する。この要求を受信した管理サーバ30は、例えばユーザが使用する言語を判定する処理を行って、ユーザに適したコールセンター又はオペレータ等を決定する。管理サーバ30は、決定したオペレータとの通話を行うための電話番号等の情報をスマートフォン40へ送信するか、又は、このオペレータとスマートフォン40との通話接続を確立する処理を行う。スマートフォン40は、管理サーバ30から電話番号等の情報を受信した場合には、受信した情報に基づいてコールセンターへアクセスし、オペレータとの音声通信を開始する。
以上の構成の実施の形態3に係る情報提供システムは、テキスト入出力による自動応答ではユーザのリクエストに応答できない場合に、テキスト入出力による有人応答又は音声入出力による有人応答への切り替えの選択をユーザから受け付けて、選択された有人応答への切り替えを行う。
これによりユーザは、チャットボットによる自動応答で所望の結果が得られない場合等に、オペレータによる有人応答への切り替えを行うことができ、テキスト入出力又は音声入出力のいずれの有人応答へ切り替えを行うかを選択することができる。ユーザが自身の好み等に応じた応答方法への切り替えを行うことができるため、ユーザに適した情報提供を行うことが期待できる。
なお実施の形態3に係る情報提供システムのその他の構成は、先の実施の形態に係る情報提供システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
10 情報提供システム
20 スマートスピーカ(ユーザインタフェース)
20a アクセス用情報
21 処理部
22 記憶部
22a プログラム
22b 識別情報
23 通信部
25 タッチパネル
25a 表示部
25b 入力部
26 マイク
27 スピーカ
28 カメラ
30 管理サーバ(情報提供装置)
31 処理部
31a リクエスト取得部
31b 応答処理部
31c 切替処理部
31d 学習処理部
32 記憶部
32a サーバプログラム
33 通信部
40 スマートフォン(端末装置)
41 処理部
41a アクセス用情報取得部
41b チャット処理部
42 記憶部
42a プログラム
43 通信部
44 タッチパネル
45 カメラ
50 音声処理サーバ
60 翻訳サーバ
70 オペレータ端末
80 予約サーバ
81 意図識別モデル(識別器)
82 応答情報DB
83 オペレータDB
99 記録媒体

Claims (14)

  1. 宿泊施設に設置されたユーザインタフェースに入力された音声に基づくリクエストを取得し、
    取得したリクエストに対応する応答情報をデータベースから取得し、
    取得した応答情報を前記ユーザインタフェースに音声で出力させ、
    前記データベースから前記応答情報を取得できない場合に、オペレータによる有人応答へ切り替える、情報提供方法。
  2. 前記データベースから前記応答情報を取得できない場合に、オペレータによる有人応答へ切り替えるための情報を前記ユーザインタフェースに出力させる、請求項1に記載の情報提供方法。
  3. テキスト入出力による有人応答又は音声入出力による有人応答の選択を受け付け、
    受け付けた選択に応じたオペレータによる有人応答へ切り替える、請求項1又は請求項2に記載の情報提供方法。
  4. 日付、時刻又は言語の情報に基づいて、前記有人応答への切り替え先を決定する、請求項1から請求項3までのいずれか1つに記載の情報提供方法。
  5. ユーザのリクエストに係る情報を入力として受け付け、前記ユーザのリクエストの意図を識別して出力するよう学習された識別器を用い、
    前記識別器にユーザのリクエストに係る情報を入力して、前記識別器が出力する前記リクエストの意図を取得し、
    取得したリクエストの意図に対応する応答情報を前記データベースから取得し、
    取得した応答情報を出力させ、
    前記オペレータによる有人応答への切り替えを行った場合に、前記有人応答の結果に基づいて前記識別器を再学習する、
    請求項1から請求項4までのいずれか1つに記載の情報提供方法。
  6. 前記データベースから前記応答情報を取得できない場合に、テキストの入出力による自動応答への切り替えを行うための情報、及び、オペレータによる有人応答への切り替えを行うための情報を選択可能に表示する、
    請求項1から請求項4までのいずれか1つに記載の情報提供方法。
  7. ユーザが使用する言語を判定し、
    判定した言語に対応したオペレータによる有人応答への切り替えを行う、
    請求項1から請求項6までのいずれか1つに記載の情報提供方法。
  8. 前記ユーザインタフェースに入力された音声に基づいて、ユーザが使用する言語を判定する、
    請求項7に記載の情報提供方法。
  9. 宿泊者に関する情報を管理するデータベースに記憶されたユーザの情報に基づいて、前記ユーザが使用する言語を判定する、
    請求項7に記載の情報提供方法。
  10. ユーザが使用する端末装置から言語設定を取得し、取得した言語設定に基づいて、前記ユーザが使用する言語を判定する、
    請求項7に記載の情報提供方法。
  11. ユーザから言語の選択操作を受け付け、受け付けた選択操作に基づいて、前記ユーザが使用する言語を判定する、
    請求項7に記載の情報提供方法。
  12. 宿泊施設に設置されるユーザインタフェースと、
    前記ユーザインタフェースに入力された音声に基づくリクエストを取得するリクエスト取得部、前記リクエスト取得部が取得したリクエストに対応する応答情報をデータベースから取得する応答情報取得部、前記応答情報取得部が取得した応答情報を前記ユーザインタフェースに音声で出力させる処理を行う音声出力処理部、及び、前記データベースから前記応答情報を取得できない場合に、オペレータによる有人応答への切り替えに係る処理を行う処理部を有する情報提供装置と
    を備える、情報提供システム。
  13. 宿泊施設に設置されたユーザインタフェースに入力された音声に基づくリクエストを取得するリクエスト取得部と、
    前記リクエスト取得部が取得したリクエストに対応する応答情報をデータベースから取得する応答情報取得部と、
    前記応答情報取得部が取得した応答情報を前記ユーザインタフェースに音声で出力させる処理を行う音声出力処理部と、
    前記データベースから前記応答情報を取得できない場合に、オペレータによる有人応答への切り替えに係る処理を行う処理部と
    を備える、情報提供装置。
  14. コンピュータに、
    宿泊施設に設置されたユーザインタフェースに入力された音声に基づくリクエストを取得し、
    取得したリクエストに対応する応答情報をデータベースから取得し、
    取得した応答情報を前記ユーザインタフェースに音声で出力させ、
    前記データベースから前記応答情報を取得できない場合に、オペレータによる有人応答へ切り替える、
    処理を実行させるコンピュータプログラム。
JP2021118029A 2019-09-27 2021-07-16 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム Active JP7066235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022069467A JP2022089968A (ja) 2019-09-27 2022-04-20 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019177573 2019-09-27
JP2019177573 2019-09-27
JP2021507724A JP6920773B1 (ja) 2019-09-27 2020-09-24 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021507724A Division JP6920773B1 (ja) 2019-09-27 2020-09-24 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022069467A Division JP2022089968A (ja) 2019-09-27 2022-04-20 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021166102A true JP2021166102A (ja) 2021-10-14
JP7066235B2 JP7066235B2 (ja) 2022-05-13

Family

ID=75167012

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2021507724A Active JP6920773B1 (ja) 2019-09-27 2020-09-24 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム
JP2021118029A Active JP7066235B2 (ja) 2019-09-27 2021-07-16 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム
JP2022069467A Pending JP2022089968A (ja) 2019-09-27 2022-04-20 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム
JP2023053908A Pending JP2023073412A (ja) 2019-09-27 2023-03-29 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021507724A Active JP6920773B1 (ja) 2019-09-27 2020-09-24 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022069467A Pending JP2022089968A (ja) 2019-09-27 2022-04-20 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム
JP2023053908A Pending JP2023073412A (ja) 2019-09-27 2023-03-29 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Country Status (2)

Country Link
JP (4) JP6920773B1 (ja)
WO (1) WO2021060391A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7054571B1 (ja) 2021-12-03 2022-04-14 Kotozna株式会社 コミュニケーションシステム
JP2023081290A (ja) * 2021-11-30 2023-06-09 株式会社 コリアセブン チャットボットサービス方法、チャットボットサービスシステム、及び該方法を実行させるために、記録媒体に保存されたコンピュータプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6920773B1 (ja) * 2019-09-27 2021-08-18 Tradfit株式会社 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム
WO2023238333A1 (ja) * 2022-06-09 2023-12-14 三菱電機株式会社 設備管理システム、通知装置、およびプログラム

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148708A (ja) * 1998-11-10 2000-05-30 Internatl Business Mach Corp <Ibm> 通信方法、サーバへアクセスする方法、通信システム、サーバにアクセスすることを指示するプログラムコードを含む記憶媒体
JP2001111696A (ja) * 1999-10-04 2001-04-20 Ryoichi Komai インターネット通話を用いたコールセンターシステム
JP2002109195A (ja) * 2000-10-04 2002-04-12 Mmn:Kk 販売支援方法
JP2003337866A (ja) * 2002-05-20 2003-11-28 Shimizu Corp 室内環境・情報管理統合化システム
JP2005051554A (ja) * 2003-07-29 2005-02-24 Mitsubishi Electric Corp 応答コールセンターシステムの顧客端末及びオペレータ端末
JP2008109595A (ja) * 2006-10-27 2008-05-08 Nec Corp 通話方法自動切替システム、サーバ、方法およびプログラム
JP2009200537A (ja) * 2008-01-21 2009-09-03 Nonomura Denshi Giken:Kk ペイテレビ課金システム
JP2011239109A (ja) * 2010-05-07 2011-11-24 Japan Research Institute Ltd 音声通信方法
US20110298596A1 (en) * 2010-06-07 2011-12-08 Warrick Peter Method of operating one or more controllable devices in dependence upon commands received from a mobile device and system controller thereof
WO2012006675A1 (en) * 2010-07-14 2012-01-19 Lahris Pty Ltd Accomodation systems
US20140114706A1 (en) * 2009-11-23 2014-04-24 John Ford Blakely System and method for an automated concierge
US20140257963A1 (en) * 2013-03-05 2014-09-11 Edward Dwight Landis Techniques for delivering hotel services
JP2014215729A (ja) * 2013-04-24 2014-11-17 日本エイ・ティー・エム株式会社 自動取引装置操作支援システム
JP2016103270A (ja) * 2014-11-12 2016-06-02 株式会社アドバンスト・メディア 情報処理システム、受付サーバ、情報処理方法及びプログラム
JP2017049635A (ja) * 2015-08-31 2017-03-09 長野テクトロン株式会社 店舗案内システム
JP2017098822A (ja) * 2015-11-26 2017-06-01 沖電気工業株式会社 制御装置、プログラム、及び制御システム
JP2018081147A (ja) * 2016-11-14 2018-05-24 シャープ株式会社 コミュニケーション装置、サーバ、制御方法、および情報処理プログラム
JP2018207143A (ja) * 2017-05-30 2018-12-27 沖電気工業株式会社 顧客応対システム、顧客応対方法、顧客応対装置、及びプログラム
JP2019020683A (ja) * 2017-07-21 2019-02-07 トヨタ自動車株式会社 音声認識システム及び音声認識方法
JP2019028783A (ja) * 2017-07-31 2019-02-21 株式会社L is B コールセンタ支援装置、コールセンタ支援システム、コールセンタ支援方法およびコールセンタ支援プログラム
JP2019047170A (ja) * 2017-08-29 2019-03-22 沖電気工業株式会社 顧客の苦情検知機能を備えたコールセンタシステム、コールセンタ装置、対話方法、およびそのプログラム
JP2019128737A (ja) * 2018-01-23 2019-08-01 エヌ・ティ・ティ・コミュニケーションズ株式会社 マルチクラウドチャットサービス提供装置、マルチクラウドチャットサービス提供方法およびマルチクラウドチャットサービス提供プログラム
JP2019139584A (ja) * 2018-02-13 2019-08-22 コニカミノルタ株式会社 文章入力装置、プログラム
JP6648876B1 (ja) * 2019-05-31 2020-02-14 富士通株式会社 会話制御プログラム、会話制御方法および情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153015A (ja) * 2014-02-12 2015-08-24 株式会社 ネットシスジャパン オンライン決済システム
JP6920773B1 (ja) * 2019-09-27 2021-08-18 Tradfit株式会社 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148708A (ja) * 1998-11-10 2000-05-30 Internatl Business Mach Corp <Ibm> 通信方法、サーバへアクセスする方法、通信システム、サーバにアクセスすることを指示するプログラムコードを含む記憶媒体
JP2001111696A (ja) * 1999-10-04 2001-04-20 Ryoichi Komai インターネット通話を用いたコールセンターシステム
JP2002109195A (ja) * 2000-10-04 2002-04-12 Mmn:Kk 販売支援方法
JP2003337866A (ja) * 2002-05-20 2003-11-28 Shimizu Corp 室内環境・情報管理統合化システム
JP2005051554A (ja) * 2003-07-29 2005-02-24 Mitsubishi Electric Corp 応答コールセンターシステムの顧客端末及びオペレータ端末
JP2008109595A (ja) * 2006-10-27 2008-05-08 Nec Corp 通話方法自動切替システム、サーバ、方法およびプログラム
JP2009200537A (ja) * 2008-01-21 2009-09-03 Nonomura Denshi Giken:Kk ペイテレビ課金システム
US20140114706A1 (en) * 2009-11-23 2014-04-24 John Ford Blakely System and method for an automated concierge
JP2011239109A (ja) * 2010-05-07 2011-11-24 Japan Research Institute Ltd 音声通信方法
US20110298596A1 (en) * 2010-06-07 2011-12-08 Warrick Peter Method of operating one or more controllable devices in dependence upon commands received from a mobile device and system controller thereof
WO2012006675A1 (en) * 2010-07-14 2012-01-19 Lahris Pty Ltd Accomodation systems
US20140257963A1 (en) * 2013-03-05 2014-09-11 Edward Dwight Landis Techniques for delivering hotel services
JP2014215729A (ja) * 2013-04-24 2014-11-17 日本エイ・ティー・エム株式会社 自動取引装置操作支援システム
JP2016103270A (ja) * 2014-11-12 2016-06-02 株式会社アドバンスト・メディア 情報処理システム、受付サーバ、情報処理方法及びプログラム
JP2017049635A (ja) * 2015-08-31 2017-03-09 長野テクトロン株式会社 店舗案内システム
JP2017098822A (ja) * 2015-11-26 2017-06-01 沖電気工業株式会社 制御装置、プログラム、及び制御システム
JP2018081147A (ja) * 2016-11-14 2018-05-24 シャープ株式会社 コミュニケーション装置、サーバ、制御方法、および情報処理プログラム
JP2018207143A (ja) * 2017-05-30 2018-12-27 沖電気工業株式会社 顧客応対システム、顧客応対方法、顧客応対装置、及びプログラム
JP2019020683A (ja) * 2017-07-21 2019-02-07 トヨタ自動車株式会社 音声認識システム及び音声認識方法
JP2019028783A (ja) * 2017-07-31 2019-02-21 株式会社L is B コールセンタ支援装置、コールセンタ支援システム、コールセンタ支援方法およびコールセンタ支援プログラム
JP2019047170A (ja) * 2017-08-29 2019-03-22 沖電気工業株式会社 顧客の苦情検知機能を備えたコールセンタシステム、コールセンタ装置、対話方法、およびそのプログラム
JP2019128737A (ja) * 2018-01-23 2019-08-01 エヌ・ティ・ティ・コミュニケーションズ株式会社 マルチクラウドチャットサービス提供装置、マルチクラウドチャットサービス提供方法およびマルチクラウドチャットサービス提供プログラム
JP2019139584A (ja) * 2018-02-13 2019-08-22 コニカミノルタ株式会社 文章入力装置、プログラム
JP6648876B1 (ja) * 2019-05-31 2020-02-14 富士通株式会社 会話制御プログラム、会話制御方法および情報処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023081290A (ja) * 2021-11-30 2023-06-09 株式会社 コリアセブン チャットボットサービス方法、チャットボットサービスシステム、及び該方法を実行させるために、記録媒体に保存されたコンピュータプログラム
JP7489569B2 (ja) 2021-11-30 2024-05-24 株式会社 コリアセブン チャットボットサービス方法、チャットボットサービスシステム、及び該方法を実行させるために、記録媒体に保存されたコンピュータプログラム
JP7054571B1 (ja) 2021-12-03 2022-04-14 Kotozna株式会社 コミュニケーションシステム
WO2023100965A1 (ja) * 2021-12-03 2023-06-08 Kotozna株式会社 コミュニケーションシステム
JP2023082891A (ja) * 2021-12-03 2023-06-15 Kotozna株式会社 コミュニケーションシステム

Also Published As

Publication number Publication date
JP6920773B1 (ja) 2021-08-18
JP2022089968A (ja) 2022-06-16
JP2023073412A (ja) 2023-05-25
JPWO2021060391A1 (ja) 2021-10-14
JP7066235B2 (ja) 2022-05-13
WO2021060391A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
JP6920773B1 (ja) 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム
KR20190049886A (ko) 언어 모델을 사용한, 메시지들에서 수신되는 이미지들에 대한 자동적인 제안 응답들
KR102489914B1 (ko) 전자 장치 및 이의 제어 방법
JP6292295B2 (ja) 連携システム、装置、方法、および記録媒体
JP2017152948A (ja) 情報提供方法、情報提供プログラム、および情報提供システム
KR102216783B1 (ko) 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템
KR102217301B1 (ko) 개인 일정 및 라이프 스타일을 반영한 인공지능의 컨텍 제어
KR20240021834A (ko) 대화형 통신 시스템을 동적으로 탐색하기 위한 방법, 장치 및 시스템
JP2019056956A (ja) 情報処理システム、情報処理プログラム、情報処理装置及び情報処理方法
CN117061487A (zh) 语音响应系统的图形用户界面
US11651059B2 (en) User account matching based on a natural language utterance
KR102494944B1 (ko) 콘텐츠 생성 방법 및 그 시스템
JP2003085102A (ja) 情報授受システムおよび情報授受方法
JP7250383B1 (ja) 端末装置を用いたコミュニケーションのためのシステム
KR102512470B1 (ko) 시니어를 위한 대신결제 쇼핑몰 플랫폼 서비스 제공 시스템
JP7363862B2 (ja) 情報処理システム、チャットボットシステム、情報管理方法、プログラム
JP7319639B1 (ja) 音声入力システム及びそのプログラム
JP7205962B1 (ja) 自動対話のためのシステム
JP7116444B1 (ja) 申請支援システム、ユーザー端末装置、申請支援装置、及びプログラム
US20240153529A1 (en) Information processing apparatus, information input support system, and non-transitory recording medium
JP2003030091A (ja) 多言語オペレートシステム
JP2022129582A (ja) 情報処理システム、オペレータ端末、及びプログラム
JP2024068624A (ja) 情報処理装置、情報入力支援システム、情報入力支援方法、及びプログラム
JP2021103843A (ja) 給湯器修理の自動応答用サーバ装置、自動応答システム、および、自動応答用プログラム
JP2002366774A (ja) 通訳利用システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220420

R150 Certificate of patent or registration of utility model

Ref document number: 7066235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150