<第1実施形態>
図1を参照して、本発明の第1実施形態に係る情報処理システムとしての機器システムについて説明する。図1には、第1実施形態に係る機器システムの一例が示されている。
第1実施形態に係る機器システムは、一例として、端末装置10と、機器(例えば機器12,14)と、外部装置の一例としてのサーバ16と、を含む。図1に示す例では、端末装置10、機器12,14及びサーバ16は、ネットワーク等の通信経路Nを介して互いに通信する機能を備えている。もちろん、端末装置10、機器12,14及びサーバ16は、通信経路Nを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図1に示す例では、2つの機器(機器12,14)が機器システムに含まれているが、1つ又は3つ以上の機器が機器システムに含まれていてもよい。また、複数の端末装置10や複数のサーバ16が、機器システムに含まれていてもよい。なお、サーバ16は機器システムに含まれていなくてもよい。
端末装置10は、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。端末装置10は、ウェアラブル端末(腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等)であってもよい。端末装置10は、例えば、機器の利用時にユーザインターフェース部(UI部)として機能する。
機器12,14は機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、PC、タブレットPC、スマートフォン、携帯電話、ロボット(人型ロボット、人以外の動物型ロボット、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(いわゆるドローン))、ゲーム機、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器12,14は、ユーザに対してアウトプットを出力する機器(例えば画像形成装置やPC等)であってもよいし、ユーザに対してアウトプットを出力しない機器(例えばセンシング機器)であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器12,14の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器の範疇に含まれてもよい。また、機器12,14は、他の装置との間でデータを送受信する機能を有する。
サーバ16は、データの管理、ユーザ情報の管理、機器12,14の管理等を行う装置である。また、サーバ16は、他の装置との間でデータを送受信する機能を有する。
端末装置10においては、ユーザと対話する機能を有する対話相手が用いられる。その対話相手は、例えば、ユーザの発言を受け、その発言内容を解析することで、その発言に対する回答等の返事を作成してユーザに提供する機能を有する。例えば、ユーザの発言は、文字入力、音声入力、画像入力等によって行われ、回答等の返事は、文字出力、音声出力、画像出力等によって行われる。対話相手は、例えばプログラムを実行することで実現され、そのプログラムは例えば端末装置10にインストールされている。もちろん、対話相手に関するプログラムは、サーバ16等の外部装置にインストールされ、対話相手の機能が、サーバ16等の外部装置から端末装置10に対して提供されてもよい。
上記の対話相手は、例えば人工知能(AI)によって実現される自動応答AIによって構成されている。自動応答AIは、ユーザの発言内容を解析し、その発言内容に対する回答等の返事をユーザに提供する機能を有する。自動応答AIは、いわゆるチャットボット(chatbot)(人工知能を活用した自動会話プログラム)であってもよい。自動応答AIは、人工知能による学習機能を有し、その学習機能によって、人に近い判断を行う能力を有していてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、アンサンブル学習、等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。
自動応答AIを利用することで、ユーザが自動応答AIと対話しながら、各機器が有する機能の通知や、複数の機能を利用して実行可能な連携機能の通知等が行われる。なお、各機器が有する機能や連携機能の特定処理は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。以下では、端末装置10によって上記の特定処理が行われるものとする。
以下、図2を参照して、端末装置10の構成について詳しく説明する。
通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部18は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部18は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi−Fi(登録商標)通信、近接無線通信(例えばNFC(Near Field Communication)等)、等である。近接無線通信としては、Felica(登録商標)、Bluetooth(ブルートゥース)(登録商標)、RFID(Radio Frequency Identifier)等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部18は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
UI部20はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。また、UI部20は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置10に入力されてもよいし、音声によって情報が発せられてもよい。
UI部20の表示部には、例えば、カメラによって撮影された画像や、利用対象の機器(例えば、単独で利用される機器や連携対象の機器)として識別された機器に紐付く機器画像、機能に紐付く機能画像、等が表示されてもよい。機器に紐付く機器画像は、カメラによって撮影された当該機器を表す画像(静止画像又は動画像)であってもよいし、当該機器を模式的に表す画像(例えばアイコン)であってもよい。模式的に表す画像のデータは、例えば、端末装置10の制御部26によって作成されてもよいし、端末装置10の記憶部24に予め記憶されていてもよいし、サーバ16に記憶されてサーバ16から端末装置10に提供されてもよいし、別の装置に記憶されて当該別の装置から端末装置10に提供されてもよい。機能に紐付く機能画像は、例えば、その機能を表すアイコン等の画像である。
撮影手段としてのカメラ22は、撮影対象を撮影することで画像データ(例えば静止画像データや動画像データ)を生成する。画像は例えばUI部20の表示部に表示される。表示部に表示された画像がユーザによって操作されてもよい。なお、外部のカメラによって撮影された画像データが、通信経路を介して端末装置10に送られ、その画像がUI部20の表示部に表示されてもよい。この場合も、その画像がユーザによって操作されてもよい。
記憶部24はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部24には、例えば、機器機能管理情報、連携機能管理情報、各種のデータ、各種のプログラム(例えば、OS(Operating System)、自動応答AIを実現するためのプログラム(ソフトウェア)、各種のアプリケーションプログラム(アプリケーションソフトウェア)等)、各機器のアドレスを示す情報(機器アドレス情報)、サーバ16のアドレスを示す情報(サーバアドレス情報)、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。なお、自動応答AIを実現するためのプログラムはサーバ16等の外部装置に記憶され、そのプログラム自体が外部装置によって実行されることで、自動応答AIの機能が外部装置から端末装置10に提供されてもよい。この場合、自動応答AIを実現するためのプログラムは記憶部24に記憶されていなくてもよい。
以下、機器機能管理情報と連携機能管理情報について説明する。
機器機能管理情報は、各機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報(機器識別情報)と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ID、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報(例えば資産管理番号等)、機器が設置されている位置を示す情報(機器の位置情報)、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、例えば機器を表す外観画像である。外観画像は、機器の外側(例えば機器の筐体)を表す画像であってもよいし、筐体を開けて内部が外から見える状態(例えば内部構造)を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器を撮影することで生成された画像(機器の外側を表す画像や内部を表す画像等)であってもよいし、機器を模した画像(例えばアイコン等)であってもよい。機能情報は、例えば、機能IDや機能名称等である。例えば、機器12が画像形成装置であって、その画像形成装置が、プリント機能、スキャン機能及びコピー機能を有する場合、当該画像形成装置のデバイス識別情報には、一例として、プリント機能を示す機能情報、スキャン機能を示す機能情報、及び、コピー機能を示す機能情報が対応付けられている。機器機能管理情報を参照することで、各機器が有する機能が特定(識別)される。
機器機能管理情報によって管理されている機器は、例えば機器システムに含まれる機器(例えば機器12,14)である。もちろん、機器システムに含まれない機器が機器機能管理情報によって管理されてもよい。例えば、端末装置10は、機器システムに含まれていない新たな機器に関する情報(デバイス識別情報と機能情報とを含む情報)を取得し、機器機能管理情報に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、端末装置10は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。もちろん、端末装置10自体が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行せずに、サーバ16等の外部装置が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行してもよい。この場合、外部装置によって生成や更新された機器機能管理情報が、外部装置から端末装置10に送信されて記憶部24に記憶される。
連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、1又は複数の連携機能が実行される。連携機能は、例えば、1つの機器(例えば機器12)が有する複数の機能を連携させることによって実行可能な機能であってもよいし、複数の機器(例えば機器12,14)が有する複数の機能を連携させることによって実行可能な機能であってもよい。また、操作指示を出している端末装置10も連携対象の機器として利用され、端末装置10が有する機能も連携機能の一部として利用されてもよい。
連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。
連携機能管理情報は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能IDや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報から削除され、又は、使用不可な情報として登録される。連携機能管理情報の更新は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。外部装置によって連携機能管理情報の更新が実行された場合、更新された連携機能管理情報が外部装置から端末装置10に送信されて記憶部24に記憶される。
複数の機器を連携させる場合、例えば、連携機能管理情報は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。また、複数のアウトプット機能を有する機器(ユーザに対してアウトプットを出力する機器であって複数のアウトプット機能を有する機器)とアウトプット機能を有していないセンシング機器(ユーザに対してアウトプットを出力しない機器)とを連携させる場合、連携機能管理情報には、特定のセンシング機器と当該複数のアウトプット機能の中の特定のアウトプット機能との組み合わせを示す情報が含まれてもよい。こうすることで、複数のアウトプット機能の中から、特定のセンシング機器と組み合わせて使用されるアウトプット機能が特定される。上記のように、機器機能管理情報が更新された場合、その更新に伴って、連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。
連携機能は、互いに異なる複数の機能を連携させることによって実行可能な機能であってもよいし、同一の機能を連携させることによって実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)を連携させることで、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることでコピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。
連携機能の概念の範疇には、複数の機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能(電話を介した会話が翻訳される機能)が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や機能を連携させることで実現可能となる機能が含まれる。
制御部26は、端末装置10の各部の動作を制御する。制御部26は、例えば、通信部18による通信の制御、UI部20の表示部への情報の表示の制御、等を行う。また、制御部26は、位置情報取得部28と特定部30を含む。
位置情報取得部28は、例えばGPS(Global Positioning System)を利用することで、端末装置10や各機器(例えば機器12,14)の位置を示す情報(位置情報)を取得する機能を有する。機器の位置情報には、当該機器を識別するためのデバイス識別情報が含まれている。
特定部30は、機器が有する機能や、複数の機器を利用して実行可能な連携機能を特定する機能を有する。特定部30は、例えば自動応答AIによって実現される。もちろん、特定部30は、自動応答AIによって実現されずに、他のプログラム等によって実現されてもよい。
例えば、特定部30は、ユーザによって指定された機器を識別するためのデバイス識別情報を受け、記憶部24に記憶されている機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、機器が有する機能が特定(識別)される。
また、特定部30は、位置情報取得部28によって取得された位置情報に含まれているデバイス識別情報を受け、機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定してもよい。例えば、特定部30は、端末装置10の位置情報と機器の位置情報とに基づいて、端末装置10(ユーザ)と当該機器との間の位置関係を特定する。その位置関係が予め定められた特定位置関係に該当する場合、特定部30は、当該機器の位置情報に含まれているデバイス識別情報と機器機能管理情報とに基づいて、当該機器が有する機能を特定してもよい。例えば、機器を含む予め定められた領域内に端末装置10が存在する場合、特定部30は、当該機器が有する機能を特定する。
制御部26は、特定部30によって特定された機能に関する情報(例えば、機能情報や機能の説明情報等)の通知(案内)の制御を行う。制御部26は、その通知として、その機能に関する情報をUI部20の表示部に表示させてもよいし、スピーカ等を用いることで、その機能に関する情報を音声情報として発してもよい。また、制御部26は、その機能の実行を制御してもよい。また、ユーザによる機器の指定は、UI部20の表示部の画面上で行われてもよいし、音声によって行われてもよい。例えば、機器に紐付く画像がUI部20の画面に表示されている場合において、ユーザが、その画面上で画像を指定することで機器を指定してもよい。別の例として、機器に紐付く画像がUI部20の画面に表示されているか否かに関わらず、ユーザが音声によって機器を指定してもよい。例えば、ユーザが機器名を音声によって発した場合、その音声はマイク等の集音部によって集音され、機器名を示す音声情報が端末装置10に入力される。特定部30は、その機器名を有する機器がユーザによって指定されたと判断して機能を特定する。このように、機器を指定するための操作と機能の通知は、画面上の表示によって行われてもよいし、音声によって行われてもよい。画面上の表示と音声とを組み合わせてもよい。例えば、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が画面に表示されてもよい。別の例として、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が音声によって発せられてもよい。更に別の例として、機器名が音声情報として端末装置10に入力されることで機器が指定され、機能を示す情報が画面に表示されてもよい。更に別の例として、機器名が音声情報として端末装置10に入力されることで機器が指定され、機能を示す情報が音声によって発せられてもよい。
なお、機能の特定処理はサーバ16によって行われてもよい。この場合、端末装置10からサーバ16にデバイス識別情報が送信され、サーバ16に設けられた特定部30によって、当該デバイス識別情報に対応付けられている機能を示す機能情報が特定される。なお、サーバ16によって特定処理が行われる場合、サーバ16には機器機能管理情報が記憶されている。機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
また、特定部30は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部24に記憶されている連携機能管理情報において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行可能となる連携機能が特定(識別)される。制御部26は、特定された連携機能に関する情報(例えば、連携機能情報や連携機能の説明情報等)の通知(案内)の制御を行う。制御部26は、連携機能に関する情報をUI部20の表示部に表示させてもよいし、音声情報として発してもよい。なお、上記と同様に、連携対象の各機器の指定は、画面上にて行われてもよいし、音声によって行われてもよい。
特定部30は、各機器の位置情報に含まれるデバイス識別情報を受け、各デバイス識別情報と連携機能管理情報とに基づいて連携機能を特定してもよい。
なお、連携機能の特定処理はサーバ16によって行われてもよい。この場合、端末装置10からサーバ16に複数のデバイス識別情報が送信され、サーバ16に設けられた特定部30によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。なお、サーバ16によって特定処理が行われる場合、サーバ16には連携機能管理情報が記憶されている。連携機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
例えば、1つの機器が指定された場合、当該機器が有する機能が特定され、複数の機器が指定された場合、当該複数の機器を利用して実行可能な連携機能が特定される。
また、特定部30は、連携機能に利用される各機能を示す機能情報を受け、連携機能管理情報において各機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機能を連携させることによって実行可能な連携機能が特定(識別)される。この特定処理もサーバ16によって行われ、その処理の結果がUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
例えば、ユーザが機器の情報を自動応答AIに送ることで、機器が指定される。ユーザが複数の機器の情報を自動応答AIに送った場合、特定部30は、当該複数の機器を連携対象の機器として識別し、当該複数の機器を利用して実行可能な連携機能を特定する。また、ユーザが1つの機器の情報を自動応答AIに送った場合、特定部30は、当該機器を識別し、当該機器が有する機能を特定する。機器の情報は、機器を識別するためのデバイス識別情報であり、例えば、機器に紐付く機器画像や、デバイス識別情報を示す文字情報や音声情報等である。例えば、ユーザが機器に紐付く機器画像を自動応答AIに送った場合や、ユーザが機器のデバイス識別情報を示す文字列を端末装置10にて入力して自動応答AIに与えた場合や、ユーザが音声によって機器のデバイス識別情報を自動応答AIに与えた場合、特定部30(自動応答AIによって実現される特定部30)は、当該機器を識別する
なお、ユーザ毎に、ユーザによって利用可能な機能(機器が有する単独機能や連携機能)が管理されてもよい。この管理は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報(例えば機能購入履歴情報)が作成されて管理されてもよい。利用可能な機能の管理が端末装置10によって行われる場合、利用可能機能情報は記憶部24に記憶され、その管理がサーバ16等の外部装置によって行われる場合、利用可能機能情報は外部装置に記憶される。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、一概に購入の有無によって機能の利用可能が判断されなくてもよい。機能の購入処理は、例えば、サーバ16等の外部装置によって行われる。
利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報(連携機能情報を含んでいてもよい)と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザIDや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することで、各ユーザが利用可能な機能が特定(識別)される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に(例えば、ユーザに無償又は有償で機能が提供される度に)更新されてもよい。
ユーザによって利用可能な機能が管理されている場合、特定部30は、ユーザを識別するためのユーザ識別情報を受け、利用可能機能管理情報(例えば、端末装置10やサーバ16に記憶されている情報)において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能が特定(識別)される。制御部26は、特定された機能に関する情報をUI部20の表示部に表示させてもよいし、音声情報として発してもよい。例えば、特定部30は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、更に、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。
なお、ユーザによって利用可能な機能はサーバ16等の外部装置によって特定されてもよい。この場合、端末装置10からサーバ16にユーザ識別情報が送信され、サーバ16に設けられた特定部30によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。サーバ16によって特定処理が行われる場合、利用可能機能情報はサーバ16に記憶されている。ユーザによって利用可能な各機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
以下、図3を参照して、機器12の構成について詳しく説明する。一例として、機器12は画像形成装置であるものとする。以下では、機器12を画像形成装置12と称する場合がある。図3には、画像形成装置12の構成が示されている。
通信部32は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部32は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部32は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi−Fi通信、近接無線通信等である。通信部32は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。
画像形成部34は画像形成機能を有する。具体的には、画像形成部34は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能(転送機能)とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成され、そのスキャンデータが送信先(例えば端末装置10等の外部装置)に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。
記憶部36はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部36には、例えば、画像形成の命令を示す情報(例えばジョブ情報等)、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、端末装置10のアドレスを示す情報(端末アドレス情報)、サーバ16のサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
UI部38はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。なお、画像形成装置12はUI部38を有していなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部(ハードウェアUI部)を備えていてもよい。ハードウェアUI部は、例えば、数字入力に特化したハードウェアキー(例えばテンキー)、方向の指示に特化したハードウェアキー(例えば方向指示キー)、等である。
制御部40は、画像形成装置12の各部の動作を制御する。
以下、図4を参照して、サーバ16の構成について詳しく説明する。図4には、サーバ16の構成が示されている。
通信部42は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部42は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。
記憶部44はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部44には、例えば、各種のデータ、各種のプログラム、端末装置10の端末アドレス情報、各機器の機器アドレス情報、サーバ16のサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
サーバ16によって各機器が有する機能と連携機能が管理される場合、上記の機器機能管理情報と連携機能管理情報が記憶部44に記憶され、サーバ16において、機器機能管理情報と連携機能管理情報が更新されてもよい。この場合において、端末装置10によって機能の特定処理が行われる場合、機器機能管理情報と連携機能管理情報(情報が更新された場合は更新後の情報)がサーバ16から端末装置10に送信される。その送信は、定期的に又は指定されたタイミングで行われてもよい。これにより、端末装置10に記憶されている情報が更新される。もちろん、端末装置10の特定部30は、サーバ16に記憶されている機器機能管理情報や連携機能管理情報を参照することで、機器が有する機能や連携機能を特定してもよい。また、サーバ16によって機能の特定処理が実行されてもよい。
制御部46は、サーバ16の各部の動作を制御する。制御部46は、例えば、通信部42による通信を制御する。
制御部46は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部46は、当該ユーザに対して課金処理を適用してもよい。
また、制御部46は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部46は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部46は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置12から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行してもよい。制御部46は、画像データを端末装置10から受信し、当該画像データを対象として各機能を実行してもよい。制御部46によって生成された文字データや画像データは、例えば、サーバ16から端末装置10に送信される。サーバ16は外部装置として利用され、連携機能は、サーバ16を含む複数の機器が有する機能を利用する機能であってもよい。
上述したように、機器機能管理情報は、サーバ16の記憶部44に記憶されていてもよい。この場合、機器機能管理情報は、端末装置10の記憶部24に記憶されていなくてもよい。同様に、連携機能管理情報は、サーバ16の記憶部44に記憶されていてもよい。この場合、連携機能管理情報は、端末装置10の記憶部24に記憶されていなくてもよい。サーバ16の制御部46は、上述した特定部30を有し、デバイス識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用して実行可能な連携機能を特定してもよい。この場合、端末装置10は特定部30を有していなくてもよい。
利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、サーバ16の記憶部44に記憶されていてもよい。この場合、利用可能機能管理情報は、端末装置10の記憶部24に記憶されていなくてもよい。端末装置10の制御部26は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ16の制御部46は、その管理機能を有していなくてもよい。
更に別の例として、機器12,14等の機器に、機器機能管理情報や連携機能管理情報が記憶されていてもよいし、機器12,14等の機器が特定部30を有していてもよい。つまり、特定部30による処理は、端末装置10において行われてもよいし、機器12,14等の機器において行われてよいし、サーバ16において行われてもよいし、更に別の装置において行われてもよい。
以下、第1実施形態に係る機器システムについて更に詳しく説明する。
図5を参照して、機器機能管理情報について詳しく説明する。図5には、機器機能管理情報としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器が有する機能を示す情報(機能情報)と、画像IDと、が互いに対応付けられている。機器IDと機器名はデバイス識別情報の一例に相当する。画像IDは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像IDは含まれていなくてもよい。例えば、機器IDが「B」の機器は、複合機(複数の画像形成機能を有する画像形成装置)であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器に紐付く機器画像を識別するための画像IDが対応付けられている。機器に紐付く機器画像のデータは、例えば、端末装置10に記憶されていてもよいし、サーバ16に記憶されていてもよいし、他の装置に記憶されていてもよい。
例えば、位置情報取得部28によって取得された位置情報に、デバイス識別情報としての機器IDや機器名を示す情報が含まれている。端末装置10の特定部30は、機器機能管理テーブルを参照することで、その機器IDに対応付けられている機器名、機能及び画像IDを特定する。これにより、利用対象の機器が識別される。機器名を示す情報や機器画像がUI部20の表示部に表示されてもよい。もちろん、カメラ22によって撮影された画像そのものがUI部20の表示部に表示されてもよい。また、UI部20において、機器に紐付く機器画像(例えば、カメラ22によって撮影された画像や、機器を模式的に表す画像)がユーザによって指定された場合、その機器が有する機能に関する情報(例えば、機能情報や機能の説明情報等)が、UI部20の表示部に表示されてもよい。
以下、図6を参照して、連携機能管理情報について詳しく説明する。図6には、連携機能管理情報としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせと、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、が互いに対応付けられている。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機Bを連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機Bによるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機Bに送信して複合機Bにて印刷する機能である。なお、3つ以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、端末装置10の動作について具体例を挙げて詳しく説明する。
図7を参照して、機器とユーザ(当該ユーザが所持する端末装置10)との間の位置関係について説明する。図7には、その位置関係が示されている。機器毎に領域が定められている。例えば、機器48としての複合機Bには、予め定められた大きさを有する領域50が定められている。領域50は、複合機Bの設置位置を中心位置とした円状の形状を有する領域であってもよいし、矩形状の形状を有する領域であってもよいし、任意の形状を有する領域であってもよい。また、複合機Bは、領域50の中心位置に設置されていなくてもよい。他の機器についても複合機Bと同様に領域が定められている。各機器の領域は、互いに同じ大きさや同じ形状を有していてもよいし、互いに異なる大きさや異なる形状を有していてもよい。ユーザ52は、領域50内に存在するユーザであり、ユーザ54は、領域50外に存在するユーザである。例えば、各機器の領域を示す情報が、端末装置10の記憶部24に記憶されている。もちろん、各機器の領域を示す情報は、サーバ16等の外部装置に記憶されていてもよいし、機器に記憶されていてもよい。また、機器の位置情報に、当該機器の領域を示す情報が含まれていてもよい。
特定部30は、位置情報取得部28によって取得された端末装置10の位置情報に基づいて、ユーザ(端末装置10)の位置を識別する。同様に、特定部30は、位置情報取得部28によって取得された複合機Bの位置情報に基づいて、複合機Bの位置を識別する。また、特定部30は、複合機Bの領域50を示す情報に基づいて、複合機Bの領域50を識別する。領域50を示す情報は、複合機Bの位置情報に含まれていてもよいし、端末装置10の記憶部24に記憶されていてもよいし、サーバ16等の外部装置に記憶されていてもよい。
特定部30は、複合機Bの位置情報とユーザ(端末装置10)の位置情報とに基づいて、複合機Bとユーザとの間の距離を演算し、その距離に基づいて複合機Bとユーザとの間の位置関係を判断してもよい。例えば、特定部30は、その距離が閾値以下である場合、ユーザが複合機Bの領域50内に存在すると判断し、その距離が閾値を超えている場合、ユーザが複合機Bの領域50外に存在すると判断する。他の機器についても同様である。
以下、図8を参照して、端末装置10に表示される画面について説明する。図8には、端末装置10に表示される画面の一例が示されている。端末装置10の制御部26は、UI部20の表示部に画面56を表示させ、その画面56に各種の情報を表示させる。画面56は、ユーザが自動応答AIと対話するためのインターフェース(対話応答画面)である。画面56には、ユーザが端末装置10に入力した情報(例えば文字列や画像等)と、自動応答AIの発言内容を示す情報(例えば文字列や画像等)が表示される。ユーザと自動応答AIとの間の対話は、いわゆるチャット形式の対話(つまりリアルタイム形式の対話、更に換言すると、ユーザと自動応答AIが互いに発言しながら対話が進む形式)であってもよい。例えば、自動応答AIと対話するためのプログラム(例えばチャット用プログラム)が実行されることで、その対話のための画面56(対話応答画面)がUI部20の表示部に表示される。
画面56には対話者毎の表示エリアが設けられ、各対話者の発言内容は、自身用の表示エリア内に表示されてもよい。例えば、表示エリア56aは、自動応答AIの発言内容が表示されるエリアであり、表示エリア56bは、ユーザの発言内容(ユーザが端末装置10に入力した情報)が表示されるエリアである。図8に示す例では、画面56に向かって左側に自動応答AI用の表示エリア56aが設けられており、右側にユーザ用の表示エリア56bが設けられている。もちろん、この表示例は一例に過ぎず、表示エリアの配置関係は逆であってよいし、上下方向に各表示エリアが設けられてもよいし、各表示エリアの全部又は一部が重なり合ってもよいし、画面56の特定エリア(例えば中央のエリア)に最新の発言内容が表示され、その周囲に過去の発言内容が表示されてもよい。また、各表示エリアは、互いに同じ大きさを有していてもよいし、互いに異なる大きさを有していてもよいし、一回の発言内容の量や発言回数に応じて拡大又は縮小されてもよい。表示エリアの設定や大きさの制御は、制御部26によって行われる。
図8に示す例では、対話者は、1人のユーザと1つの自動応答AIのみであるが、複数のユーザや複数の自動応答AIが対話に参加してもよい。この場合、画面56において各対話者用の表示エリアが設けられてもよい。例えば、2人のユーザと1つの自動応答AIが対話に参加している場合、画面56に3つの表示エリアが設けられて、各対話者の発言内容が自身の表示エリア内に表示される。例えば、複数の端末装置10の間で通信を行うことで、複数のユーザの間で画面56を介した対話が行われる場合、当該複数のユーザの発言内容が画面56に表示される。複数の自動応答AIが対話に参加する場合も同様である。複数の自動応答AIに関するプログラムが同一の端末装置10にインストールされて、当該複数の自動応答AIが当該同一の端末装置10に格納されていてもよいし、当該複数の自動応答AIのそれぞれに関するプログラムが別々の端末装置10にインストールされて、各自動応答AIが別々の端末装置10に格納されていてもよい。例えば、画面56には、自装置である端末装置10に格納されている自動応答AIの発言内容が表示され、更に、別の端末装置10に格納されている自動応答AIの発言内容が表示される。別の端末装置10に格納されている自動応答AIは、例えば通信経路Nを介して対話に参加する。
チャット用プログラムが起動すると、端末装置10の制御部26は、UI部20の表示部に画面56を表示させる。自動応答AI用の表示エリア56aには、自動応答AIに紐付く画像58が表示され、ユーザ用の表示エリア56bには、ユーザに紐付く画像60が表示される。画像58は自動応答AIを識別するための画像であり、画像60はユーザを識別するための画像である。なお、画像58に代えて又は画像58と共に、自動応答AIを示す文字列(自動応答AIを識別するための文字列)が表示されてもよい。同様に、画像60に代えて又は画像60と共に、ユーザを示す文字列(例えば氏名、ユーザID、ハンドルネーム、ニックネーム等のようにユーザを識別するための文字列)が表示されてもよい。なお、自動応答AIは、機器に依存しない自動応答AIであり、汎用の自動応答AIであるともいえる。
以降、ユーザと自動応答AIとの間で対話が行われる。その対話において、ユーザの発言内容は、ユーザがUI部20を操作して文字列や画像等の情報を入力することで端末装置10に入力されてもよいし、音声によって入力されてもよい。また、ユーザの発言内容は、文字列や画像等の情報として画面56に表示されてもよいし、表示されなくてもよい。同様に、自動応答AIの発言内容は、文字列や画像等の情報として画面56に表示されてもよいし、表示されずに又は表示されると共に音声として発せられてもよい。以下では、一例として、各対話者の発言内容が画面56に表示されるものとして説明するが、その発言内容は音声によって発せられてもよい。
なお、画面56上で対話が進むと、画面56がスクロールし、画面56に表示しきれない過去の発言内容は画面56から消え、最新の発言内容や、その直近の発言内容が画面56に表示される。
チャット用プログラムが起動すると、まず、自動応答AIが「どうしましたか?」といった一般的な質問(ユーザの要求を問う質問)を発し、その質問を示す文字列が自動応答AIの発言内容62として表示エリア56a内に表示される。もちろん、文字列に代えて又は文字列と共に、自動応答AIの発言内容が音声として発せられてもよい。その発言内容62は自動応答AIの発言内容であるため、制御部26は、その発言内容62を自動応答AIの画像58に紐付く発言内容として表示エリア56a内に表示させる。以下の対話においても同様である。
位置情報取得部28は、端末装置10の位置情報と各機器の位置情報を取得する。位置情報取得部28は、常時、位置情報を取得してもよいし、予め定められたタイミングで位置情報を取得してもよいし、定期的に位置情報を取得してもよいし、ユーザによって指定されたタイミングで位置情報を取得してもよい。特定部30は、位置情報取得部28によって取得された端末装置10の位置情報と各機器の位置情報に基づいて、端末装置10(ユーザ)と各機器との間の位置関係を特定する。
例えば、図7に示すように、ユーザ(端末装置10)が複合機Bの領域50内に存在するものとする(ユーザ52参照)。この場合、特定部30は、端末装置10の位置情報と複合機Bの位置情報とに基づいて、ユーザ(端末装置10)が複合機Bの領域50内に存在していると判断する。特定部30は、端末装置10と複合機Bとの間の距離が閾値以下になった場合、ユーザ(端末装置10)が複合機Bの領域50内に存在していると判断してもよい。
ユーザ(端末装置10)が複合機Bの領域50内に存在している場合、特定部30は、複合機Bを使用対象の機器として識別し、例えば図5に示されている機器機能管理テーブルにおいて、複合機Bの位置情報に含まれているデバイス識別情報に対応付けられている機能を特定する。これにより、複合機Bが有する機能が識別される。
また、ユーザ(端末装置10)が機器の領域内に存在している場合、制御部26は、対話相手の表示(例えば、対話相手に紐付く画像や対話相手を示す文字列)を、汎用の自動応答AIの表示(例えば、汎用の自動応答AIに紐付く画像58や汎用の自動応答AIを示す文字列)から、当該機器の表示(例えば、当該機器に紐付く画像や当該機器を示す文字列)に切り替える。
ユーザが複合機Bの領域50内に存在している場合、制御部26は、自動応答AIに紐付く画像58に代えて、複合機Bに紐付く機器画像66を対話相手に紐付く画像として表示エリア56a内に表示させる。機器画像66は、複合機Bを撮影することで生成された画像(例えば複合機Bの外観画像)であってもよいし、複合機Bを模した画像(例えばアイコン)であってもよい。もちろん、制御部26は、機器画像66に代えて又は機器画像66と共に、複合機Bを示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、「どの機能を利用したいですか?」といった発言内容68を、複合機Bの発言内容として表示エリア56a内に表示させる。その発言内容68自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、複合機Bがその発言内容68を発言しているかのように演出するために、その発言内容68を複合機Bの機器画像66に紐付く発言内容として表示エリア56a内に表示させる。制御部26は、特定部30によって特定された複合機Bが有する機能の一覧を、複合機Bの発言内容として表示エリア56a内に表示させてもよい。複合機Bは、例えばプリント機能やコピー機能等の画像形成機能を有する機器であるため、制御部26は、その画像形成機能の一覧を示す文字列や画像を、複合機Bの発言内容として表示エリア56a内に表示させてもよい。
また、ユーザが、「複合機Bを利用したい」等と発言して機器の利用を要求すると、その要求を示す文字列がユーザの発言内容64として表示エリア56b内に表示されてもよい。ユーザが、画面56を操作して文字列を入力することで、発言内容を示す情報を端末装置10に入力してもよいし、発言内容を示す情報を音声によって端末装置10に入力してもよい。その発言内容はユーザの発言内容であるため、制御部26は、その発言内容64をユーザの画像60に紐付く発言内容として表示エリア56b内に表示させる。以下の対話においても同様である。
上記のようにユーザによって発言内容64が端末装置10に入力された場合に、特定部30は、複合機Bを使用対象の機器として識別し、制御部26は、自動応答AIに紐付く画像58を、複合機Bに紐付く画像66に切り替えてもよい。なお、自動応答AIは、ユーザの発言内容を解析することでユーザの要求を識別し、返事が必要な場合には、その要求に対する回答等の返事を作成する。制御部26は、その返事を示す文字列を自動応答AIの発言内容として表示エリア56a内に表示させる。自動応答AIは、インターネット等を利用して情報を検索し、その検索結果を解析してもよいし、機器12,14に関する情報を取得し、その情報を解析してもよい。自動応答AIは、その解析結果を返事に反映させてもよい。また、自動応答AIは、ユーザによる各種アプリケーションの利用履歴、ユーザによる端末装置10の操作履歴、ユーザによる機器12,14の利用履歴、等を管理してもよい。また、自動応答AIは、他の装置に格納されている自動応答AIとの間で通信を行うことで、他の自動応答AIから情報を取得してもよい。自動応答AIは、自身が管理している情報や取得した情報を返事に反映させてもよい。
上記の発言内容68に対して、ユーザは、複合機Bを利用して実行したい処理内容をユーザの発言内容として端末装置10に入力する。図8に示す例では、「ファイルXを印刷したい。」といった処理内容を示す発言内容70が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容70を解析することで、ユーザが要求する処理内容を特定し、その処理内容を複合機Bに実行させる。例えば、制御部26は、ファイルXのデータを含む印刷ジョブを複合機Bに送信する。その印刷ジョブを受けた複合機Bは、その印刷ジョブに従ってファイルXを印刷する。なお、制御部26は、印刷条件(例えば印刷部数、カラー印刷、白黒印刷等の条件)を設定するための画面をUI部20に表示させてもよい。印刷ジョブには、その画面で設定された条件が含まれ、複合機Bは、その条件に従って印刷を行う。
ファイルXの印刷が完了した場合、制御部26は、印刷が完了した旨を示す発言内容72を、複合機Bの発言内容として表示エリア56a内に表示させる。このときも、制御部26は、複合機Bに紐付く機器画像66を表示エリア56a内に表示させ、その発言内容72を複合機Bの機器画像66に紐付く発言内容として表示エリア56a内に表示させる。なお、発言内容72自体は、汎用の自動応答AIによって作成された発言内容である。
ユーザ(端末装置10)が複合機Bの領域50外に移動した場合、制御部26は、複合機Bに紐付く機器画像66に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容74を、自動応答AIの発言内容として表示エリア56a内に表示させる。
以上のように第1実施形態によれば、ユーザ(端末装置10)が機器の領域内に存在する場合、当該機器が使用対象の機器として識別され、応答中の対話相手の表示が当該機器の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
なお、ユーザが機器の領域内に存在する場合、対話相手の表示が、汎用の自動応答AIの表示から当該機器の表示に切り替えられると共に、ユーザの対話相手としての自動応答AI(例えばプログラム)が、汎用の自動応答AIから当該機器に搭載された自動応答AIに切り替えられてもよい。
図8に示す例で説明すると、複合機Bに自動応答AIが搭載されている場合(複合機Bに自動応答AIのプログラムがインストールされている場合)、制御部26は、ユーザの対話相手としての自動応答AIを、端末装置10に搭載されている汎用の自動応答AI(端末装置10にインストールされている自動応答AIのプログラム)から、複合機Bに搭載されている自動応答AIに切り替える。
この場合、制御部26は、ユーザの発言内容を示す情報を、通信経路Nを介して複合機Bに送信する。複合機Bに搭載された自動応答AIは、端末装置10から送信されてきたユーザの発言内容を示す情報を受けて、ユーザの発言内容を解析し、その発言内容に対する回答等の返事を作成する。複合機Bの自動応答AIは、その返事を含む発言内容を示す情報を端末装置10に送信する。例えば、図8に示されている発言内容68,72は、複合機Bに搭載されている自動応答AIによって作成され、発言内容68,72を示す情報が、複合機Bから端末装置10に送信される。制御部26は、複合機Bから送られてきた発言内容(例えば発言内容68,72)を、複合機Bの発言として、複合機Bの機器画像66に紐付けて表示エリア56a内に表示させる。
ユーザが複合機Bの領域50外に移動した場合、制御部26は、図8に示すように、対話相手に紐付く画像を、複合機Bに紐付く機器画像66から汎用の自動応答AIに紐付く画像58に切り替え、更に、ユーザの対話相手としての自動応答AIを、複合機Bに搭載されている自動応答AIから端末装置10に搭載されている汎用の自動応答AIに切り替える。
上記の処理を行うことで、機器に自動応答AIが搭載されている場合、その自動応答AIとユーザとの間で対話が行われるため、その間、端末装置10に搭載されている自動応答AIの処理の負荷が軽減される。また、機器に搭載されている自動応答AIが、汎用の自動応答AIと比べて、当該機器に関して高度の制御能力や情報収集能力を有している場合、機器に搭載されている自動応答AIがユーザの対話相手としてユーザと対話することで、より有用な情報がユーザに提供され得る。
(変形例1)
以下、変形例1について説明する。変形例1では、制御部26は、ユーザの位置に応じて、応答中の対話相手への機器に関する指示の出力を制御する。例えば、ユーザが当該機器の領域内に存在する場合、制御部26は、当該機器に関するユーザからの指示を受け付ける。一方、ユーザが当該機器の領域外に存在する場合、制御部26は、当該機器に関するユーザからの指示を受け付けない。こうすることで、ユーザが機器の領域内に存在する場合、ユーザは、当該機器に対して指示を与えることができ、ユーザが機器の領域外に存在する場合、ユーザは、当該機器に対して指示を与えることができない。機器に対して指示を与えることができる領域が限定されるので、当該機器に対するセキュリティが向上し得る。例えば、オフィスにおいて特定の部屋内に滞在しているユーザのみが、当該特定の部屋に設置されている機器に対して指示を与えることができるように、当該機器の領域を設定することで、当該機器に対するセキュリティが向上し得る。
例えば図7に示すように、ユーザが複合機Bの領域50内に存在する場合(ユーザ52参照)、制御部26は、複合機Bに対するユーザの指示を受け付ける。ユーザは端末装置10のUI部20を使用することで、プリント等の処理の実行指示を複合機Bに与えることができる。一方、ユーザが複合機Bの領域50外に存在する場合(ユーザ54参照)、制御部26は、複合機Bに対するユーザの指示を受け付けない。この場合、ユーザは、プリント等の処理の実行指示を複合機Bに与えることができない。こうすることで、複合機Bに関してセキュアな環境を構築することができる。
なお、変形例1においては、ユーザが機器の領域内に存在する場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像から当該機器に紐付く画像に切り替えてもよいし、切り替えなくてもよい。
<第2実施形態>
以下、第2実施形態について説明する。上記の第1実施形態では、1つの機器が識別されているが、第2実施形態では、複数の機器が識別される。以下、第2実施形態について詳しく説明する。
図9を参照して、機器とユーザ(端末装置10)との間の位置関係について説明する。図9には、その位置関係が示されている。第1実施形態と同様に、機器毎に領域が定められている。例えば、機器48としての複合機Bには領域50が定められており、機器76としてのPC(A)には領域78が定められている。なお、領域50,78は、互いに同じ大きさや同じ形状を有していてもよいし、互いに異なる大きさや異なる形状を有していてもよい。
ユーザ80は、領域50,78の両方に存在するユーザである。つまり、領域50,78は互いに一部が重なり合っており、ユーザ80は、その重なっている領域に存在するユーザである。ユーザ82は、領域50内に存在し、領域78外に存在するユーザである。ユーザ84は、領域78内に存在し、領域50外に存在するユーザである。
特定部30は、端末装置10、複合機B及びPC(A)のそれぞれの位置情報に基づいて、端末装置10、複合機B及びPC(A)のそれぞれの位置を識別し、更に、領域50,78を識別する。
特定部30は、複合機Bの位置情報とユーザ(端末装置10)の位置情報とに基づいて、複合機Bとユーザとの間の距離を演算し、同様に、PC(A)の位置情報とユーザの位置情報とに基づいて、PC(A)とユーザとの間の距離を演算してもよい。特定部30は、複合機Bとユーザとの間の距離が閾値以下である場合、ユーザが複合機Bの領域50内に存在すると判断し、その距離が閾値を超えている場合、ユーザが複合機Bの領域50外に存在すると判断する。同様に、特定部30は、PC(A)とユーザとの間の距離が閾値以下である場合、ユーザがPC(A)の領域78内に存在すると判断し、その距離が閾値を超えている場合、ユーザがPC(A)の領域78外に存在すると判断する。なお、複合機Bとユーザとの間の位置関係を規律する閾値と、PC(A)とユーザとの間の位置関係を規律する閾値は、互いに同じ値であってもよいし、互いに異なる値であってもよい。つまり、機器毎に同じ閾値又は異なる閾値が用いられてもよい。
以下、図10を参照して、端末装置10に表示される画面について説明する。図10には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、第1実施形態と同様に、「どうしましたか?」といった発言内容86が、自動応答AIの発言内容として表示エリア56a内に表示される。
位置情報取得部28は、端末装置10の位置情報と各機器の位置情報を取得し、端末装置10の位置情報と各機器の位置情報とに基づいて、端末装置10(ユーザ)と各機器との間の位置関係を特定する。
例えば、図9に示すように、ユーザ(端末装置10)が、領域50,78の両方に存在するものとする(ユーザ80参照)。つまり、ユーザが、領域50,78が互いに重なり合う領域内に存在しているものとする。この場合、特定部30は、端末装置10と複合機Bの位置情報に基づいて、ユーザ(端末装置10)が複合機Bの領域50内に存在していると判断する。また、特定部30は、端末装置10とPC(A)の位置情報に基づいて、ユーザ(端末装置10)がPC(A)の領域78内に存在していると判断する。特定部30は、端末装置10と複合機Bとの間の距離が閾値以下になった場合、ユーザ(端末装置10)が複合機Bの領域50内に存在していると判断し、端末装置10とPC(A)との間の距離が閾値以下となった場合、ユーザ(端末装置10)がPC(A)の領域78内に存在していると判断してもよい。
ユーザ(端末装置10)が複合機Bの領域50内に存在している場合、特定部30は、複合機Bを使用対象候補の機器として識別し、例えば図5に示されている機器機能管理テーブルにおいて、複合機Bの位置情報に含まれるデバイス識別情報に対応付けられている機能を特定する。これにより、複合機Bが有する機能が識別される。同様に、ユーザ(端末装置10)がPC(A)の領域78内に存在している場合、特定部30は、PC(A)を使用対象候補の機器として識別し、例えば図5に示されている機器機能管理テーブルにおいて、PC(A)の位置情報に含まれるデバイス識別情報に対応付けられている機能を特定する。これにより、PC(A)が有する機能が識別される。
上記のように複数の機器が識別された場合、制御部26は、ユーザ用の表示エリア56b内にストックエリア88を表示させ、そのストックエリア88内に機器画像を表示させる。ストックエリア88は、使用対象候補の機器の情報が表示されるエリアであり、図10に示す例では、候補の情報の一例として機器画像が表示されている。例えば、制御部26は、そのストックエリア88内に、上記のように識別された機器に紐付く機器画像を表示させる。図10に示す例では、そのストックエリア88内に、機器画像90,92が表示されている。機器画像90は、機器としての複合機Bに紐付く画像である。機器画像92は、機器としてのPC(A)に紐付く画像である。このように機器が識別された場合、制御部26は、機器に紐付く機器画像をストックエリア88内に表示させる。もちろん、制御部26は、機器画像に代えて又は機器画像と共に、識別された機器を示す文字情報をストックエリア88内に表示させてもよい。
なお、ユーザが複合機Bの領域50内のみに存在する場合、ストックエリア88内には、複合機Bに紐付く機器画像90のみが表示される。同様に、ユーザがPC(A)の領域78内のみに存在する場合、ストックエリア88内には、PC(A)に紐付く機器画像92のみが表示される。
機器画像90は、複合機Bを撮影することで生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)であってもよいし、複合機Bに紐付く模式的な画像(例えばアイコン)であってもよい。機器画像92についても同様に、PC(A)を撮影することで生成された画像であってもよいし、PC(A)に紐付く模式的な画像であってもよい。
模式的な画像が用いられる場合、特定部30は、図5に示されている機器機能管理テーブルを参照することで、識別された機器に紐付く模式的な画像を特定する。その模式的な画像は機器画像として表示される。模式的な画像のデータは端末装置10に記憶されていてもよいし、サーバ16等の外部装置に記憶されていてもよい。
なお、機器を撮影することで生成された画像データを利用する場合、現在の機器そのものの外観(例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観)が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。
また、ストックエリア88内に表示しきれない他の機器画像が存在する場合、矢印94で示すように、ユーザが、ストックエリア88内に表示されている機器画像をスクロール操作することで、当該他の機器画像がストックエリア88内に表示される。
ユーザは、矢印96で示すように、ストックエリア88から使用対象の機器に紐付く画像(図10に示す例では機器画像90)を選択してストックエリア88の外側に移動させ、その機器画像90をユーザの発言内容として自動応答AIに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリア88からユーザの発言内容が表示される位置まで機器画像90を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部26は、機器画像90をユーザの発言内容として自動応答AIに送る。例えば、ユーザが画面56上で画像(例えば機器画像90)を指示子(例えばユーザの指、ペン、スタイラス等)によってストックエリア88から選択して取り出すことで、その画像がユーザの発言内容に含まれて自動応答AIに送られる。制御部26は、画面56への指示子の接触を検知し、画面56上での指示子の移動を検知する。なお、ユーザが、使用対象の機器を示す文字情報や音声情報を端末装置10に入力することで、使用対象の機器を示す情報が自動応答AIに送られてもよい。
上記のように、使用対象の機器がユーザによって指定された場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から当該機器の表示に切り替える。図10に示す例では、ユーザは機器画像90を指定することで複合機Bを使用対象の機器として指定しているため、制御部26は、自動応答AIに紐付く画像58に代えて、複合機Bに紐付く機器画像66を対話相手に紐付く画像として表示エリア56a内に表示させる。
以下、第1実施形態と同様に、制御部26は、「どの機能を利用したいですか?」といった発言内容98を、複合機Bの発言内容として表示エリア56a内に表示させる。
ユーザ(端末装置10)が複合機Bの領域50外に移動した場合、制御部26は、複合機Bに紐付く機器画像66に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、複合機Bに紐付く機器画像90をストックエリア88内から消去する。ユーザ(端末装置10)がPC(A)の領域78外に移動した場合、制御部26は、PC(A)に紐付く機器画像92をストックエリア88内から消去する。なお、ユーザが新たな機器の領域内に移動した場合、当該新たな機器が使用対象候補の機器として識別され、当該新たな機器の情報(例えば当該新たな機器に紐付く機器画像)がストックエリア88内に表示される。
以上のように第2実施形態によれば、ユーザ(端末装置10)が複数の機器の領域内に存在する場合、当該複数の機器が使用対象候補の機器として識別され、応答中の対話相手の表示が、当該複数の機器の中からユーザによって選択された機器の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
対話相手の表示が、汎用の自動応答AIの表示から機器の表示に切り替えられると共に、ユーザの対話相手としての自動応答AI(例えばプログラム)が、汎用の自動応答AIから当該機器に搭載された自動応答AIに切り替えられてもよい。
ユーザが複数の機器の領域内に存在する場合、特定部30は、当該複数の機器の中でユーザに最も近い機器を使用対象の機器として識別し、制御部26は、汎用の自動応答AIの表示を、ユーザに最も近い機器の表示に切り替えてもよい。例えば、ユーザが複合機BとPC(A)の両方の領域内に存在する場合において、複合機BがPC(A)よりもユーザに近い位置に設置されている場合、特定部30は、複合機Bを使用対象の機器として識別する。また、制御部26は、汎用の自動応答AIに紐付く画像58に代えて、複合機Bに紐付く機器画像66を対話相手に紐付く画像として表示エリア56a内に表示させる。
(変形例2)
以下、変形例2について説明する。変形例2では、上記の変形例1と同様に、制御部26は、ユーザの位置に応じて、応答中の対話相手への機器に関する指示の出力を制御する。例えば、ユーザが複数の機器の領域内に存在する場合、制御部26は、当該複数の機器のそれぞれに関するユーザからの指示を受け付ける。
例えば、図9に示すように、ユーザが複合機Bの領域50とPC(A)の領域78の両方に存在する場合(ユーザ80参照)、制御部26は、複合機BとPC(A)に関するユーザの指示を受け付ける。例えば、ユーザは端末装置10のUI部20を使用することで、プリント等の処理の実行指示を複合機Bに与えることができ、処理の実行指示をPC(A)に与えることができる。
また、複数の機器の中からユーザによって機器が選択された場合、制御部26は、その選択された機器に関するユーザからの指示を受け付けてもよい。図10に示す例では、ユーザは複合機BとPC(A)の両方の領域に存在しているが、ユーザによって複合機Bが選択されている。この場合、制御部26は、複合機Bに関するユーザの指示を受け付ける。
また、ユーザが複数の機器の領域内に存在する場合、制御部26は、当該複数の機器の中でユーザに最も近い機器に関するユーザからの指示を受け付けてもよい。例えば、ユーザが複合機BとPC(A)の両方の領域内に存在する場合において、複合機BがPC(A)よりもユーザに近い位置に設置されている場合、制御部26は、複合機Bに関するユーザからの指示を受け付け、PC(A)に関するユーザからの指示を受け付けない。
変形例2によれば、ユーザが複数の機器の領域内に存在する場合において、機器に対してセキュアな環境を構築することができる。
なお、変形例1においては、ユーザが機器の領域内に存在する場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像から当該機器に紐付く画像に切り替えてもよいし、切り替えなくてもよい。
<第3実施形態>
以下、図11を参照して、第3実施形態について説明する。図11には画面56が示されている。第2実施形態では、1つの機器がユーザによって選択されているが、第3実施形態では、複数の機器がユーザによって選択される。
画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容100が、自動応答AIの発言内容として表示エリア56a内に表示される。
第3実施形態では、上記の第2実施形態と同様に、ユーザ(端末装置10)が、領域50,78の両方に存在するものとする(図9中のユーザ80参照)。つまり、ユーザが、領域50,78が互いに重なり合う領域内に存在するものとする。この場合、ストックエリア88内に、複合機Bに紐付く機器画像90とPC(A)に紐付く機器画像92が表示される。
ユーザは、例えばストックエリア88から機器画像90,92を選択してストックエリア88の外側に移動させ、機器画像90,92をユーザの発言内容として自動応答AIに送ることができる。図11に示す例では、機器画像90,92が表された画像102が生成され、その画像102が自動応答AIに送られる。なお、ユーザは、使用対象の複数の機器を示す文字情報や音声情報を端末装置10に入力することで、使用対象の複数の機器を示す情報が自動応答AIに送られてもよい。
上記のように、使用対象の複数の機器がユーザによって指定された場合、特定部30は、当該複数の機器を連携対象の機器として識別し、例えば図6に示されている連携機能管理テーブルにおいて、当該複数の機器の組み合わせに対応付けられている連携機能を特定する。これより、当該複数の機器を使用して実行可能な連携機能が識別される。
上記の例では、特定部30は、機器画像90に紐付く複合機Bと機器画像92に紐付くPC(A)を連携対象の機器として識別し、図7に示されている連携機能管理テーブルにおいて、PC(A)と複合機Bとの組み合わせに対応付けられている連携機能(例えば、「スキャン転送機能」と「プリント機能」)を特定する。これにより、PC(A)と複合機Bとを利用して実行可能な連携機能が識別される。「スキャン転送機能」は、複合機Bによるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に記憶されている画像データを複合機Bに転送して複合機Bにて印刷する機能である。なお、機器や連携機能の特定処理は、サーバ16によって行われてもよい。
また、使用対象の複数の機器がユーザによって指定された場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定された複数の機器の表示に切り替える。
上記の例では、複合機BとPC(A)が連携対象の機器として指定されているため、制御部26は、自動応答AIに紐付く画像58に代えて、複合機Bに紐付く機器画像66とPC(A)に紐付く機器画像104を、対話相手に紐付く画像として表示エリア56a内に表示させる。機器画像104は、PC(A)を撮影することで生成された画像(例えばPC(A)の外観画像)であってもよいし、PC(A)を模した画像(例えばアイコン)であってもよい。もちろん、制御部26は、機器画像66,104に代えて又は機器画像66,104と共に、複合機BとPC(A)を示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、ユーザによって指定された複数の機器を確認するための発言内容106を、自動応答AIの発言内容として表示エリア56a内に表示させる。複合機BとPC(A)が連携対象の機器として指定されている場合、例えば「複合機BとPC(A)ですね?」といった発言内容106が、自動応答AIの発言内容として表示エリア56a内に表示される。
この発言内容106に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容108を発した場合)、制御部26は、PC(A)と複合機Bとを利用して実行可能な連携機能に関する情報を、複合機BとPC(A)の発言内容110として表示エリア56a内に表示させる。その発言内容110自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、複合機BとPC(A)がその発言内容110を発言しているかのように演出するために、その発言内容110を、複合機Bの機器画像66とPC(A)の機器画像104とに紐付く発言内容として表示エリア56a内に表示させる。複合機BとPC(A)とを利用して実行可能な連携機能は、「スキャン転送機能」と「プリント機能」であるため(図6参照)、制御部26は、「スキャン転送機能」と「プリント機能」を示す文字列や画像を、複合機BとPC(A)の発言内容として表示エリア56a内に表示させる。
その発言内容110に対して、ユーザが発言内容112によって連携機能を指定して実行指示を与えた場合、制御部26(例えば自動応答AIによって実現される制御部26)はその実行指示を受けて、その実行指示を示す情報(実行指示情報)を連携対象の機器に送信する。別の例として、連携機能の実行を指示するためのボタン画像が画面56に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。PC(A)と複合機Bが連携対象の機器として選ばれている場合、実行指示情報がPC(A)と複合機Bに送信される。実行指示情報を受けたPC(A)と複合機Bは、その実行指示情報に示されている連携機能(ユーザによって指定された連携機能)を実行する。例えば、連携機能として「プリント機能」の実行指示が与えられた場合、PC(A)は印刷対象の画像データを複合機Bに送信し、複合機Bは、その画像データを記録媒体としての用紙上に印刷する。
ユーザ(端末装置10)が領域50,78外に移動した場合、制御部26は、機器画像66,104に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、複合機Bに紐付く機器画像90とPC(A)に紐付く機器画像92をストックエリア88内から消去する。
なお、ユーザが領域50外に移動したが領域78内に存在する場合、制御部26は、機器画像104を対話相手に紐付く画像として表示エリア56a内に表示させてもよい。この場合、特定部30は、第1実施形態と同様に、PC(A)を使用対象の機器として識別する。ユーザが領域78外に移動したが領域50内に存在する場合も同様である。
以上のように第3実施形態によれば、応答中の対話相手の表示が、連携対象の複数の機器の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
なお、ユーザが発言内容112によって連携機能を指定した場合、制御部26(自動応答AI)は、連携機能の実行指示を連携対象の機器に与えずに、連携対象の機器を制御するための画面(リモートコントロール画面)をUI部20に表示させてもよい。リモートコントロール画面には、例えば、連携機能の実行を指示するためのボタン画像(例えば、「スキャン転送画像」の実行を指示するためのボタン画像、「プリント機能」の実行を指示するためのボタン画像)が表示される。ユーザがリモートコントロール画面上にてボタン画像を押した場合、そのボタン画像に紐付く連携機能が実行される。また、リモートコントロール画面上にて、各種パラメータの設定等ができるようにしてもよい。
別の例として、各機器を個別的に制御するためのリモートコントロール画面が表示されてもよい。例えば、複合機Bを制御するためのリモートコントロール画面と、PC(A)を制御するためのリモートコントロール画面が表示される。複合機B用のリモートコントロール画面には、複合機Bが有する単独機能の実行を指示するためのボタン画像(例えば、コピー機能の実行を指示するためのボタン画像、プリント機能の実行を指示するためのボタン画像等)が表示される。また、複合機B用のリモートコントロール画面上で、複合機Bにて用いられる各種パラメータの設定等ができるようにしてもよい。PC(A)用のリモートコントロール画面には、例えば、PC(A)に格納されているデータ(ファイル)や、格納場所(フォルダ)が表示される。また、PC(A)用のリモートコントロール画面で、PC(A)にて用いられる各種パラメータの設定等ができるようにしてもよい。また、両リモートコントロール画面上にて、連携機能(例えば、連携機能としての「スキャン転送機能」や「プリント機能」)の設定や実行指示ができるようにしてもよい。
なお、複数の機器が対話相手として表示された場合、ユーザの対話相手は、端末装置10に搭載されている汎用の自動応答AIであってもよいし、その汎用の自動応答AIから当該複数の機器に搭載されている自動応答AIに切り替えられてもよい。例えば、複合機Bに自動応答AIが搭載されている場合、複合機Bに搭載されている自動応答AIが対話相手として機能してもよいし、PC(A)に自動応答AIが搭載されている場合、PC(A)に搭載されている自動応答AIが対話相手として機能してもよい。複合機BとPC(A)の両方に自動応答AIが搭載されている場合、複合機B又はPC(A)の何れかに搭載されている自動応答AIが対話相手として機能してもよい。
図11に示す例では、2つの機器の情報が自動応答AIに送られているが、3つ以上の機器の情報(例えば、3つ以上の機器画像や3つ以上の機器を示す文字列)が自動応答AIに送られてもよい。この場合、自動応答AIに紐付く画像58に代えて、3つ以上の機器画像が、対話相手に紐付く画像として表示エリア56a内に表示される。
なお、第3実施形態に変形例1,2が適用されてもよい。すなわち、制御部26は、ユーザが複数の機器の領域内に存在する場合、当該複数の機器を利用して実行可能な連携機能の実行指示を受け付け、ユーザが当該複数の機器の領域内に存在しない場合、当該複数の機器を利用して実行可能な連携機能の実行指示を受け付けない。
<第4実施形態>
以下、図12を参照して、第4実施形態について説明する。図12には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容114が、自動応答AIの発言内容として表示エリア56a内に表示される。
第4実施形態では、上記の第3実施形態と同様に、ユーザ(端末装置10)が、領域50,78の両方に存在するものとする(図9中のユーザ80参照)。この場合、特定部30は、複合機BとPC(A)を連携対象の機器として識別し、例えば図6に示されている連携機能管理テーブルにおいて、複合機BとPC(A)との組み合わせに対応付けられている連携機能を特定する。これにより、複合機BとPC(A)を利用して実行可能な連携機能が識別される。
また、ユーザは領域50,78の両方に存在しているため、制御部26は、自動応答AIに紐付く画像58に代えて、複合機Bに紐付く機器画像66とPC(A)に紐付く機器画像104を、対話相手に紐付く画像として表示エリア56a内に表示させる。制御部26は、複合機BとPC(A)が連携対象の機器として識別されたことを確認するための発言内容118を、複合機BとPC(A)の発言内容として表示エリア56a内に表示させる。
また、ユーザが、「複合機BとPC(A)を利用したい」等と発言して機器の利用を要求すると、その要求を示す文字列がユーザの発言内容116として表示エリア56b内に表示されてもよい。このようにユーザによって発言内容116が端末装置10に入力された場合に、特定部30は、複合機BとPC(A)を連携対象の機器として識別し、制御部26は、自動応答AIに紐付く画像58を、画像66,104に切り替えてもよい。
発言内容118に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容120を発した場合)、制御部26は、PC(A)と複合機Bとを利用して実行可能な連携機能に関する情報を、複合機BとPC(A)の発言内容122として表示エリア56a内に表示させる。その発言内容122自体は、汎用の自動応答AIによって作成された発言内容である。以下の処理は、上記の第3実施形態と同じである。
以上のように第4実施形態によれば、ユーザが複数の機器の領域内に存在する場合、応答中の対話相手の表示が、当該複数の機器の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
第4実施形態においても、対話相手は、汎用の自動応答AIから複数の機器に搭載されている自動応答AIに切り替えられてもよい。また、ユーザが3つ以上の機器の領域内に存在する場合(つまり、3つ以上の機器の領域が互いに重なり合う領域にユーザが存在する場合)、対話相手の表示が当該3つ以上の機器の表示に切り替えられる。
(対話相手に紐付く画像の表示例)
以下、図13を参照して、対話相手に紐付く画像の表示例について説明する。図13には、その表示例が示されている。ここでは、ユーザが複数の機器(例えば複合機BとPC(A))の領域内に存在し、当該複数の機器が連携対象の機器として識別されているものとする。
図13(a)には、基本形の画像が示されている。上記の第3実施形態と同様に、ユーザが領域50,78の両方に存在する場合(つまり、領域50,78が互いに重なり合う領域にユーザが存在する場合(図9中のユーザ80参照))、複合機Bに紐付く機器画像66とPC(A)に紐付く機器画像104が、対話相手に紐付く画像として表示エリア56a内に表示される。
図13(a)に示すように、機器画像66,104が対話相手に紐付く画像として表示されている状態で、図13(b)に示すように、発言内容124が複合機Bの発言内容として表示エリア56a内に表示された場合、制御部26は、複合機Bに紐付く機器画像66をPC(A)に紐付く機器画像104よりも大きくして表示エリア56a内に表示させる。例えば、PC(A)が連携機能に含まれる処理を実行しておらず、複合機Bが連携機能に含まれる処理を実行しているときに、その処理に関する情報が複合機Bの発言内容として表示エリア56a内に表示される。この場合、機器画像66が機器画像104よりも大きくして表示される。こうすることで、ユーザは、連携機能に含まれる処理を行っている機器を視覚的に確認することができる。なお、複合機BとPC(A)の両方が連携機能に含まれる処理を実行している場合、図13(a)に示されるように、機器画像66,104は互いに同じ大きさを持って表示される。
一方、図13(c)に示すように、発言内容126がPC(A)の発言内容として表示エリア56a内に表示された場合、制御部26は、機器画像104を機器画像66よりも大きくして表示エリア56a内に表示させる。例えば、PC(A)が連携機能に含まれる処理を実行しており、複合機Bが連携機能に含まれる処理を実行していないときに、その処理に関する情報がPC(A)の発言内容として表示エリア56a内に表示される。
また、図13(a)に示す例では、機器画像66,104は横方向に並ぶように配置されて表示されているが、図13(d)に示すように、機器画像66,104は縦方向に並ぶように配置されて表示されてもよい。もちろん、これら以外の配置で機器画像66,104が表示されてもよい。
また、図13(e)に示すように、発言内容128が複合機Bの発言内容として表示エリア56a内に表示された場合、複合機Bに紐付く機器画像66がPC(A)に紐付く機器画像104よりも大きく表示されてもよい。発言内容がPC(A)の発言内容として表示エリア56a内に表示された場合、機器画像104が機器画像66よりも大きく表示される。
また、各機器とユーザとの間の位置関係に応じて、機器画像の大きさや表示順が変更されてもよい。例えば、制御部26は、ユーザに近い機器に紐付く機器画像ほど大きくして表示してもよいし、ユーザに近い順に各機器に紐付く各機器画像を表示してもよい。
また、ユーザの発言の順番に応じて、機器画像の表示順が変更されてもよい。例えば、ユーザが、「複合機B」、「PC(A)」の順番で発言した場合、複合機Bに紐付く機器画像66、PC(A)に紐付く機器画像104の順番で、機器画像66,104が表示されてもよい。例えば、先に指定された機器(例えば複合機B)が、左側や上側に表示され、後に指定された機器(例えばPC(A))が、右側や下側に表示されてもよい。もちろん、指定の順番によらずに、機器の識別の順番や登録の順番等によって、表示順が定められてもよい。また、発話している機器(発言内容が紐付いている機器)の機器画像が、予め定められた位置(例えば左側や上側)に表示されてもよい。こうすることで、ユーザは、発話している機器(例えば処理を行っている機器)を視覚的に確認することができる。
(機器に対する接続処理)
以下、連携機能を実行するときの動作について説明する。例えば、連携機能を実行するとき、端末装置10から連携対象の各機器に対して接続要求が送信され、端末装置10と各機器とが接続される。以下、図14を参照して、この接続処理について説明する。図14は、その処理を示すシーケンス図である。
端末装置10において、連携対象の機器として複合機BとPC(A)が識別された場合(つまり、ユーザが複合機BとPC(A)の領域に存在する場合)、端末装置10は、連携対象の機器(複合機BとPC(A))に接続要求を示す情報を送信する(S01)。この送信の制御は、自動応答AIによって行われてもよい。例えば、連携対象の各機器のアドレス情報がサーバ16に記憶されている場合、端末装置10は、各機器のアドレス情報をサーバ16から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置10の制御部26は、各機器のデバイス識別情報からアドレス情報を取得する。アドレス情報の取得処理は、自動応答AIによって行われてもよい。もちろん、端末装置10の記憶部24に各機器のアドレス情報が記憶されていてもよい。端末装置10は、別の手法によって各機器のアドレス情報を取得してもよい。端末装置10は、連携対象の各機器(例えば複合機BとPC(A))のアドレス情報を用いて、連携対象の各機器に接続要求を示す情報を送信する。
接続要求を示す情報を受けた複合機BとPC(A)は、端末装置10との接続の許可又は不許可を判断する(S02)。例えば、複合機BとPC(A)が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置10からの接続が許可された場合、複合機BとPC(A)のそれぞれの固有の設定情報が端末装置10から変更されないように、その変更操作が禁止されてもよい。例えば、複合機Bの色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、複合機BとPC(A)から端末装置10に送信される(S03)。複合機BとPC(A)への接続が許可された場合、端末装置10と複合機Bとの間で通信が確立され、更に、端末装置10とPC(A)との間で通信が確立される。
次に、端末装置10において、ユーザは連携機能(例えば「プリント機能」)の実行を指示する(S04)。端末装置10は、その指示に従って、連携機能の実行指示を示す情報(実行指示情報)を、連携対象の各機器(複合機BとPC(A))に送信する(S05)。この送信の制御は、自動応答AIによって行われてもよい。複合機Bに送信される実行指示情報には、複合機Bにて実行される処理を示す情報(例えばジョブ情報)が含まれ、PC(A)に送信される実行指示情報には、PC(A)にて実行される処理を示す情報(例えばジョブ情報)が含まれる。
実行指示情報を受けた複合機BとPC(A)は、実行指示情報に従って連携機能(例えば「プリント機能」)を実行する(S06)。実行対象の連携機能に、複合機BとPC(A)との間でデータの送受信が行われる処理が含まれている場合、複合機BとPC(A)との間で通信が確立される。例えば、複合機Bに送信される実行指示情報にはPC(A)のアドレス情報が含まれており、PC(A)に送信される実行指示情報には複合機Bのアドレス情報が含まれている。それらのアドレス情報を用いて、複合機BとPC(A)との間で通信が確立される。その通信が確立された後、PC(A)は、印刷対象の画像データを複合機Bに送信し、複合機Bは、その画像データを記録媒体としての用紙上に印刷する。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、複合機BとPC(A)から端末装置10に送信される(S07)。端末装置10のUI部20には、連携機能の実行が完了したことを示す情報が表示される(S08)。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置10の制御部26は、エラーを示す情報をUI部20に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、複合機BとPC(A)に送信してもよい。
次に、ユーザは、複合機BとPC(A)の連携状態を解除するか否かを確認し(S09)、解除の有無に応じた処理が実行される(S10)。連携状態を解除する場合、ユーザは、端末装置10を利用して解除の指示を与える。これにより、端末装置10と複合機Bとの間の通信が解除され、更に、端末装置10とPC(A)との間の通信が解除される。同様に、複合機BとPC(A)との間の通信も解除される。連携状態を解除しない場合、継続して実行指示が与えられてもよい。
なお、第4実施形態に変形例1,2が適用されてもよい。すなわち、制御部26は、ユーザが複数の機器の領域内に存在する場合、当該複数の機器を利用して実行可能な連携機能の実行指示を受け付け、ユーザが当該複数の機器の領域内に存在しない場合、当該複数の機器を利用して実行可能な連携機能の実行指示を受け付けない。
<第5実施形態>
以下、第5実施形態について説明する。第5実施形態では、ユーザの位置に応じて、対話相手の表示が機能の表示に切り替えられる。例えば、ユーザの位置に応じて、使用可能な機能(例えば、ソフトウェアによって実現される機能や、機器によって実現される機能)が変わり、それに応じて、対話相手の表示が機能の表示に切り替えられる。
例えば、領域と当該領域にて使用可能な機能との対応付けを示す管理情報が予め作成され、その管理情報が端末装置10の記憶部24に記憶されている。もちろん、管理情報は、端末装置10に記憶されずに、サーバ16等の外部装置に記憶されていてもよい。特定部30は、位置情報取得部28によって取得された端末装置10の位置情報に基づいて、端末装置10(ユーザ)の位置を識別し、上記の管理情報において、ユーザの位置を含む領域に対応付けられている機能を特定する。その機能が、ユーザがいる場所で端末装置10にて使用可能な機能である。例えば、特定のオフィスに限定して使用可能な機能が定められ、当該特定のオフィスの位置と当該機能とが対応付けられて管理情報に登録される。ユーザが当該特定のオフィス内に存在する場合、当該特定のオフィスに対応付けられた機能の使用が端末装置10にて可能となる。
なお、機能がソフトウェアによって実現される場合、使用可能なソフトウェアは端末装置10にインストールされているソフトウェアであってもよいし、サーバ16等の外部装置にインストールされているソフトウェアであってもよい。ソフトウェアが外部装置にインストールされている場合、そのソフトウェアによる機能が、通信経路を介して端末装置10に提供される。
以下、図15を参照して、第5実施形態について詳しく説明する。図15には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、第1実施形態と同様に、「どうしましたか?」といった発言内容130が、自動応答AIの発言内容として表示エリア56a内に表示される。
位置情報取得部28は、端末装置10(ユーザ)の位置情報を取得し、特定部30は、その位置情報に基づいて端末装置10の位置を識別する。例えば、ユーザが、パスワード機能の使用が可能な領域内に存在する場合、特定部30は、端末装置10の位置情報に基づいて、ユーザ(端末装置10)が、パスワード機能の使用が可能な領域内に存在していると判断する。なお、パスワード機能は、パスワード設定ソフトウェアによって実現される機能である。
ユーザ(端末装置10)が、パスワード機能の使用が可能な領域内に存在している場合、特定部30は、パスワード機能を使用対象の機能として識別する。
ユーザ(端末装置10)が機能の領域内に存在している場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から当該機能の表示(例えば、当該機能に紐付く画像や当該機能を示す文字列)に切り替える。
上記の例では、ユーザはパスワード機能の領域内に存在しているため、制御部26は、自動応答AIに紐付く画像58に代えて、パスワード機能に紐付く機能画像134を対話相手に紐付く画像として表示エリア56a内に表示させる。
機能画像は、例えば、ソフトウェア(アプリケーション等)に紐付く画像であってもよいし、処理が行われる機器(現実空間に存在する機器)に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像(例えば写真)や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。機能画像134は、パスワード設定ソフトウェアに紐付く画像である。
制御部26は、機能画像134に代えて又は機能画像134と共に、パスワード機能を示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、「どのファイルにパスワードを掛けますか?」といった発言内容136を、パスワード設定ソフトウェアの発言内容として表示エリア56a内に表示させる。その発言内容136自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、パスワード設定ソフトウェアがその発言内容136を発言しているかのように演出するために、その発言内容136をパスワード設定ソフトウェアの機能画像134に紐付く発言内容として表示エリア56a内に表示させる。
また、ユーザが、「パスワード機能を利用したい」等と発言して機器の利用を要求すると、その要求を示す文字列がユーザの発言内容132として表示エリア56b内に表示されてもよい。
上記のようにユーザによって発言内容132が端末装置10に入力された場合に、特定部30は、パスワード機能を使用対象の機能として識別し、制御部26は、自動応答AIに紐付く画像58を、パスワード機能に紐付く機能画像134に切り替えてもよい。
上記の発言内容136に対して、ユーザは、処理対象のファイルを指定する。図15に示す例では、処理対象としての「ファイルX」を示す発言内容138が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容138を解析することで、処理対象のファイルXを特定する。制御部26は、パスワード設定ソフトウェアを起動させ、パスワード設定ソフトウェアによってファイルXにパスワードを設定する。
パスワードの設定が完了した場合、制御部26は、パスワード設定が完了した旨を示す発言内容140を、パスワード設定ソフトウェアの発言内容として表示エリア56a内に表示させる。このときも、制御部26は、パスワード機能に紐付く機能画像134を表示エリア56a内に表示させ、その発言内容140をパスワード機能の機能画像134に紐付く発言内容として表示エリア56a内に表示させる。なお、発言内容140自体は、汎用の自動応答AIによって作成された発言内容である。
ユーザ(端末装置10)がパスワード機能の領域外に移動した場合、制御部26は、パスワード機能に紐付く機能画像134に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容142を、自動応答AIの発言内容として表示エリア56a内に表示させる。
以上のように第5実施形態によれば、ユーザ(端末装置10)が機能の領域内に存在する場合、当該機能が使用対象の機能として識別され、応答中の対話相手の表示が当該機能の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
なお、機能毎に自動応答AIが割り当てられている場合、対話相手の表示が、汎用の自動応答AIの表示から機能の表示に切り替えられると共に、ユーザの対話相手としての自動応答AI(例えばプログラム)が、汎用の自動応答AIから当該機能に割り当てられている自動応答AIに切り替えられてもよい。
(変形例3)
以下、変形例3について説明する。変形例3では、制御部26は、ユーザの位置に応じて、応答中の対話相手への機能に関する指示の出力を制御する。例えば、ユーザが当該機能の領域内に存在する場合、制御部26は、当該機能に関するユーザからの指示を受け付ける。一方、ユーザが当該機能の領域外に存在する場合、制御部26は、当該機能に関するユーザからの指示を受け付けない。こうすることで、ユーザが機能の領域内に存在する場合、ユーザは、当該機能に対して指示を与えることができ、ユーザが機能の領域外に存在する場合、ユーザは、当該機能に対して指示を与えることができない。機能に対して指示を与えることができる領域が限定されるので、当該機能に対するセキュリティが向上し得る。例えば、オフィスにおいて特定の部屋内に滞在しているユーザのみが、当該特定の部屋に対応付けられている機能に対して指示を与えることができるように、当該機能の領域を設定することで、当該機能に対するセキュリティが向上し得る。
例えば、ユーザがパスワード機能の領域内に存在する場合、制御部26は、パスワード機能に対するユーザの指示を受け付ける。例えば、ユーザは端末装置10のUI部20を使用することで、パスワードの設定処理の指示をパスワード設定ソフトウェアに与えることができる。一方、ユーザがパスワード機能の領域外に存在する場合、制御部26は、パスワード機能に対するユーザの指示を受け付けない。この場合、ユーザは、パスワードの設定処理の指示をパスワード設定ソフトウェアに与えることができない。こうすることで、パスワード設定ソフトウェアに関してセキュアな環境を構築することができる。
なお、変形例3においては、ユーザが機能の領域内に存在する場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像から当該機能に紐付く画像に切り替えてもよいし、切り替えなくてもよい。
<第6実施形態>
以下、図16を参照して、第6実施形態について説明する。上記の第5実施形態では、1つの機能が識別されているが、第6実施形態では、複数の機能が識別される。
図16には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、第1実施形態と同様に、「どうしましたか?」といった発言内容144が、自動応答AIの発言内容として表示エリア56a内に表示される。
位置情報取得部28は、端末装置10の位置情報を取得し、特定部30は、その位置情報に基づいて端末装置10の位置を識別する。
例えば、ユーザが、パスワード機能の使用が可能な領域とデータ送信機能の使用が可能な領域の両方に存在するものとする。つまり、ユーザが、パスワード機能の領域とデータ送信機能の領域が互いに重なり合う領域内に存在するものとする。この場合、特定部30は、端末装置10の位置情報に基づいて、ユーザ(端末装置10)が、パスワード機能の使用が可能な領域内に存在していると判断する。また、特定部30は、端末装置10の位置情報に基づいて、ユーザ(端末装置10)が、データ送信機能の使用が可能な領域内に存在していると判断する。なお、データ送信機能は、データ送信ソフトウェアによって実現される機能である。
ユーザ(端末装置10)がパスワード機能の領域内に存在している場合、特定部30は、パスワード機能を使用対象候補の機能として識別する。同様に、ユーザ(端末装置10)がデータ送信機能の領域内に存在している場合、特定部30は、データ送信機能を使用対象候補の機能として識別する。
上記のように複数の機能が識別された場合、制御部26は、ユーザ用の表示エリア56b内にストックエリア146を表示させ、そのストックエリア146内に機能画像を表示させる。ストックエリア146は、使用対象候補の機能の情報が表示されるエリアであり、図16に示す例では、候補の情報の一例として機能画像が表示されている。例えば、制御部26は、そのストックエリア146内に、上記のように識別された機能に紐付く機能画像を表示させる。図16に示す例では、そのストックエリア146内に、機能画像148,150が表示されている。機能画像148は、パスワード機能(パスワード設定ソフトウェア)に紐付く画像である。機能画像150は、データ送信機能(データ送信ソフトウェア)に紐付く画像である。このように機能が識別された場合、制御部26は、機能に紐付く機能画像をストックエリア146内に表示させる。もちろん、制御部26は、機能画像に代えて又は機能画像と共に、識別された機能を示す文字情報をストックエリア146内に表示させてもよい。
なお、ユーザがパスワード機能の領域内のみに存在する場合、ストックエリア146内には、パスワード機能に紐付く機能画像148のみが表示される。同様に、ユーザがデータ送信機能の領域内のみに存在する場合、ストックエリア146内には、データ送信機能に紐付く機能画像150のみが表示される。
また、ストックエリア146内に表示しきれない他の機能画像が存在する場合、ユーザが、ストックエリア146内に表示されている機能画像をスクロール操作することで、当該他の機能画像がストックエリア146内に表示される。
ユーザは、ストックエリア146から使用対象の機能に紐付く画像(図16に示す例では機能画像148)を選択してストックエリア146の外側に移動させ、その機能画像148をユーザの発言内容として自動応答AIに送ることができる。なお、ユーザが、使用対象の機能を示す文字情報や音声情報を端末装置10に入力することで、使用対象の機能を示す情報が自動応答AIに送られてもよい。
上記のように、使用対象の機能がユーザによって指定された場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から当該機能の表示に切り替える。図16に示す例では、ユーザは機能画像148を指定することでパスワード機能を使用対象の機能として指定しているため、制御部26は、自動応答AIに紐付く画像58に代えて、パスワード機能に紐付く機能画像134を対話相手に紐付く画像として表示エリア56a内に表示させる。
以下、第5実施形態と同様に、制御部26は、「どのファイルにパスワードを掛けますか?」といった発言内容152を、複合機Bの発言内容として表示エリア56a内に表示させる。
ユーザ(端末装置10)がパスワード機能の領域外に移動した場合、制御部26は、パスワード機能に紐付く機能画像134に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、パスワード機能に紐付く機能画像148をストックエリア146内から消去する。ユーザ(端末装置10)がデータ送信機能の領域外に移動した場合、制御部26は、データ送信機能に紐付く機能画像150をストックエリア146内から消去する。なお、ユーザが新たな機能の領域内に移動した場合、当該新たな機能が使用対象候補の機能として識別され、当該新たな機能の情報(例えば当該新たな機能に紐付く機能画像)がストックエリア146内に表示される。
以上のように第6実施形態によれば、ユーザ(端末装置10)が複数の機能の領域内に存在する場合、当該複数の機能が使用対象候補の機能として識別され、応答中の対話相手の表示が、当該複数の機能の中からユーザによって選択された機能の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
対話相手の表示が、汎用の自動応答AIの表示から機能の表示に切り替えられると共に、ユーザの対話相手としての自動応答AI(例えばプログラム)が、汎用の自動応答AIから当該機能に割り当てられている自動応答AIに切り替えられてもよい。
ユーザが複数の機能の領域内に存在する場合、特定部30は、当該複数の機能の中でユーザに最も近い機能を使用対象の機能として識別し、制御部26は、汎用の自動応答AIの表示を、ユーザに最も近い機能の表示に切り替えてもよい。
(変形例4)
以下、変形例4について説明する。変形例4では、上記の変形例3と同様に、制御部26は、ユーザの位置に応じて、応答中の対話相手への機能に関する指示の出力を制御する。例えば、ユーザが複数の機能の領域内に存在する場合、制御部26は、当該複数の機能のそれぞれに関するユーザからの指示を受け付ける。
例えば、ユーザがパスワード機能の領域とデータ送信機能の領域の両方に存在する場合、制御部26は、パスワード機能とデータ送信機能に関するユーザの指示を受け付ける。ユーザは端末装置10のUI部20を使用することで、パスワードの設定処理の指示をパスワード設定ソフトウェアに与えることができ、データ送信処理の指示をデータ送信ソフトウェアに与えることができる。
また、上記の第6実施形態のように、複数の機能の中からユーザによって機能が選択された場合、制御部26は、その選択された機能に関するユーザからの指示を受け付けてもよい。図16に示す例では、ユーザはパスワード機能とデータ送信機能の両方の領域に存在しているが、ユーザによってパスワード機能が選択されている。この場合、制御部26は、パスワード機能に関するユーザの指示を受け付ける。
また、ユーザが複数の機能の領域内に存在する場合、制御部26は、当該複数の機能の中でユーザに最も近い機能に関するユーザからの指示を受け付けてもよい。
変形例4によれば、ユーザが複数の機能の領域内に存在する場合において、機能に対してセキュアな環境を構築することができる。
なお、変形例4においては、ユーザが機能の領域内に存在する場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像から当該機能に紐付く画像に切り替えてもよいし、切り替えなくてもよい。
<第7実施形態>
以下、第7実施形態について説明する。第6実施形態では、1つの機能がユーザによって選択されているが、第7実施形態では、複数の機能がユーザによって選択される。
図17には、第7実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能IDの組み合わせ(例えば、ソフトウェアを識別するためのIDの組み合わせ)と、機能名(例えばソフトウェア名)を示す情報と、複数の機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の機能を利用して実行可能な連携機能が特定される。
例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα,βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。
なお、3つ以上の機能(例えばソフトウェア)を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
図18には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容154が、自動応答AIの発言内容として表示エリア56a内に表示される。
第7実施形態では、上記の第6実施形態と同様に、ユーザ(端末装置10)が、パスワード機能の領域とデータ送信機能の領域の両方に存在しているものとする。この場合、ストックエリア146内に、パスワード機能に紐付く機能画像148とデータ送信機能に紐付く機能画像150が表示される。
ユーザは、例えばストックエリア146から機能画像148,150を選択してストックエリア146の外側に移動させ、機能画像148,150をユーザの発言内容として自動応答AIに送ることができる。図18に示す例では、機能画像148,150が表された画像156が生成され、その画像156が自動応答AIに送られる。なお、ユーザは、使用対象の複数の機能を示す文字情報や音声情報を端末装置10に入力することで、使用対象の複数の機能を示す情報が自動応答AIに送られてもよい。
上記のように、使用対象の複数の機能がユーザによって指定された場合、特定部30は、当該複数の機能を連携対象の機器として識別し、例えば図17に示されている連携機能管理テーブルにおいて、当該複数の機能の組み合わせに対応付けられている連携機能を特定する。これより、当該複数の機能を使用して実行可能な連携機能が識別される。
上記の例では、特定部30は、機能画像148に紐付くパスワード機能と機能画像150に紐付くデータ送信機能を連携対象の機能として識別し、図17に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能(例えば、パスワードを掛けてデータを転送する機能等)を特定する。これにより、パスワード機能とデータ送信機能とを利用して実行可能な連携機能が識別される。なお、機能や連携機能の特定処理は、サーバ16によって行われてもよい。
また、使用対象の複数の機能がユーザによって指定された場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定された複数の機能の表示に切り替える。
上記の例では、パスワード機能とデータ送信機能が連携対象の機能として指定されているため、制御部26は、自動応答AIに紐付く画像58に代えて、パスワード機能に紐付く機能画像134とデータ送信機能に紐付く機能画像158を、対話相手に紐付く画像として表示エリア56a内に表示させる。もちろん、制御部26は、機能画像134,158に代えて又は機能画像134,158と共に、パスワード機能とデータ送信機能を示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、ユーザによって指定された複数の機能を確認するための発言内容160を、自動応答AIの発言内容として表示エリア56a内に表示させる。パスワード機能とデータ送信機能が連携対象の機能として指定されている場合、例えば「パスワード機能とデータ送信機能ですね?」といった発言内容160が、自動応答AIの発言内容として表示エリア56a内に表示される。
この発言内容160に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容162を発した場合)、制御部26は、パスワード機能とデータ送信機能とを利用して実行可能な連携機能に関する情報を、パスワード機能とデータ送信機能の発言内容164として表示エリア56a内に表示させる。その発言内容164自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、パスワード機能とデータ送信機能がその発言内容164を発言しているかのように演出するために、その発言内容164を、パスワード機能の機能画像134とデータ送信機能の機能画像158とに紐付く発言内容として表示エリア56a内に表示させる。
その発言内容164に対して、ユーザが発言内容166によって連携機能を指定して実行指示を与えた場合、制御部26(例えば自動応答AIによって実現される制御部26)はその実行指示を受けて、連携機能の実行を制御する。別の例として、連携機能の実行を指示するためのボタン画像が画面56に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。例えば、制御部26は、パスワード設定ソフトウェアとデータ送信ソフトウェアを起動させ、パスワード設定ソフトウェアによって、ユーザによって指定されたファイルにパスワードを設定し、データ送信ソフトウェアによって、ユーザによって指定された転送先に、パスワードが設定されたファイルを送信する。
ユーザ(端末装置10)が、パスワード機能とデータ送信機能の領域外に移動した場合、制御部26は、機能画像134,158に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、パスワード機能に紐付く機能画像148とデータ送信機能に紐付く機能画像150をストックエリア146内から消去する。
なお、ユーザが、パスワード機能の領域外に移動したがデータ送信機能の領域内に存在する場合、制御部26は、機能画像158を対話相手に紐付く画像として表示エリア56a内に表示させてもよい。この場合、特定部30は、データ送信機能を使用対象の機能として識別する。ユーザが、データ送信機能の領域外に移動したがパスワード機能の領域内に存在する場合も同様である。
以上のように第7実施形態によれば、応答中の対話相手の表示が、連携対象の複数の機能の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
なお、複数の機能が対話相手として表示された場合、ユーザの対話相手は、端末装置10に搭載されている汎用の自動応答AIであってもよいし、その汎用の自動応答AIから当該複数の機能のそれぞれに割り当てられている自動応答AIに切り替えられてもよい。例えば、パスワード機能に割り当てられている自動応答AIが端末装置10やサーバ16等に格納されている場合、パスワード機能に割り当てられている自動応答AIが対話相手として機能してもよい。同様に、データ送信機能に割り当てられている自動応答AIが端末装置10やサーバ16等に格納されている場合、データ送信機能に割り当てられている自動応答AIが対話相手として機能してもよい。パスワード機能とデータ送信機能の両方の自動応答AIが格納されている場合、パスワード機能又はデータ送信機能の何れかの自動応答AIが対話相手として機能してもよい。
図18に示す例では、2つの機能の情報が自動応答AIに送られているが、3つ以上の機能の情報(例えば、3つ以上の機能画像や3つ以上の機能を示す文字列)が自動応答AIに送られてもよい。この場合、自動応答AIに紐付く画像58に代えて、3つ以上の機能画像が、対話相手に紐付く画像として表示エリア56a内に表示される。また、図13に示されている表示例が第7実施形態に適用されてもよい。
なお、第7実施形態に変形例3,4が適用されてもよい。すなわち、制御部26は、ユーザが複数の機能の領域内に存在する場合、当該複数の機能を利用して実行可能な連携機能の実行指示を受け付け、ユーザが当該複数の機能の領域内に存在しない場合、当該複数の機能を利用して実行可能な連携機能の実行指示を受け付けない。
<第8実施形態>
以下、図19を参照して、第8実施形態について説明する。図19には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容168が、自動応答AIの発言内容として表示エリア56a内に表示される。
第8実施形態では、上記の第7実施形態と同様に、ユーザ(端末装置10)が、パスワード機能の領域とデータ送信機能の領域の両方に存在しているものとする。この場合、特定部30は、パスワード機能とデータ送信機能を連携対象の機能として識別し、図17に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能を特定する。これにより、パスワード機能とデータ送信機能を利用して実行可能な連携機能が識別される。
また、ユーザは、パスワード機能の領域とデータ送信機能の領域の両方に存在しているため、制御部26は、自動応答AIに紐付く画像58に代えて、パスワード機能に紐付く機能画像134とデータ送信機能に紐付く機能画像158を、対話相手に紐付く画像として表示エリア56a内に表示させる。制御部26は、パスワード機能とデータ送信機能が連携対象の機能として識別されたことを確認するための発言内容172を、パスワード機能とデータ送信機能の発言内容として表示エリア56a内に表示させる。
また、ユーザが、「パスワード機能とデータ送信機能を利用したい」等と発言して機能の利用を要求すると、その要求を示す文字列がユーザの発言内容170として表示エリア56b内に表示されてもよい。このようにユーザによって発言内容170が端末装置10に入力された場合に、特定部30は、パスワード機能とデータ送信機能を連携対象の機能として識別し、制御部26は、自動応答AIに紐付く画像58を、機能画像134,158に切り替えてもよい。
発言内容172に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容174を発した場合)、制御部26は、パスワード機能とデータ送信機能とを利用して実行可能な連携機能に関する情報を、パスワード機能とデータ送信機能の発言内容176として表示エリア56a内に表示させる。その発言内容176自体は、汎用の自動応答AIによって作成された発言内容である。ユーザの発言内容178によって、実行対象の連携機能が指定されている。以下の処理は、上記の第7実施形態と同じである。
以上のように第8実施形態によれば、ユーザが複数の機能の領域内に存在する場合、応答中の対話相手の表示が、当該複数の機能の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
なお、対話相手は、汎用の自動応答AIから複数の機能の自動応答AIに切り替えられてもよい。また、ユーザが3つ以上の機能の領域内に存在する場合(つまり、3つ以上の機能の領域が互いに重なり合う領域にユーザが存在する場合)、対話相手の表示が当該3つ以上の機能の表示に切り替えられる。また、図13に示されている表示例が第8実施形態に適用されてもよい。
なお、第8実施形態に変形例3,4が適用されてもよい。すなわち、制御部26は、ユーザが複数の機能の領域内に存在する場合、当該複数の機能を利用して実行可能な連携機能の実行指示を受け付け、ユーザが当該複数の機能の領域内に存在しない場合、当該複数の機能を利用して実行可能な連携機能の実行指示を受け付けない。
<第9実施形態>
以下、第9実施形態について説明する。第9実施形態は、上記の第4実施形態と第8実施形態との組み合わせに相当する。つまり、ユーザが機器の領域と機能の領域の両方に存在する場合、対話相手に紐付く画像が、当該機器に紐付く機器画像と当該機能に紐付く機能画像とに切り替えられる。以下、第9実施形態について詳しく説明する。
図20には、第9実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能(例えばソフトウェア)とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、IDの組み合わせ(機器IDと機能IDとの組み合わせ)と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器AとしてのPC(A)と機能αとしてのデータ送信機能とを組み合わせることで、例えば、PC(A)を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。
なお、合計で3つ以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
図21には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容180が、自動応答AIの発言内容として表示エリア56a内に表示される。
第9実施形態では、ユーザ(端末装置10)が、複合機Bの領域とパスワード機能の領域の両方に存在しているものとする。この場合、特定部30は、複合機Bを連携対象の機器として識別し、パスワード機能を連携対象の機能として識別する。また、特定部30は、図20に示されている連携機能管理テーブルにおいて、複合機Bとパスワード機能との組み合わせに対応付けられている連携機能を特定する。これにより、複合機Bとパスワード機能を利用して実行可能な連携機能が特定される。
また、ユーザは、複合機Bの領域とパスワード機能の領域の両方に存在しているため、制御部26は、自動応答AIに紐付く画像58に代えて、複合機Bに紐付く機器画像66とパスワード機能に紐付く機能画像134を、対話相手に紐付く画像として表示エリア56a内に表示させる。制御部26は、複合機Bとパスワード機能が連携対象として識別されたことを確認するための発言内容184を、複合機Bとパスワード機能の発言内容として表示エリア56a内に表示させる。
また、ユーザが、「複合機Bとパスワード機能を利用したい」等と発言して機能の利用を要求すると、その要求を示す文字列がユーザの発言内容182として表示エリア56b内に表示されてもよい。このようにユーザによって発言内容182が端末装置10に入力された場合に、特定部30は、複合機Bとパスワード機能を連携対象として識別し、制御部26は、自動応答AIに紐付く画像58を、画像66,134に切り替えてもよい。
発言内容184に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容186を発した場合)、制御部26は、複合機Bとパスワード機能とを利用して実行可能な連携機能に関する情報を、複合機Bとパスワード機能の発言内容188として表示エリア56a内に表示させる。その発言内容188自体は、汎用の自動応答AIによって作成された発言内容である。以下の処理は、上記の第7実施形態と同じである。
例えば、「スキャンしたデータにパスワードを設定する機能」の実行指示がユーザによって与えられた場合、制御部26は、スキャン転送の実行指示を複合機Bに与える。複合機Bはその実行指示に従ってスキャンを実行し、これにより生成されたデータを端末装置10に転送する。制御部26は、更に、パスワード設定ソフトウェアを起動させ、パスワード設定ソフトウェアによって当該データにパスワードを設定する。
ユーザ(端末装置10)が、複合機Bとパスワード機能の領域外に移動した場合、制御部26は、機器画像66と機能画像134に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。
なお、ユーザが、パスワード機能の領域外に移動したが複合機Bの領域内に存在する場合、制御部26は、機器画像66を対話相手に紐付く画像として表示エリア56a内に表示させてもよい。この場合、特定部30は、複合機Bを使用対象の機器として識別する。ユーザが、複合機Bの領域外に移動したがパスワード機能の領域内に存在する場合も同様である。
以上のように第9実施形態によれば、応答中の対話相手の表示が、連携対象の機器と機能の表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
第9実施形態においても、機器画像用のストックエリアや機能画像用のストックエリアが表示エリア56b内に表示されてもよい。上記の例では、機器画像用のストックエリア内に複合機Bに紐付く機器画像が表示され、機能画像用のストックエリア内にパスワード機能に紐付く機能画像が表示される。ユーザは、各ストックエリアから機器画像と機能画像を選択し、ユーザの発言内容として自動応答AIに送ることができる。特定部30は、ユーザによって選択された機器画像に紐付く機器や機能画像に紐付く機能を連携対象として識別する。特定部30は、ユーザによって機能画像が選択されずに1つの機器画像のみが選択された場合、当該機器画像に紐付く機器を使用対象の機器として識別し、機能画像が選択されずに複数の機器画像が選択された場合、複数の機器を連携対象の機器として識別する。同様に、特定部30は、ユーザによって機器画像が選択されずに1つの機能画像のみが選択された場合、当該機能画像に紐付く機能を使用対象の機能として識別し、機器画像が選択されずに複数の機能画像が選択された場合、複数の機能を連携対象の機能として識別する。
ユーザの対話相手は、端末装置10に搭載されている汎用の自動応答AIであってもよいし、その汎用の自動応答AIから機器と機能のそれぞれに割り当てられている自動応答AIに切り替えられてもよい。
第9実施形態に変形例1から変形例4が適用されてもよい。
<第10実施形態>
以下、第10実施形態について説明する。第10実施形態では、ユーザの位置に応じて、対話相手の表示がファイル(データ)の表示に切り替えられる。例えば、ユーザの位置に応じて、使用可能なファイルが変わり、それに応じて、対話相手の表示がファイルの表示に切り替えられる。
例えば、領域と当該領域にて使用可能なファイルとの対応付けを示す管理情報が予め作成され、その管理情報が端末装置10の記憶部24に記憶されている。もちろん、管理情報は、端末装置10に記憶されずに、サーバ16等の外部装置に記憶されていてもよい。特定部30は、位置情報取得部28によって取得された端末装置10の位置情報に基づいて、端末装置10(ユーザ)の位置を識別し、上記の管理情報において、ユーザの位置を含む領域に対応付けられているファイルを特定する。そのファイルが、ユーザがいる場所で端末装置10にて使用可能なファイルである。例えば、特定のオフィスに限定して使用可能なファイルが定められ、当該特定のオフィスの位置と当該ファイルとが対応付けられて管理情報に登録される。ユーザが当該特定のオフィス内に存在する場合、当該特定のオフィスに対応付けられたファイルの使用が端末装置10にて可能となる。なお、ファイルは、端末装置10に記憶されていてもよいし、サーバ16等の外部装置に記憶されていてもよい。
ここで、ファイルについて説明する。ファイルは、例えば、文書ファイル、画像ファイル、動画ファイル、表計算ファイル、プレゼンテーション用ファイル、図形(図面)ファイル、音声ファイル等である。
文書ファイルは、文書形式(文書フォーマット)を有するファイルであり、文字列やその他の情報によって構成されるファイルである。画像や表や図形が、その他の情報として文書ファイルに含まれてもよい。文書形式は、例えばテキスト形式やドキュメント形式等である。テキスト形式を有するデータ(例えば、拡張子として文字列「.txt」が紐付いているデータ)や、ドキュメント形式を有するデータ(例えば、拡張子として文字列「.doc」や「.docx」が紐付いているデータ)等が、文書ファイルに該当する。
画像ファイルは、画像形成(画像フォーマット)を有するファイルである。画像ファイルは、ラスター形式を有する画像データであってもよいし、ベクター形式を有する画像データであってもよい。画像形式は、例えばJPEG形式、BMP(ビットマップ)形式、PDF形式、GIF形式、TIFF形式、PNG形式、PICT形式等である。JPEG形式を有するデータ(拡張子として文字列「.jpeg」が紐付いているデータ)、BMP形式を有するデータ(拡張子として文字列「.bmp」が紐付いているデータ)、PDF形式を有するデータ(拡張子として文字列「.pdf」が紐付いているデータ)、GIF形式を有するデータ(拡張子として文字列「.gif」が紐付いているデータ)、TIFF形式を有するデータ(拡張子として文字列「.tiff」が紐付いているデータ)、PNG形式を有するデータ(拡張子として文字列「.png」が紐付いているデータ)、PICT形式を有するデータ(拡張子として文字列「.pict」が紐付いているデータ)等が、画像ファイルに該当する。これら以外の形式を有する画像ファイルが用いられてもよい。
動画ファイルは、動画形式(動画フォーマット)を有するファイルである。動画形式は、例えばAVI形式、MP4形式、MOV形式、MPEG2-TS形式、MPEG2-PS形式、WMV形式、FLV形式等である。AVI形式を有するデータ(拡張子として文字列「.avi」が紐付いているデータ)、MP4形式を有するデータ(拡張子として文字列「.mp4」が紐付いているデータ)、MOV形式を有するデータ(拡張子として文字列「.mov」が紐付いているデータ)、MPEG2-TS形式を有するデータ(拡張子として文字列「.m2ts」が紐付いているデータ)、MPEG2-PS形式を有するデータ(拡張子として文字列「.mpeg」が紐付いているデータ)、WMV形式を有するデータ(拡張子として文字列「.wmv」が紐付いているデータ)、FLV形式を有するデータ(拡張子として文字列「.flv」が紐付いているデータ)等が、動画ファイルに該当する。これら以外の形式を有する動画ファイルが用いられてもよい。
表計算ファイルは、表形式(表フォーマット)を有するファイルであり、表やグラフやその他の情報によって構成されるファイルである。文字列や画像や図形が、その他の情報として表計算ファイルに含まれてもよい。例えば、拡張子として文字列「.csv」や「.xls」や「.xlsx」が紐付いているデータである。
プレゼンテーション用ファイルは、プレゼンテーション用のシート形式(シートフォーマット)を有するファイルである。例えば、拡張子として文字列「.ppt」や「.pptx」が紐付いているデータが、プレゼンテーション用ファイルに該当する。プレゼンテーション用ファイルは、例えば、文字列、画像(静止画像や動画像)、図形、音声等によって構成される。
図形ファイルは、図形(図面)形式(図形フォーマット)を有するファイルである。図形ファイルは、例えば、図形作成ソフトウェア(例えば2次元CADや3次元CAD等)によって作成されるファイルである。例えば、DXF形式(フォーマット)を有するデータ(拡張子として文字列「.dxf」が紐付いているデータ)、DWG形式を有するデータ(拡張子として文字列「.dwg」が紐付いているデータ)等である。その他、拡張子として「.vsd」や「.vsdx」が紐付いているデータが図形ファイルとして扱われてもよい。
音声ファイルは、音声形式(音声フォーマット)を有するファイルである。音声形式は、例えば、非圧縮音声形式(WAV形式、AIFF形式、BWF形式等)、非可逆圧縮音声形式(mp3形式、AAC形式、WMA形式等)、可逆圧縮音声形式(TAK形式、FLAC形式等)等である。非圧縮音声形式を有するデータ(拡張子として「.wav」等が紐付いているデータ)、非可逆圧縮音声形式を有するデータ(拡張子として文字列「.mp3」等が紐付いているデータ)、非圧縮音声形式を有するデータ(拡張子として文字列「.tak」等が紐付いているデータ)等が、音声ファイルに該当する。
以下、図22を参照して、第10実施形態について詳しく説明する。図22には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容192が、自動応答AIの発言内容として表示エリア56a内に表示される。
位置情報取得部28は、端末装置10(ユーザ)の位置情報を取得し、特定部30は、その位置情報に基づいて端末装置10の位置を識別する。例えば、ユーザが、文書ファイルAの使用が可能な領域内に存在する場合、特定部30は、端末装置10の位置情報に基づいて、ユーザ(端末装置10)が、文書ファイルAの使用が可能な領域内に存在していると判断する。
ユーザ(端末装置10)が、文書ファイルAの使用が可能な領域内に存在している場合、特定部30は、文書ファイルAを使用対象の機能として識別する。
ユーザ(端末装置10)がファイルの領域内に存在している場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から当該ファイルの表示(例えば、当該ファイルに紐付く画像や当該ファイルを示す文字列)に切り替える。
上記の例では、ユーザは文書ファイルAの領域内に存在しているため、制御部26は、自動応答AIに紐付く画像58に代えて、文書ファイルAに紐付くファイル画像196を対話相手に紐付く画像として表示エリア56a内に表示させる。ファイル画像は、例えば、ファイルを表すアイコン等の画像である。
制御部26は、ファイル画像196に代えて又はファイル画像196と共に、文書ファイルAを示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、「文書ファイルAを開きますか?」といった発言内容198を、文書ファイルAの発言内容として表示エリア56a内に表示させる。その発言内容198自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、文書ファイルAがその発言内容198を発言しているかのように演出するために、その発言内容198を文書ファイルAのファイル画像196に紐付く発言内容として表示エリア56a内に表示させる。
また、ユーザが、「文書ファイルAを利用したい」等と発言して機器の利用を要求すると、その要求を示す文字列がユーザの発言内容194として表示エリア56b内に表示されてもよい。
上記のようにユーザによって発言内容194が端末装置10に入力された場合に、特定部30は、文書ファイルAを使用対象のファイルとして識別し、制御部26は、自動応答AIに紐付く画像58を、文書ファイルAに紐付くファイル画像196に切り替えてもよい。
上記の発言内容198に対して、ユーザがファイルの開示を指示した場合(例えば、「はい。」といった発言内容200を入力した場合)、その発言内容200が、ユーザの発言内容として表示エリア56b内に表示される。
制御部26は、開示指示を受けた場合、文書ファイルAに紐付く文書ソフトウェアを起動させる旨を示す発言内容202を、自動応答AIの発言内容として表示エリア56a内に表示させる。また、制御部26は、文書ソフトウェアを起動させ、その文書ソフトウェアによって文書ファイルAをUI部20の表示部に表示させる。例えば、ユーザは、文書ソフトウェアを使用することで、文書ファイルAを編集することができる。
ユーザ(端末装置10)が文書ファイルAの領域外に移動した場合、制御部26は、文書ファイルAに紐付くファイル画像196に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。
以上のように第10実施形態によれば、ユーザ(端末装置10)がファイルの領域内に存在する場合、当該ファイルが使用対象のファイルとして識別され、応答中の対話相手の表示が当該ファイルの表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
なお、ファイル毎に自動応答AIが割り当てられている場合、対話相手の表示が、汎用の自動応答AIの表示からファイルの表示に切り替えられると共に、ユーザの対話相手としての自動応答AIが、汎用の自動応答AIから当該ファイルに割り当てられている自動応答AIに切り替えられてもよい。
(変形例5)
以下、変形例5について説明する。変形例5では、制御部26は、ユーザの位置に応じて、応答中の対話相手へのファイルに関する指示の出力を制御する。例えば、ユーザが当該ファイルの領域内に存在する場合、制御部26は、当該ファイルに関するユーザからの指示を受け付ける。一方、ユーザが当該ファイルの領域外に存在する場合、制御部26は、当該ファイルに関するユーザからの指示を受け付けない。こうすることで、ユーザがファイルの領域内に存在する場合、ユーザは、当該ファイルに対して指示を与えることができ、ユーザがファイルの領域外に存在する場合、ユーザは、当該ファイルに対して指示を与えることができない。ファイルに対して指示を与えることができる領域が限定されるので、当該ファイルに対するセキュリティが向上し得る。例えば、オフィスにおいて特定の部屋内に滞在しているユーザのみが、当該特定の部屋に対応付けられているファイルに対して指示を与えることができるように、当該ファイルの領域を設定することで、当該ファイルに対するセキュリティが向上し得る。
例えば、ユーザが文書ファイルAの領域内に存在する場合、制御部26は、文書ファイルAに対するユーザの指示を受け付ける。例えば、ユーザは端末装置10のUI部20を使用することで、文書ファイルAを編集することができる。一方、ユーザが文書ファイルAの領域外に存在する場合、制御部26は、文書ファイルAに対するユーザの指示を受け付けない。この場合、ユーザは、文書ファイルAを編集することができない。なお、文書ファイルAの表示が禁止されてもよい。こうすることで、文書ファイルAに関してセキュアな環境を構築することができる。
なお、変形例5においては、ユーザがファイルの領域内に存在する場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像から当該ファイルに紐付く画像に切り替えてもよいし、切り替えなくてもよい。
<第11実施形態>
以下、図23を参照して、第11実施形態について説明する。上記の第10実施形態では、1つのファイルが識別されているが、第11実施形態では、複数のファイルが識別される。
図23には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容204が、自動応答AIの発言内容として表示エリア56a内に表示される。
位置情報取得部28は、端末装置10の位置情報を取得し、特定部30は、その位置情報に基づいて端末装置10の位置を識別する。
例えば、ユーザが、文書ファイルAの使用が可能な領域と画像ファイルCの使用が可能な領域の両方に存在するものとする。つまり、ユーザが、文書ファイルAの領域と画像ファイルCの領域が互いに重なり合う領域内に存在するものとする。この場合、特定部30は、端末装置10の位置情報に基づいて、ユーザ(端末装置10)が、文書ファイルAの使用が可能な領域内に存在していると判断する。また、特定部30は、端末装置10の位置情報に基づいて、ユーザ(端末装置10)が、画像ファイルCの使用が可能な領域内に存在していると判断する。
ユーザ(端末装置10)が文書ファイルAの領域内に存在している場合、特定部30は、文書ファイルAを使用対象候補のファイルとして識別する。同様に、ユーザ(端末装置10)が画像ファイルCの領域内に存在している場合、特定部30は、画像ファイルCを使用対象候補のファイルとして識別する。
上記のように複数のファイルが識別された場合、制御部26は、ユーザ用の表示エリア56b内にストックエリア206を表示させ、そのストックエリア206内にファイル画像を表示させる。ストックエリア206は、使用対象候補のファイルの情報が表示されるエリアであり、図23に示す例では、候補の情報の一例としてファイル画像が表示されている。例えば、制御部26は、そのストックエリア206内に、上記のように識別されたファイルに紐付くファイル画像を表示させる。図23に示す例では、そのストックエリア206内に、ファイル画像208,210が表示されている。ファイル画像208は、文書ファイルAに紐付く画像である。ファイル画像210は、画像ファイルCに紐付く画像である。このようにファイルが識別された場合、制御部26は、ファイルに紐付くファイル画像をストックエリア206内に表示させる。もちろん、制御部26は、ファイル画像に代えて又はファイル画像と共に、識別されたファイルを示す文字情報をストックエリア206内に表示させてもよい。
なお、ユーザが文書ファイルAの領域内のみに存在する場合、ストックエリア206内には、文書ファイルAに紐付くファイル画像208のみが表示される。同様に、ユーザが画像ファイルCの領域内のみに存在する場合、ストックエリア206内には、画像ファイルCに紐付くファイル画像210のみが表示される。
また、ストックエリア206内に表示しきれない他のファイル画像が存在する場合、ユーザが、ストックエリア206内に表示されているファイル画像をスクロール操作することで、当該他のファイル画像がストックエリア206内に表示される。
ユーザは、ストックエリア206から使用対象のファイルに紐付く画像(図23に示す例ではファイル画像208)を選択してストックエリア206の外側に移動させ、そのファイル画像208をユーザの発言内容として自動応答AIに送ることができる。なお、ユーザが、使用対象のファイルを示す文字情報や音声情報を端末装置10に入力することで、使用対象のファイルを示す情報が自動応答AIに送られてもよい。
上記のように、使用対象のファイルがユーザによって指定された場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から当該ファイルの表示に切り替える。図23に示す例では、ユーザはファイル画像208を指定することで文書ファイルAを使用対象の機能として指定しているため、制御部26は、自動応答AIに紐付く画像58に代えて、文書ファイルAに紐付くファイル画像196を対話相手に紐付く画像として表示エリア56a内に表示させる。
以下、第10実施形態と同様に、制御部26は、「文書ファイルAを開きますか?」といった発言内容212を、文書ファイルAの発言内容として表示エリア56a内に表示させる。
ユーザ(端末装置10)が文書ファイルAの領域外に移動した場合、制御部26は、文書ファイルAに紐付くファイル画像196に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、文書ファイルAに紐付くファイル画像208をストックエリア206内から消去する。ユーザ(端末装置10)が画像ファイルCの領域外に移動した場合、制御部26は、画像ファイルCに紐付くファイル画像210をストックエリア206内から消去する。なお、ユーザが新たなファイルの領域内に移動した場合、当該新たなファイルが使用対象候補のファイルとして識別され、当該新たなファイルの情報(例えば当該新たなファイルに紐付くファイル画像)がストックエリア206内に表示される。
以上のように第11実施形態によれば、ユーザ(端末装置10)が複数のファイルの領域内に存在する場合、当該複数のファイルが使用対象候補のファイルとして識別され、応答中の対話相手の表示が、当該複数のファイルの中からユーザによって選択されたファイルの表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
対話相手の表示が、汎用の自動応答AIの表示からファイルの表示に切り替えられると共に、ユーザの対話相手としての自動応答AI(例えばプログラム)が、汎用の自動応答AIから当該ファイルに割り当てられている自動応答AIに切り替えられてもよい。
ユーザが複数のファイルの領域内に存在する場合、特定部30は、当該複数のファイルの中でユーザに最も近いファイルを使用対象のファイルとして識別し、制御部26は、汎用の自動応答AIの表示を、ユーザに最も近いファイルの表示に切り替えてもよい。
(変形例6)
以下、変形例6について説明する。変形例6では、上記の変形例5と同様に、制御部26は、ユーザの位置に応じて、応答中の対話相手へのファイルに関する指示の出力を制御する。例えば、ユーザが複数のファイルの領域内に存在する場合、制御部26は、当該複数のファイルのそれぞれに関するユーザからの指示を受け付ける。
例えば、ユーザが文書ファイルAの領域と画像ファイルCの領域の両方に存在する場合、制御部26は、文書ファイルAと画像ファイルCに関するユーザの指示を受け付ける。例えば、ユーザは端末装置10のUI部20を使用することで、文書ファイルAと画像ファイルCを編集することができる。
また、複数のファイルの中からユーザによってファイルが選択された場合、制御部26は、その選択されたファイルに関するユーザからの指示を受け付けてもよい。図23に示す例では、ユーザは文書ファイルAと画像ファイルCの両方の領域に存在しているが、ユーザによって文書ファイルAが選択されている。この場合、制御部26は、文書ファイルAに関するユーザの指示を受け付ける。
また、ユーザが複数のファイルの領域内に存在する場合、制御部26は、当該複数のファイルの中でユーザに最も近いファイルに関するユーザからの指示を受け付けてもよい。
変形例6によれば、ユーザが複数のファイルの領域内に存在する場合において、ファイルに対してセキュアな環境を構築することができる。
なお、変形例6においては、ユーザがファイルの領域内に存在する場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像から当該ファイルに紐付く画像に切り替えてもよいし、切り替えなくてもよい。
<第12実施形態>
以下、第12実施形態について説明する。第11実施形態では、1つのファイルがユーザによって選択されているが、第12実施形態では、複数のファイルがユーザによって選択される。
第12実施形態に係る連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。連携機能は、複数のソフトウェアを連携させることによって実現される機能である。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実現される機能であってもよい。
第12実施形態においては、連携機能は、複数のファイルを対象にして実行される機能である。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア(アプリケーション)が紐付けられている。連携機能は、ユーザによって選択された複数のファイルのそれぞれに紐付けられているアプリケーションを連携させることによって実現される機能である。
連携機能は、ファイルの形式(属性)毎に定められており、連携機能管理情報は、例えば、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報(連携機能情報)と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能IDや連携機能名称等である。ファイル形式は、上記の文書形式、画像形式、動画形式、表形式、シート形式、図形形式、音声形式等である。連携機能管理情報を参照することで、複数のファイル形式の組み合わせに対応する連携機能が特定(識別)される。
連携機能は、互いに異なる複数の機能(例えば、互いに異なるソフトウェア)を連携させることによって実現される機能であってもよいし、同一の機能(例えば、同一のソフトウェア)を連携させることによって実現される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、同じ機能を連携させることによって利用可能になる機能であってもよいし、互いに異なる機能を組み合わせることによって利用可能になる機能であってもよい。例えば、文書作成機能(文書ソフトウェア)と画像表示機能(画像ソフトウェア(例えば画像ビューア))とを連携させることによって、連携機能として、文書への画像の挿入(添付)機能や、画像上への文書(文字列、テキスト)の重畳機能が実現される。すなわち、文書作成機能と画像表示機能とを連携させることによって、画像挿入機能やテキスト重畳機能が実現される。
連携機能管理情報によって管理されている連携機能は、端末装置10にインストールされているソフトウェアによって実行可能な機能であってもよいし、外部装置(例えばサーバや他の端末装置等)にインストールされているソフトウェアによって実行可能な機能であってもよいし、端末装置10にインストールされているソフトウェアと外部装置にインストールされているソフトウェアとによって実行可能な機能であってもよい。
以下、図24を参照して、第12実施形態に係る連携機能管理情報について詳しく説明する。図24には、第12実施形態に係る連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報(連携機能情報)と、が互いに対応付けられている。複数のファイルが連携対象のファイルとして識別された場合、特定部30は、連携機能管理テーブルにおいて、当該複数のファイルのそれぞれのファイル形式の組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報はUI部20の表示部に表示される。なお、図24には、2つのファイル形式の組み合わせが示されているが、3つ以上のファイル形式の組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されていてもよい。
以下、図24に示されている各連携機能について説明する。
図24中の「文書形式」は、テキスト形式(拡張子が「.txt」である)やドキュメント形式(拡張子が「.doc」や「.docx」である)である。「表形式」は、拡張子が「.csv」や「.xls」等で表現される形式である。画像形式は、拡張子が「.jpeg」や「.pdf」等で表現される形式である。動画形式は、拡張子が「.avi」や「.mpeg」等で表現される形式である。シート形式は、拡張子が「.ppt」等で表現される形式である。図24には、図形形式や音声形式が示されていないが、これらを含む組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。もちろん、図24に示されているファイル形式以外のファイル形式を含む組み合わせと連携機能との対応付けが定められて連携機能管理テーブルに登録されてもよい。
以下、図24に示されている各連携機能について説明する。文書ファイルAと表計算ファイルBが連携対象のファイルとして識別された場合、文書形式と表形式との組み合わせに対応付けられている「表を文書に挿入する機能」と「文書を表に挿入する機能」が連携機能として特定される。「表を文書に挿入する機能」は、文書ファイルAによって表される文書中に、表計算ファイルBによって表される表を挿入する機能である。「文書を表に挿入する機能」は、上記の表計算ファイルBによって表される表中に、文書ファイルAによって表される文書を挿入する機能である。
文書ファイルAと画像ファイルCが連携対象のファイルとして識別された場合、文書形式と画像形式との組み合わせに対応付けられている「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能として特定される。「画像を文書に挿入する機能」は、文書ファイルAによって表される文書に、画像ファイルCによって表される画像を挿入する機能である。「文書を画像上に重畳する機能」は、画像ファイルCによって表される画像上に、文書ファイルAによって表される文書を重畳する機能である。
文書ファイルAと動画ファイルDが連携対象のファイルとして識別された場合、文書形式と動画形式との組み合わせに対応付けられている「動画を文書に挿入する機能」と「静止画を文書に挿入する機能」が連携機能として特定される。「動画を文書に挿入する機能」は、文書ファイルAによって表される文書に、動画ファイルDによって表される動画を挿入する機能である。「静止画を文書に挿入するという機能」は、文書ファイルAによって表される文書に、動画ファイルDを構成する1又は複数のフレーム(静止画)を挿入する機能である。例えば、文書ファイルAは、動画に対応していない文書ファイル、つまり、動画を挿入することができないファイルに該当する場合において、「静止画を文書に挿入する機能」が実行された場合、動画ファイルD中の1又は複数フレーム(静止画)が、文書ファイルAによって表される文書に挿入される。
同一のファイル形式を有する複数のファイルが連携対象のファイルとして識別されてもよい。例えば、文書ファイルA1,A2が連携対象のファイルとして識別された場合、文書形式と文書形式との組み合わせに対応付けられている「文書同士を合体する機能」が連携機能として特定される。「文書同士を合体する機能」は、文書ファイルA1,A2が表す文書を合体する(例えば、2つの文書を結合する)ことで、文書ファイルA1,A2を残しつつ、又は、文書ファイルA1,A2を残さずに、別の新たな文書ファイルA3を生成する機能である。
表計算ファイルB1,B2が連携対象のファイルとして識別された場合、表形式と表形式との組み合わせに対応付けられている「表同士を合体する機能」が連携機能として特定される。「表同士を合体する機能」は、表計算ファイルB1,B2が表す表を合体する(例えば、2つの表を結合する)ことで、表計算ファイルB1,B2を残しつつ、又は、表計算ファイルB1,B2を残さずに、別の新たな表計算ファイルB3を生成する機能である。
動画ファイルD1,D2が連携対象のファイルとして識別された場合、動画形式と動画形式との組み合わせに対応付けられている「動画同士を合体する機能」が連携機能として特定される。「動画同士を合体する機能」は、動画ファイルD1,D2が表す動画を合体する(例えば、2つの動画を結合する)ことで、動画ファイルD1,D2を残しつつ、又は、動画ファイルD1,D2を残さずに、別の新たな動画ファイルD3を生成する機能である。
その他、プレゼンテーション用ファイルEと文書ファイルAが連携対象のファイルとして識別された場合、シート形式と文書形式との組み合わせに対応付けられている「文書をプレゼンテーション用シートに挿入する機能」が連携機能として特定される。「文書をプレゼンテーション用シートに挿入する機能」は、プレゼンテーション用ファイルEによって表されるシートに、文書ファイルAによって表される文書を挿入する機能である。
なお、3つ以上のファイルに対応付けられている連携機能が連携機能管理テーブルに登録されてもよい。
なお、連携機能管理テーブルにおいては、ファイル名の組み合わせと連携機能とが互いに対応付けられていてもよい。複数のファイルが連携対象のファイルとして識別された場合、特定部30は、この連携機能管理テーブルにおいて、複数のファイル名の組み合わせに対応付けられている連携機能を特定する。
また、特定部30は、自動応答AIに送られたファイルの名称に基づいて、コンテンツが追加されるファイルを特定してもよい。例えば、ファイルの名称(ファイル名)に、文字列「台帳」、「まとめ」、「管理」、「統計」、「グラフ」、「表」、「リスト」等のように、データをまとめるファイル(つまり、他のデータのコンテンツが追加されることが想定又は予測されるファイル)であることを示唆する文字列が含まれている場合、特定部30は、当該ファイルを、コンテンツの追加先のファイルとして識別する。また、特定部30は、上記のまとめ用の文字列が含まれないファイル名を有するファイルや、コンテンツ(材料)を提供するファイルであることを示唆する文字列が含まれるファイル名を有するファイルを、追加対象のコンテンツ(追加対象の材料)を含むファイルとして識別する。例えば、文字列「レシート」、「伝票」、「個人データ」、「機器データ」等が含まれるファイル名を有するファイルは、上記のまとめ用のファイルに該当せず、また、コンテンツ(材料)を提供するファイルであると判断される。
図25には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容214が、自動応答AIの発言内容として表示エリア56a内に表示される。
第12実施形態では、上記の第11実施形態と同様に、ユーザ(端末装置10)が、文書ファイルAの領域と画像ファイルCの領域の両方に存在しているものとする。この場合、ストックエリア206内に、文書ファイルAに紐付くファイル画像208と画像ファイルCに紐付くファイル画像210が表示される。
ユーザは、例えばストックエリア206からファイル画像208,210を選択してストックエリア206の外側に移動させ、ファイル画像208,210をユーザの発言内容として自動応答AIに送ることができる。図25に示す例では、ファイル画像208,210が表された画像216が生成され、その画像216が自動応答AIに送られる。なお、ユーザは、使用対象の複数のファイルを示す文字情報や音声情報を端末装置10に入力することで、使用対象の複数のファイルを示す情報が自動応答AIに送られてもよい。
上記のように、使用対象の複数のファイルがユーザによって指定された場合、特定部30は、当該複数のファイルを連携対象のファイルとして識別し、例えば図24に示されている連携機能管理テーブルにおいて、当該複数のファイルの組み合わせに対応付けられている連携機能を特定する。これより、当該複数のファイルを使用して実行可能な連携機能が識別される。
上記の例では、特定部30は、ファイル画像208に紐付く文書ファイルAとファイル画像210に紐付く画像ファイルCを連携対象のファイルとして識別し、図24に示されている連携機能管理テーブルにおいて、文書形式と画像形式との組み合わせに対応付けられている連携機能(例えば、「画像を文書に挿入する機能」、「文書を画像上に重畳する機能」)を特定する。これにより、文書ファイルAと画像ファイルCに対して実行可能な連携機能が識別される。なお、ファイルや連携機能の特定処理は、サーバ16によって行われてもよい。
また、使用対象の複数のファイルがユーザによって指定された場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定された複数のファイルの表示に切り替える。
上記の例では、文書ファイルAと画像ファイルCが連携対象のファイルとして指定されているため、制御部26は、自動応答AIに紐付く画像58に代えて、文書ファイルAに紐付くファイル画像196と画像ファイルCに紐付くファイル画像218を、対話相手に紐付く画像として表示エリア56a内に表示させる。もちろん、制御部26は、ファイル画像196,218に代えて又はファイル画像196,218と共に、文書ファイルAと画像ファイルCを示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、ユーザによって指定された複数のファイルを確認するための発言内容220を、自動応答AIの発言内容として表示エリア56a内に表示させる。文書ファイルAと画像ファイルCが連携対象のファイルとして指定されている場合、例えば「文書ファイルAと画像ファイルCですね?」といった発言内容220が、自動応答AIの発言内容として表示エリア56a内に表示される。
この発言内容220に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容222を発した場合)、制御部26は、文書ファイルAと画像ファイルCに対して実行可能な連携機能に関する情報を、文書ファイルAと画像ファイルCの発言内容224として表示エリア56a内に表示させる。その発言内容224自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、文書ファイルAと画像ファイルCがその発言内容224を発言しているかのように演出するために、その発言内容224を、文書ファイルAのファイル画像196と画像ファイルCのファイル画像218とに紐付く発言内容として表示エリア56a内に表示させる。
その発言内容224に対して、ユーザが発言内容226によって連携機能を指定して実行指示を与えた場合、制御部26はその実行指示を受けて、連携機能の実行を制御する。別の例として、連携機能の実行を指示するためのボタン画像が画面56に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。例えば、「画像を文書に挿入する機能」がユーザによって指定された場合、制御部26は、文書ソフトウェアと画像ソフトウェアを起動させ、それらによって、画像ファイルCを文書ファイルAに挿入する。
ユーザ(端末装置10)が、文書ファイルAと画像ファイルCの領域外に移動した場合、制御部26は、ファイル画像196,218に代えて、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、文書ファイルAに紐付くファイル画像208と画像ファイルCに紐付くファイル画像210をストックエリア206内から消去する。
なお、ユーザが、文書ファイルAの領域外に移動したが画像ファイルCの領域内に存在する場合、制御部26は、ファイル画像218を対話相手に紐付く画像として表示エリア56a内に表示させてもよい。この場合、特定部30は、画像ファイルCを使用対象のファイルとして識別する。ユーザが、画像ファイルCの領域外に移動したが文書ファイルAの領域内に存在する場合も同様である。
以上のように第12実施形態によれば、応答中の対話相手の表示が、連携対象の複数のファイルの表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
複数のファイルが対話相手として表示された場合、ユーザの対話相手は、端末装置10に搭載されている汎用の自動応答AIであってもよいし、その汎用の自動応答AIから当該複数のファイルのそれぞれに割り当てられている自動応答AIに切り替えられてもよい。
図25に示す例では、2つのファイルの情報が自動応答AIに送られているが、3つ以上のファイルの情報(例えば、3つ以上のファイル画像や3つ以上のファイルを示す文字列)が自動応答AIに送られてもよい。この場合、自動応答AIに紐付く画像58に代えて、3つ以上のファイル画像が、対話相手に紐付く画像として表示エリア56a内に表示される。また、図13に示されている表示例が第12実施形態に適用されてもよい。
なお、第12実施形態に変形例5,6が適用されてもよい。すなわち、制御部26は、ユーザが複数のファイルの領域内に存在する場合、当該複数のファイルに対して実行可能な連携機能の実行指示を受け付け、ユーザが当該複数のファイルの領域内に存在しない場合、当該複数のファイルに対して実行可能な連携機能の実行指示を受け付けない。
<第13実施形態>
以下、図26を参照して、第13実施形態について説明する。図26には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容228が、自動応答AIの発言内容として表示エリア56a内に表示される。
第13実施形態では、上記の第12実施形態と同様に、ユーザ(端末装置10)が、文書ファイルAの領域と画像ファイルCの領域の両方に存在しているものとする。この場合、特定部30は、文書ファイルAと画像ファイルCを連携対象のファイルとして識別し、図24に示されている連携機能管理テーブルにおいて、文書ファイルAと画像ファイルCとの組み合わせに対応付けられている連携機能を特定する。これにより、文書ファイルAと画像ファイルCに対して実行可能な連携機能が識別される。
また、ユーザは、文書ファイルAの領域と画像ファイルCの領域の両方に存在しているため、制御部26は、自動応答AIに紐付く画像58に代えて、文書ファイルAに紐付くファイル画像196と画像ファイルCに紐付くファイル画像218を、対話相手に紐付く画像として表示エリア56a内に表示させる。制御部26は、文書ファイルAと画像ファイルCが連携対象のファイルとして識別されたことを確認するための発言内容232を、文書ファイルAと画像ファイルCの発言内容として表示エリア56a内に表示させる。
また、ユーザが、「文書ファイルAと画像ファイルCを利用したい」等と発言してファイルの利用を要求すると、その要求を示す文字列がユーザの発言内容230として表示エリア56b内に表示されてもよい。このようにユーザによって発言内容230が端末装置10に入力された場合に、特定部30は、文書ファイルAと画像ファイルCを連携対象のファイルとして識別し、制御部26は、自動応答AIに紐付く画像58を、ファイル画像196,218に切り替えてもよい。
発言内容232に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容234を発した場合)、制御部26は、文書ファイルAと画像ファイルCに対して実行可能な連携機能に関する情報を、文書ファイルAと画像ファイルCの発言内容236として表示エリア56a内に表示させる。その発言内容236自体は、汎用の自動応答AIによって作成された発言内容である。ユーザの発言内容238によって、実行対象の連携機能が指定されている。以下の処理は、上記の第12実施形態と同じである。
以上のように第13実施形態によれば、ユーザが複数のファイルの領域内に存在する場合、応答中の対話相手の表示が、当該複数のファイルの表示に切り替えられる。こうすることで、ユーザは、応答中の対話相手を視覚的に確認することができる。
なお、対話相手は、汎用の自動応答AIから複数のファイルの自動応答AIに切り替えられてもよい。また、ユーザが3つ以上のファイルの領域内に存在する場合(つまり、3つ以上のファイルの領域が互いに重なり合う領域にユーザが存在する場合)、対話相手の表示が当該3つ以上のファイルの表示に切り替えられる。また、図13に示されている表示例が第13実施形態に適用されてもよい。
第13実施形態に変形例5,6が適用されてもよい。すなわち、制御部26は、ユーザが複数のファイルの領域内に存在する場合、当該複数のファイルに対して実行可能な連携機能の実行指示を受け付け、ユーザが当該複数のファイルの領域内に存在しない場合、当該複数のファイルに対して実行可能な連携機能の実行指示を受け付けない。
<第14実施形態>
以下、第14実施形態について説明する。第14実施形態では、ユーザの位置に応じて、自動応答AIの発言内容が変わる。また、ユーザの位置に応じて、自動応答AIの発言内容が変わると共に、対話相手の表示が、汎用の自動応答AIの表示から、ユーザの位置に応じた表示に切り替えられてもよい。
例えば、領域と、当該領域にて端末装置10に提供されるコンテンツと、の対応付けを示す管理情報が予め作成され、その管理情報が、端末装置10の記憶部24に記憶されている。もちろん、管理情報はサーバ16等の外部装置に記憶されていてもよい。この場合、管理情報は端末装置10に記憶されていなくてもよい。コンテンツは、例えば、文字情報、音声情報、画像データ(静止画データ、動画データ)、等である。コンテンツは、例えば、場所に関連する情報である。場所に関連する情報は、その場所そのものに関する情報であってもよいし、その場所に関連する人物の情報であってもよい。場所そのものに関する情報は、例えば、地名の情報、地図情報、観光案内の情報(例えば観光名所等の情報)、ショッピングの情報、施設(店舗、宿泊施設、公共施設等)の情報、名産品の情報、産業に関する情報、交通案内の情報、気象情報、その場所で発生した出来事の情報(例えば歴史上の事件等の情報)、等である。人物の情報は、例えば、歴史上の人物(偉人や有名人等)の情報等である。コンテンツのデータは、端末装置10の記憶部24に記憶されていてもよいし、サーバ16等の外部装置に記憶されていてもよい。コンテンツが外部装置に記憶されている場合、端末装置10は、外部装置からコンテンツのデータを取得してユーザに提供する。特定部30は、ユーザ(端末装置10)の位置情報を受け、上記の管理情報において、ユーザの位置を含む領域に対応付けられているコンテンツを特定する。そのコンテンツが、ユーザがいる場所で端末装置10に提供されるコンテンツである。例えば、地域毎にコンテンツが用意され、地域毎のコンテンツが提供される。
また、管理情報は、領域と、当該領域にて端末装置10に表示される対話相手の情報と、当該位置にて端末装置10に提供されるコンテンツと、の対応付けを示す情報であってもよい。特定部30は、ユーザの位置情報を受け、この管理情報において、ユーザの位置を含む領域に対応付けられている対話相手とコンテンツを特定する。制御部26は、そのコンテンツをユーザに提供すると共に、対話相手の表示を、汎用の自動応答AIの表示から、ユーザの位置に対応付けられている対話相手の表示に切り替える。
以下、図27を参照して、第14実施形態について詳しく説明する。図27には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容240が、自動応答AIの発言内容として表示エリア56a内に表示される。
位置情報取得部28は、端末装置10(ユーザ)の位置情報を取得し、特定部30は、その位置情報に基づいて端末装置10の位置を識別し、上記の管理情報において、当該位置を含む領域に対応付けられているコンテンツや対話相手を特定する。
例えば、ユーザが、領域U内に存在している場合、特定部30は、上記の管理情報において、領域Uに対応付けられているコンテンツや対話相手を特定する。領域Uには、作家である偉人Yに関する情報がコンテンツの情報として対応付けられており、また、対話相手に紐付く画像として、偉人Yに紐付く人物画像が対応付けられているものとする。この場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から偉人Yの表示(例えば、偉人Yに紐付く人物画像や偉人Yを示す文字列)に切り替える。また、制御部26は、コンテンツを提供する。なお、偉人Yが「相手」の一例に相当する。
図27に示す例では、制御部26は、自動応答AIに紐付く画像58に代えて、偉人Yに紐付く人物画像242を対話相手に紐付く画像として表示エリア56a内に表示させる。人物画像は、人物を表す写真や動画であってもよいし、その人物を模式的に表す静止画や動画であってもよい。
制御部26は、人物画像242に代えて又は人物画像242と共に、偉人Yを示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、偉人Yに関連するコンテンツとして、「私の本を読んだことがある?」といった発言内容244を、偉人Yの発言内容として表示エリア56a内に表示させる。また、偉人Yに関連するコンテンツとして、小説等の作品が端末装置10を介してユーザに提供されてもよい。
また、ユーザが、領域V内に存在している場合、特定部30は、上記の管理情報において、領域Vに対応付けられているコンテンツや対話相手を特定する。領域Vには、商業施設Zに関する情報がコンテンツの情報として対応付けられており、また、対話相手に紐付く画像として、商業施設Zに紐付く建物画像が対応付けられているものとする。この場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から商業施設Zの表示(例えば、商業施設Zに紐付く建物画像や商業施設Zを示す文字列)に切り替える。また、制御部26は、コンテンツを提供する。なお、商業施設Zが「相手」の一例に相当する。
図27に示す例では、制御部26は、自動応答AIに紐付く画像58に代えて、商業施設Zに紐付く建物画像246を対話相手に紐付く画像として表示エリア56a内に表示させる。建物画像は、施設等の建物を表す写真や動画であってもよいし、その建物を模式的に表す画像や動画であってもよい。
制御部26は、建物画像246に代えて又は建物画像246と共に、商業施設Zを示す文字列を、対話相手を示す情報として表示エリア56a内に表示させてもよい。
また、制御部26は、商業施設Zに関連するコンテンツとして、「AAA(商業施設Zの名称)へようこそ。」といった発言内容248を、商業施設Zの発言内容として表示エリア56a内に表示させる。また、商業施設Zに関連するコンテンツとして、商業施設Zにて提供されているサービスやショッピングの情報が、端末装置10を介してユーザに提供されてもよい。
また、制御部26は、ユーザの位置に応じて、対話相手の表示を切り替えずに、自動応答AIの発言内容の表現を変えてもよい。例えば、領域毎に言語や訛り等が対応付けられており、制御部26は、ユーザの位置を含む領域に対応付けら得ている言語や訛りを用いて、自動応答AIの発言内容を表現する。例えば、ユーザが関西地方にいる場合、制御部26は、関西弁によって表現された発言内容250を、自動応答AIの発言内容として表示エリア56a内に表示させる。また、ユーザが英語圏にいる場合、制御部26は、英語によって表現された発言内容を、自動応答AIの発言内容として表示エリア56a内に表示させる。
以上のように第14実施形態によれば、ユーザの位置に応じて、対話相手の発言内容が変更される。これにより、ユーザの位置に応じた情報がユーザに提供される。また、ユーザの位置に応じて、応答中の対話相手の表示が切り替えられる。こうすることで、ユーザは応答中の対話相手を視覚的に確認することできる。
第14実施形態を例えば観光案内サービスに適用することで、観光に関する地域情報等がユーザに提供される。
第14実施形態は上記の例に限定されるものでなく、ユーザの位置を利用したゲーム等に適用されてもよい。例えば、ユーザの位置に応じたキャラクターやアイテムに関する情報が、コンテンツの情報としてユーザに提供されてもよいし、そのキャラクターやアイテムに紐付く画像が、対話相手に紐付く画像として表示されてもよい。
<第15実施形態>
以下、第15実施形態について説明する。第15実施形態では、上記の第14実施形態と同様に、ユーザの位置に応じて、自動応答AIの発言内容が変更され、対話相手の表示が、自動応答AIの表示から、ユーザの位置に応じた表示に切り替えられる。第15実施形態に係る処理は、ユーザは複数の領域内に存在している場合に適用される処理である。
以下、図28を参照して、第15実施形態について詳しく説明する。図28には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容252が、自動応答AIの発言内容として表示エリア56a内に表示される。
位置情報取得部28は、端末装置10(ユーザ)の位置情報を取得し、特定部30は、その位置情報に基づいて端末装置10の位置を識別し、第14実施形態に係る管理情報において、当該位置を含む領域に対応付けられているコンテンツや対話相手を特定する。
例えば、ユーザが、領域U,V内に存在している場合(つまり、領域Uと領域Vとが互いに重なり合う領域内にユーザが存在する場合)、特定部30は、第14実施形態に係る管理情報において、領域Uに対応付けられているコンテンツと対話相手を特定し、更に、領域Vに対応付けられているコンテンツと対話相手を特定する。
第14実施形態と同様に、領域Uには偉人Yに関する情報が対応付けられており、領域Vには商業施設Zに関する情報が対応付けられている。この場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から偉人Yと商業施設Zの表示に切り替える。
図28に示す例では、制御部26は、自動応答AIに紐付く画像58に代えて、偉人Yに紐付く人物画像242と商業施設Zに紐付く建物画像246を対話相手に紐付く画像として表示エリア56a内に表示させる。
また、制御部26は、偉人Yに関するコンテンツとして発言内容254を、偉人Yの発言内容として表示エリア56a内に表示させ、商業施設Zに関するコンテンツとして発言内容256を、商業施設Zの発言内容として表示エリア56a内に表示させる。
第15実施形態においても、図13に示されている表示例が適用されてもよい。また、制御部26は、相手(例えば偉人Yや商業施設Z)の有名度、評価、アクセス数等に基づいて、各相手の優先順位を決定し、その優先順位に従って、相手に紐付く画像の表示順や大きさを変えてもよい。制御部26は、例えば、インターネットやSNS(ソーシャルネットワークサービス)等を利用することで、各相手の有名度、評価、アクセス数等の情報を取得し、各相手の優先順位を決定する。例えば、制御部26は、優先度の高い相手に紐付く画像ほど大きくして表示してもよいし、優先度順に各相手に紐付く画像を表示してもよい。また、制御部26は、ユーザに近い相手に紐付く画像ほど大きくして表示してもよいし、ユーザに近い順に各相手に紐付く画像を表示してもよい。
<第16実施形態>
以下、第16実施形態について説明する。第16実施形態では、機器を識別するためのデバイス識別情報が取得された場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から当該機器の表示に切り替える。また、制御部26は、当該機器に関するユーザからの指示を受け付ける。
デバイス識別情報は、機器を識別するためのコード情報、機器の外観を表す外観画像、等である。例えば、AR(Augmented Reality)技術(拡張現実技術)を適用することで、デバイス識別情報が取得されて機器が識別される。例えば、AR技術を適用することで、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。AR技術として公知のAR技術が用いられる。例えば、2次元バーコード等のマーカを用いるマーカ型AR技術、画像認識技術を用いるマーカレス型AR技術、位置情報を用いる位置情報AR技術、等が用いられる。もちろん、AR技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、IPアドレスに基づいて機器が識別されてもよいし、機器IDが読み出されて機器が識別されてもよい。更に、赤外線通信、可視光通信、Wi−Fi、ブルートゥースといった各種無線通信機能を有する機器や端末装置が用いられる場合、無線通信機能を利用することで機器のIDが取得されて機器が識別されてもよい。
以下、図29を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、機器の一例としての画像形成装置12のデバイス識別情報を取得する場合について説明する。図29には、画像形成装置12の外観が模式的に示されている。ここでは、マーカ型AR技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置12の筐体には、2次元バーコード等のマーカ258が設けられている。マーカ258は、画像形成装置12のデバイス識別情報がコード化された情報である。ユーザは端末装置10のカメラ22を起動させ、利用対象の画像形成装置12に設けられているマーカ258をカメラ22によって撮影する。これにより、マーカ258を表す画像データが生成される。端末装置10の制御部26は、当該画像データに表されたマーカ画像に対してデコード処理を適用することでデバイス識別情報を抽出する。これにより、利用対象の画像形成装置12(撮影されたマーカ258を有する画像形成装置12)が識別される。端末装置10の特定部30は、機器機能管理情報において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置12が有する機能が特定(識別)される。なお、デコード処理は、サーバ16等の外部装置によって行われてもよい。
マーカ258は、画像形成装置12が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ258を表す画像データにデコード処理を適用することで、当該画像形成装置12のデバイス識別情報が抽出されると共に、当該画像形成装置12が有する機能を示す機能情報も抽出される。これにより、画像形成装置12が特定(識別)されると共に、当該画像形成装置12が有する機能が特定(識別)される。このデコード処理は、端末装置10によって行われてもよいし、サーバ16によって行われてもよい。
また、複数の機器のそれぞれのマーカを撮影することで、各機器のデバイス識別情報が取得される。
マーカレス型AR技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置10のカメラ22によって、利用対象の機器(例えば画像形成装置12)の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称(例えば商品名)や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。端末装置10の制御部26が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、端末装置10の記憶部24には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部26は、例えば、外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部26は、外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器(カメラ22によって撮影された機器)が識別される。別の例として、機器の名称(例えば商品名)や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器が識別されてもよい。端末装置10の特定部30は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置12)が有する機能が特定される。なお、サーバ16等の外部装置が、外観画像データに基づいて機器のデバイス識別情報を特定してもよい。
複数の機器のそれぞれの外観の全部又は一部を撮影することで、各機器のデバイス識別情報が取得される。
位置情報AR技術を適用してデバイス識別情報を取得する場合、例えば、GPS機能を利用することで、機器(例えば画像形成装置12)が設置されている位置を示す位置情報が取得される。例えば、各機器がGPS機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置10は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。端末装置10の制御部26は、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、端末装置10の記憶部24には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部26は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定(識別)される。端末装置10の特定部30は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置12)が有する機能が特定(識別)される。なお、サーバ16等の外部装置は、デバイス位置情報に基づいて機器を識別してもよい。
複数の機器のそれぞれのデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。
なお、複数の識別技術を用いて機器を識別してもよい。例えば、マーカ型AR技術、マーカレス型AR技術、及び、位置情報AR技術の中から選択された複数の技術を用いて機器を識別してもよい。また、ある識別技術によって機器を識別できなかった場合に、他の識別技術を用いて機器を識別してもよい。例えば、マーカ型AR技術やマーカレス型AR技術によって機器を識別できなかった場合、位置情報AR技術を用いて機器を識別してもよい。
マーカ型AR技術又はマーカレス型AR技術によって各機器が識別される場合、当該各機器は別々に撮影されて識別されてもよいし、一緒に撮影されて識別されてもよい。例えば、カメラ22の撮影領域に複合機Bが含まれる状態で複合機Bが撮影され、次に、カメラ22の撮影領域にPC(A)が含まれる状態でPC(A)が撮影されることで、複合機BとPC(A)が順次識別される。連携対象の各機器が互いに近い位置に配置されて、カメラ22の撮影領域に複合機BとPC(A)の両方が必ずしも一緒に含まれるとは限らない。撮影領域のアングルの変更、撮影領域の拡大や縮小等によって対応可能な場合もあるが、そのような操作では対応しきれない場合もある。この場合、複数回撮影することで、各機器が識別される。
例えば、画面56において、自動応答AIが「どうしましたか?」といった一般的な発言内容を発した後に、ユーザが、カメラ22によって画像形成装置12のマーカ258を撮影した場合、特定部30は、マーカ型AR技術を適用することでマーカ258からデバイス識別情報を読み取り、画像形成装置12を識別する。画像形成装置12が識別された場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIの画像58から画像形成装置12に紐付く機器画像に切り替える。また、制御部26は、画像形成装置12に関するユーザからの指示を受け付ける。デバイス識別情報が読み取られて機器が識別された場合、例えば図8に示す例と同様に、発言内容68が表示エリア56a内に表示される。また、ユーザが発言内容70を入力すると、制御部26は、その発言内容70を受け付ける。つまり、デバイス識別情報が取得されて機器が識別されている場合、制御部26は、当該機器に関するユーザの発言内容を受け付ける。その後、印刷が行われて、発言内容72が表示エリア56a内に表示される。
一方、マーカ258が撮影されずにマーカ258からデバイス識別情報が読み取られていない場合、制御部26は、対話相手に紐付く画像を切り替えずに、汎用の自動応答AIに紐付く画像58を対話相手に紐付く画像として表示エリア56a内に表示させ、画像形成装置12に関するユーザからの指示を受け付けない。図8に示す例で説明すると、発言内容68,72等は表示されず、また、ユーザが発言内容70を端末装置10に入力しても、制御部26は、発言内容70を受け付けない。「どうしましたか?」といった一般的な発言内容が、自動応答AIの発言内容として表示される。
なお、マーカレス型AR技術又は位置情報AR技術が用いられる場合も、マーカ型AR技術が用いられる場合と同様の処理が行われる。
以上のように第16実施形態によれば、機器のデバイス識別情報が読み取られた場合に、対話相手の表示が、自動応答AIの表示から当該機器の表示に切り替えられ、当該機器に対する指示が受け付けられる。こうすることで、ユーザは応答中の対話相手を視覚的に確認することができ、また、機器に関してセキュアな環境が構築される。
また、マーカ型AR技術やマーカレス型AR技術を用いることで、機器の位置情報が取得できない場合であっても、機器を識別して利用することができる。
第16実施形態は、連携機能を実行する場合に適用されてもよい。つまり、複数の機器のそれぞれのデバイス識別情報が読み取られた場合に、対話相手の表示が、自動応答AIの表示から当該複数の機器の表示に切り替えられ、当該複数の機器を利用して実行可能な連携機能に関する指示が受け付けられる。こうすることで、連携機能を実行する場合においても、ユーザは応答中の対話相手を視覚的に確認することができ、また、複数の機器に関してセキュアな環境が構築される。
なお、機器が有する機能や、機器にインストールされているソフトウェアや、機器に格納されているファイルを利用する場合も、上記と同様の処理が行われてもよい。つまり、機器のデバイス識別情報が読み取られて当該機器が識別された場合、当該機器が有する機能の利用や、当該機器にインストールされているソフトウェアの利用や、当該機器に格納されているファイルの利用が可能となる。一方、機器のデバイス識別情報が読み取られておらず、当該機器が識別されていない場合、機能やソフトウェアやファイルの利用が禁止される。
<第17実施形態>
以下、第17実施形態について説明する。第17実施形態では、制御部26は、機器の状態を示す情報(ステータス情報)を取得し、応答中の対話相手の表示を、汎用の自動応答AIの表示から、その状態が反映された機器の表示に切り替える。
以下、図30を参照して、第17実施形態について詳しく説明する。図30には画面56が示されている。画面56には、図8と同様に、自動応答AIに紐付く画像58とユーザに紐付く画像60が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
チャット用プログラムが起動すると、「どうしましたか?」といった発言内容260が、自動応答AIの発言内容として表示エリア56a内に表示される。
例えば、ユーザが、「複合機Bを利用したい。」といった発言内容262を端末装置10に入力することで、複合機Bの利用指示を自動応答AIに与えたものとする。制御部26は、発言内容262を自動応答AIに送る。
制御部26は、発言内容262を受けると、複合機Bの状態を示す情報(ステータス情報)を複合機Bから取得する。もちろん、機器の状態がサーバ16等の外部装置にて管理されている場合、制御部26は、外部装置から複合機Bのステータス情報を取得してもよい。
例えば、複合機Bに用紙が収容されていない場合、複合機Bのステータス情報には、その旨を示す情報が含まれる。
制御部26は、複合機Bのステータス情報を解析することで、複合機Bの状態を識別する。例えば、複合機Bのステータス情報に、用紙が収容されていない旨を示す情報が含まれている場合、制御部26は、複合機Bに用紙が収容されていないことを識別する。この場合、制御部26は、応答中の対話相手の表示を、汎用の自動応答AIの表示から、用紙が収容されていない状態が反映された複合機Bの表示に切り替える。図30に示す例では、制御部26は、状態が反映された複合機Bに紐付く機器画像264を、応答中の対話相手に紐付く画像として表示エリア56a内に表示させる。機器画像264は、複合機Bを表す画像であると共に、複合機Bに用紙が収容されていない状態を表す画像である。もちろん、制御部26は、機器画像264に代えて又は機器画像264と共に、複合機Bに用紙が収容されていない状態を示す文字情報や音声情報を出力してもよい。
また、制御部26は、複合機Bに用紙が収容されていない旨を示す発言内容266を複合機Bの発言内容として表示エリア56a内に表示させることで、用紙が無い旨をユーザに通知する。
制御部26は、例えば予め定められた時間間隔で、複合機Bからステータス情報を取得する。複合機Bに用紙が補充された場合、制御部26は、用紙が補充された旨を示す情報を含むステータス情報を複合機Bから取得する。この場合、制御部26は、通常状態の複合機Bに紐付く機器画像66を、応答中の対話相手に紐付く画像として表示エリア56a内に表示させる。また、制御部26は、用紙が補充された旨を示す発言内容268を、複合機Bの発言内容として表示エリア56a内に表示させる。以降、通常の動作として、制御部26は、「どうしましたか?」といった一般的な質問としての発言内容270を、複合機Bの発言内容として表示エリア56a内に表示させる。以降の処理は、第1実施形態に係る処理と同じである。
以上のように第17実施形態によれば、ユーザは機器の状態を視覚的に確認することができる。
機器の状態を示すステータス情報として、例えば、機器が故障中であることを示す情報、機器がスリープ状態であることを示す情報、機器が使用中であることを示す情報、機器がメンテナンス中であることを示す情報、機器に搭載されている消耗品に関する情報(例えば、消耗品の残量等の情報)、等が取得されてもよい。制御部26は、機器の各状態に応じた表示を行う。例えば、制御部26は、状態毎に機器画像を変えて表示エリア56a内に表示させる。
また、制御部26は、機能の状態を示す情報(ステータス情報)を取得し、応答中の対話相手の表示を、汎用の自動応答AIの表示から、その状態が反映された機能の表示に切り替えてもよい。機能の状態を示すステータス情報として、例えば、機能が停止中であることを示す情報、機能がスリープ状態であることを示す情報、機能が使用中であることを示す情報、機能が更新中であることを示す情報、機能の使用期限に関する情報、等が取得されてもよい。制御部26は、機能の各状態に応じた表示を行う。例えば、制御部26は、状態毎に機能画像を変えて表示エリア56a内に表示させる。
<その他の実施形態>
上述した連携対象の組み合わせは、上記の実施形態における組み合わせに限定されるものではない。例えば、機器、機能(機器によって実行される機能とソフトウェアによって実行される機能を含む)、ファイル、及び、ソフトウェアの中の少なくとも2つの組み合わせが連携対象として識別された場合、その組み合わせを使用して実行可能な連携機能の通知が制御されてもよい。例えば、機器画像とファイル画像が連携対象として識別された場合、特定部30は、当該機器画像に紐付く機器と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部26は、その連携機能に関する情報の通知として、その連携機能に関する情報を自動応答AIの発言内容として画面56に表示させてもよいし、音声情報として出力してもよい。具体例を挙げて説明すると、複合機Bに紐付く機器画像と文書ファイルに紐付くファイル画像とが連携対象の情報として自動応答AIに送られた場合、特定部30は、複合機Bと文書ファイルとを使用して実行可能な連携機能(例えば、文書ファイルを複合機Bによって印刷する機能や、文書ファイルを複合機Bによってファクシミリ送信する機能等)を特定する。制御部26は、その連携機能に関する情報の通知を制御する。同様に、ソフトウェアに紐付く機能画像とファイル画像が連携対象の情報として自動応答AIに送られた場合、特定部30は、当該機能画像に紐付く機能と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部26は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像とが連携対象の情報として自動応答AIに送られた場合、特定部30は、文書アプリケーションと文書ファイルとを使用して実行可能な連携機能(例えば、文書アプリケーションによって文書ファイルを編集する機能や出力する機能等)を特定する。また、機器画像と機能画像とファイル画像が連携対象の情報として自動応答AIに送られた場合、特定部30は、当該機器画像に紐付く機器と当該機能画像に紐付く機能(例えばソフトウェア)と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部26は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、複合機Bに紐付く機器画像と、文書アプリケーションに紐付く機能画像と、文書ファイルに紐付くファイル画像が、連携対象の情報として自動応答AIに送られた場合、特定部30は、複合機Bと文書アプリケーションと文書ファイルとを使用して実行可能な連携機能(例えば、文書アプリケーションによって文書ファイルを編集して複合機Bに出力し、複合機Bにて当該文書ファイルを印刷やファクシミリ送信する機能等)を特定する。上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル、ソフトウェアを組み合わせて実行可能な連携機能が定められてもよい。また、機器、機能、ファイル、及び、ソフトウェアの情報を、音声によって自動応答AIに伝えてもよい。
また、上記の組み合わせが連携対象として識別された場合、制御部26は、応答中の対話相手の表示を、汎用の自動応答AIの表示から、その組み合わせの表示に切り替える。例えば、機器とファイルが連携対象として識別された場合、制御部26は、当該機器に紐付く機器画像と当該ファイルに紐付くファイル画像を、応答中の対話相手に紐付く画像として表示エリア56a内に表示させる。他の組み合わせについても同様である。
上記の端末装置10、機器12,14及びサーバ16のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置10、機器12,14及びサーバ16のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置10、機器12,14及びサーバ16のそれぞれの各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置10、機器12,14及びサーバ16のそれぞれの各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置10、機器12,14及びサーバ16のそれぞれの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。