<第1実施形態>
図1を参照して、本発明の第1実施形態に係る情報処理システムとしての機器システムについて説明する。図1には、第1実施形態に係る機器システムの一例が示されている。
第1実施形態に係る機器システムは、一例として、端末装置10と、複数の機器(例えば機器12,14)と、外部装置の一例としてのサーバ16と、を含む。図1に示す例では、端末装置10、機器12,14及びサーバ16は、ネットワーク等の通信経路Nを介して互いに通信する機能を備えている。もちろん、端末装置10、機器12,14及びサーバ16は、通信経路Nを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図1に示す例では、2つの機器(機器12,14)が機器システムに含まれているが、3つ以上の機器が機器システムに含まれていてもよい。また、複数の端末装置10や複数のサーバ16が、機器システムに含まれていてもよい。なお、サーバ16は機器システムに含まれていなくてもよい。
端末装置10は、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。また、端末装置10は、ウェアラブル端末(腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等)であってもよい。端末装置10は、例えば、機器の利用時にユーザインターフェース部(UI部)として機能する。
機器12,14は機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、PC、タブレットPC、スマートフォン、携帯電話、ロボット(人型ロボット、人以外の動物型ロボット、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(いわゆるドローン))、ゲーム機、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器12,14は、ユーザに対してアウトプットを出力する機器(例えば画像形成装置やPC等)であってもよいし、ユーザに対してアウトプットを出力しない機器(例えばセンシング機器)であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器12,14の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器の範疇に含まれてもよい。また、機器12,14は、他の装置との間でデータを送受信する機能を有する。
サーバ16は、データの管理、ユーザ情報の管理、機器12,14の管理等を行う装置である。また、サーバ16は、他の装置との間でデータを送受信する機能を有する。
端末装置10においては、ユーザと対話する機能を有する対話相手が用いられる。その対話相手は、例えば、ユーザの発言を受け、その発言内容を解析することで、その発言に対する回答等の返事を作成してユーザに提供する機能を有する。例えば、ユーザの発言は、文字入力、音声入力、画像入力等によって行われ、回答等の返事は、文字出力、音声出力、画像出力等によって行われる。対話相手は、例えばプログラムを実行することで実現され、そのプログラムは例えば端末装置10にインストールされている。もちろん、対話相手に関するプログラムは、サーバ16等の外部装置にインストールされ、対話相手の機能が、サーバ16等の外部装置から端末装置10に対して提供されてもよい。
上記の対話相手は、例えば人工知能(AI)によって実現される自動応答AIによって構成されている。自動応答AIは、ユーザの発言内容を解析し、その発言内容に対する回答等の返事をユーザに提供する機能を有する。自動応答AIは、いわゆるチャットボット(chatbot)(人工知能を活用した自動会話プログラム)であってもよい。自動応答AIは、人工知能による学習機能を有し、その学習機能によって、人に近い判断を行う能力を有していてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、アンサンブル学習、等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。
自動応答AIを利用することで、ユーザが自動応答AIと対話しながら、各機器が有する機能の通知や、複数の機能を利用して実行可能な連携機能の通知等が行われる。なお、各機器が有する機能や連携機能の特定処理は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。以下では、端末装置10によって上記の特定処理が行われるものとする。
以下、図2を参照して、端末装置10の構成について詳しく説明する。
通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部18は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部18は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi−Fi(登録商標)通信、近接無線通信(例えばNFC(Near Field Communication)等)、等である。近接無線通信としては、Felica(登録商標)、Bluetooth(ブルートゥース)(登録商標)、RFID(Radio Frequency Identifier)等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部18は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
UI部20はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。また、UI部20は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置10に入力されてもよいし、音声によって情報が発せられてもよい。
UI部20の表示部には、例えば、カメラによって撮影された画像や、利用対象の機器(例えば、単独で利用される機器や連携対象の機器)として識別された機器に紐付く画像、機能に紐付く画像、等が表示されてもよい。機器に紐付く画像は、カメラによって撮影された当該機器を表す画像(静止画像又は動画像)であってもよいし、当該機器を模式的に表す画像(例えばアイコン)であってもよい。模式的に表す画像のデータは、例えば、端末装置10の制御部26によって作成されてもよいし、端末装置10の記憶部24に予め記憶されていてもよいし、サーバ16に記憶されてサーバ16から端末装置10に提供されてもよいし、別の装置に記憶されて当該別の装置から端末装置10に提供されてもよい。機能に紐付く画像は、例えば、その機能を表すアイコン等の画像である。
撮影手段としてのカメラ22は、撮影対象を撮影することで画像データ(例えば静止画像データや動画像データ)を生成する。画像は例えばUI部20の表示部に表示される。表示部に表示された画像がユーザによって操作されてもよい。なお、外部のカメラによって撮影された画像データが、通信経路を介して端末装置10に送られ、その画像がUI部20の表示部に表示されてもよい。この場合も、その画像がユーザによって操作されてもよい。
記憶部24はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部24には、例えば、機器機能管理情報、連携機能管理情報、各種のデータ、各種のプログラム(例えば、OS(Operating System)、自動応答AIを実現するためのプログラム(ソフトウェア)、各種のアプリケーションプログラム(アプリケーションソフトウェア)等)、各機器のアドレスを示す情報(機器アドレス情報)、サーバ16のアドレスを示す情報(サーバアドレス情報)、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。なお、自動応答AIを実現するためのプログラムはサーバ16等の外部装置に記憶され、そのプログラム自体が外部装置によって実行されることで、自動応答AIの機能が外部装置から端末装置10に提供されてもよい。この場合、自動応答AIを実現するためのプログラムは記憶部24に記憶されていなくてもよい。
以下、機器機能管理情報と連携機能管理情報について説明する。
機器機能管理情報は、各機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報(機器識別情報)と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ID、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報(例えば資産管理番号等)、機器が設置されている位置を示す情報(機器の位置情報)、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、例えば機器を表す外観画像である。外観画像は、機器の外側(例えば機器の筐体)を表す画像であってもよいし、筐体を開けて内部が外から見える状態(例えば内部構造)を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器を撮影することで生成された画像(機器の外側を表す画像や内部を表す画像等)であってもよいし、機器を模した画像(例えばアイコン等)であってもよい。機能情報は、例えば、機能IDや機能名称等である。例えば、機器12が画像形成装置であって、その画像形成装置が、プリント機能、スキャン機能及びコピー機能を有する場合、当該画像形成装置のデバイス識別情報には、一例として、プリント機能を示す機能情報、スキャン機能を示す機能情報、及び、コピー機能を示す機能情報が対応付けられている。機器機能管理情報を参照することで、各機器が有する機能が特定(識別)される。
機器機能管理情報によって管理されている機器は、例えば機器システムに含まれる機器(例えば機器12,14)である。もちろん、機器システムに含まれない機器が機器機能管理情報によって管理されてもよい。例えば、端末装置10は、機器システムに含まれていない新たな機器に関する情報(デバイス識別情報と機能情報とを含む情報)を取得し、機器機能管理情報に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、端末装置10は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。もちろん、端末装置10自体が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行せずに、サーバ16等の外部装置が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行してもよい。この場合、外部装置によって生成や更新された機器機能管理情報が、外部装置から端末装置10に送信されて記憶部24に記憶される。
連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、1又は複数の連携機能が実行される。連携機能は、例えば、1つの機器(例えば機器12)が有する複数の機能を連携させることによって実行可能な機能であってもよいし、複数の機器(例えば機器12,14)が有する複数の機能を連携させることによって実行可能な機能であってもよい。また、操作指示を出している端末装置10も連携対象の機器として利用され、端末装置10が有する機能も連携機能の一部として利用されてもよい。
連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。
連携機能管理情報は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能IDや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報から削除され、又は、使用不可な情報として登録される。連携機能管理情報の更新は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。外部装置によって連携機能管理情報の更新が実行された場合、更新された連携機能管理情報が外部装置から端末装置10に送信されて記憶部24に記憶される。
複数の機器を連携させる場合、例えば、連携機能管理情報は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。また、複数のアウトプット機能を有する機器(ユーザに対してアウトプットを出力する機器であって複数のアウトプット機能を有する機器)とアウトプット機能を有していないセンシング機器(ユーザに対してアウトプットを出力しない機器)とを連携させる場合、連携機能管理情報には、特定のセンシング機器と当該複数のアウトプット機能の中の特定のアウトプット機能との組み合わせを示す情報が含まれてもよい。こうすることで、複数のアウトプット機能の中から、特定のセンシング機器と組み合わせて使用されるアウトプット機能が特定される。上記のように、機器機能管理情報が更新された場合、その更新に伴って、連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。
連携機能は、互いに異なる複数の機能を連携させることによって実行可能な機能であってもよいし、同一の機能を連携させることによって実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)を連携させることで、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることでコピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。
連携機能の概念の範疇には、複数の機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能(電話を介した会話が翻訳される機能)が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や機能を連携させることで実現可能となる機能が含まれる。
制御部26は、端末装置10の各部の動作を制御する。制御部26は、例えば、通信部18による通信の制御、UI部20の表示部への情報の表示の制御、等を行う。また、制御部26は特定部28を含む。
特定部28は、ユーザによって指定された機器が有する機能や、ユーザによって指定された複数の機器を利用して実行可能な連携機能を特定する機能を有する。特定部28は、例えば自動応答AIによって実現される。もちろん、特定部28は、自動応答AIによって実現されずに、他のプログラム等によって実現されてもよい。
例えば、特定部28は、ユーザによって指定された機器を識別するためのデバイス識別情報を受け、記憶部24に記憶されている機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、機器が有する機能が特定(識別)される。
制御部26は、特定部28によって特定された機能に関する情報(例えば、機能情報や機能の説明情報等)の通知(案内)の制御を行う。制御部26は、その通知として、その機能に関する情報をUI部20の表示部に表示させてもよいし、スピーカ等を用いることで、その機能に関する情報を音声情報として発してもよい。また、制御部26は、その機能の実行を制御してもよい。また、ユーザによる機器の指定は、UI部20の表示部の画面上で行われてもよいし、音声によって行われてもよい。例えば、機器に紐付く画像がUI部20の画面に表示されている場合において、ユーザが、その画面上で画像を指定することで機器を指定してもよい。別の例として、機器に紐付く画像がUI部20の画面に表示されているか否かに関わらず、ユーザが音声によって機器を指定してもよい。例えば、ユーザが機器名を音声によって発した場合、その音声はマイク等の集音部によって集音され、機器名を示す音声情報が端末装置10に入力される。特定部28は、その機器名を有する機器がユーザによって指定されたと判断して機能を特定する。このように、機器を指定するための操作と機能の通知は、画面上の表示によって行われてもよいし、音声によって行われてもよい。画面上の表示と音声とを組み合わせてもよい。例えば、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が画面に表示されてもよい。別の例として、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が音声によって発せられてもよい。更に別の例として、機器名が音声情報として端末装置10に入力されることで機器が指定され、機能を示す情報が画面に表示されてもよい。更に別の例として、機器名が音声情報として端末装置10に入力されることで機器が指定され、機能を示す情報が音声によって発せられてもよい。
なお、機能の特定処理はサーバ16によって行われてもよい。この場合、端末装置10からサーバ16にデバイス識別情報が送信され、サーバ16に設けられた特定部28によって、当該デバイス識別情報に対応付けられている機能を示す機能情報が特定される。なお、サーバ16によって特定処理が行われる場合、サーバ16には機器機能管理情報が記憶されている。機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
また、特定部28は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部24に記憶されている連携機能管理情報において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行可能となる連携機能が特定(識別)される。制御部26は、特定された連携機能に関する情報(例えば、連携機能情報や連携機能の説明情報等)の通知(案内)の制御を行う。制御部26は、連携機能に関する情報をUI部20の表示部に表示させてもよいし、音声情報として発してもよい。なお、上記と同様に、連携対象の各機器の指定は、画面上にて行われてもよいし、音声によって行われてもよい。
なお、連携機能の特定処理はサーバ16によって行われてもよい。この場合、端末装置10からサーバ16に複数のデバイス識別情報が送信され、サーバ16に設けられた特定部28によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。なお、サーバ16によって特定処理が行われる場合、サーバ16には連携機能管理情報が記憶されている。連携機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
例えば、1つの機器が指定された場合、当該機器が有する機能が特定され、複数の機器が指定された場合、当該複数の機器を利用して実行可能な連携機能が特定される。
また、特定部28は、連携機能に利用される各機能を示す機能情報を受け、連携機能管理情報において各機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機能を連携させることによって実行可能な連携機能が特定(識別)される。この特定処理もサーバ16によって行われ、その処理の結果がUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
例えば、ユーザが機器の情報を自動応答AIに送ることで、機器が指定される。ユーザの複数の機器の情報を自動応答AIに送った場合、特定部28は、当該複数の機器を連携対象の機器として識別し、当該複数の機器を利用して実行可能な連携機能を特定する。また、ユーザが1つの機器の情報を自動応答AIに送った場合、特定部28は、当該機器を識別し、当該機器が有する機能を特定する。機器の情報は、機器を識別するためのデバイス識別情報であり、例えば、機器に紐付く機器画像や、デバイス識別情報を示す文字情報や音声情報等である。例えば、ユーザが機器に紐付く機器画像を自動応答AIに送った場合や、ユーザが機器のデバイス識別情報を示す文字列を端末装置10にて入力して自動応答AIに与えた場合や、ユーザが音声によって機器のデバイス識別情報を自動応答AIに与えた場合、特定部28(自動応答AIによって実現される特定部28)は、当該機器を識別する。
なお、ユーザ毎に、ユーザによって利用可能な機能(機器が有する単独機能や連携機能)が管理されてもよい。この管理は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報(例えば機能購入履歴情報)が作成されて管理されてもよい。利用可能な機能の管理が端末装置10によって行われる場合、利用可能機能情報は記憶部24に記憶され、その管理がサーバ16等の外部装置によって行われる場合、利用可能機能情報は外部装置に記憶される。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、一概に購入の有無によって機能の利用可能が判断されなくてもよい。機能の購入処理は、例えば、サーバ16等の外部装置によって行われる。
利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報(連携機能情報を含んでいてもよい)と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザIDや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することで、各ユーザが利用可能な機能が特定(識別)される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に(例えば、ユーザに無償又は有償で機能が提供される度に)更新されてもよい。
ユーザによって利用可能な機能が管理されている場合、特定部28は、ユーザを識別するためのユーザ識別情報を受け、利用可能機能管理情報(例えば、端末装置10やサーバ16に記憶されている情報)において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能が特定(識別)される。制御部26は、特定された機能に関する情報をUI部20の表示部に表示させてもよいし、音声情報として発してもよい。例えば、特定部28は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、更に、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。
なお、ユーザによって利用可能な機能はサーバ16等の外部装置によって特定されてもよい。この場合、端末装置10からサーバ16にユーザ識別情報が送信され、サーバ16に設けられた特定部28によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。サーバ16によって特定処理が行われる場合、利用可能機能情報はサーバ16に記憶されている。ユーザによって利用可能な各機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
以下、図3を参照して、機器12の構成について詳しく説明する。一例として、機器12は画像形成装置であるものとする。以下では、機器12を画像形成装置12と称する場合がある。図3には、画像形成装置12の構成が示されている。
通信部30は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部30は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部30は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi−Fi通信、近接無線通信等である。通信部30は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。
画像形成部32は画像形成機能を有する。具体的には、画像形成部32は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能(転送機能)とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成され、そのスキャンデータが送信先(例えば端末装置10等の外部装置)に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。
記憶部34はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部34には、例えば、画像形成の命令を示す情報(例えばジョブ情報等)、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、端末装置10のアドレスを示す情報(端末アドレス情報)、サーバ16のサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
UI部36はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。なお、画像形成装置12はUI部36を有していなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部(ハードウェアUI部)を備えていてもよい。ハードウェアUI部は、例えば、数字入力に特化したハードウェアキー(例えばテンキー)、方向の指示に特化したハードウェアキー(例えば方向指示キー)、等である。
制御部38は、画像形成装置12の各部の動作を制御する。
以下、図4を参照して、サーバ16の構成について詳しく説明する。図4には、サーバ16の構成が示されている。
通信部40は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部40は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。
記憶部42はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部42には、例えば、各種のデータ、各種のプログラム、端末装置10の端末アドレス情報、各機器の機器アドレス情報、サーバ16のサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
サーバ16によって各機器が有する機能と連携機能が管理される場合、上記の機器機能管理情報と連携機能管理情報が記憶部42に記憶され、サーバ16において、機器機能管理情報と連携機能管理情報が更新されてもよい。この場合において、端末装置10によって機能の特定処理が行われる場合、機器機能管理情報と連携機能管理情報(情報が更新された場合は更新後の情報)がサーバ16から端末装置10に送信される。その送信は、定期的に又は指定されたタイミングで行われてもよい。これにより、端末装置10に記憶されている情報が更新される。もちろん、端末装置10の特定部28は、サーバ16に記憶されている機器機能管理情報や連携機能管理情報を参照することで、機器が有する機能や連携機能を特定してもよい。また、サーバ16によって機能の特定処理が実行されてもよい。
制御部44は、サーバ16の各部の動作を制御する。制御部44は、例えば、通信部40による通信を制御する。
制御部44は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部44は、当該ユーザに対して課金処理を適用してもよい。
また、制御部44は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部44は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部44は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置12から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行してもよい。制御部44は、画像データを端末装置10から受信し、当該画像データを対象として各機能を実行してもよい。制御部44によって生成された文字データや画像データは、例えば、サーバ16から端末装置10に送信される。サーバ16は外部装置として利用され、連携機能は、サーバ16を含む複数の機器が有する機能を利用する機能であってもよい。
上述したように、機器機能管理情報は、サーバ16の記憶部42に記憶されていてもよい。この場合、機器機能管理情報は、端末装置10の記憶部24に記憶されていなくてもよい。同様に、連携機能管理情報は、サーバ16の記憶部42に記憶されていてもよい。この場合、連携機能管理情報は、端末装置10の記憶部24に記憶されていなくてもよい。サーバ16の制御部44は、上述した特定部28を有し、デバイス識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用して実行可能な連携機能を特定してもよい。この場合、端末装置10は特定部28を有していなくてもよい。
利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、サーバ16の記憶部42に記憶されていてもよい。この場合、利用可能機能管理情報は、端末装置10の記憶部24に記憶されていなくてもよい。端末装置10の制御部26は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ16の制御部44は、その管理機能を有していなくてもよい。
更に別の例として、機器12,14等の機器に、機器機能管理情報や連携機能管理情報が記憶されていてもよいし、機器12,14等の機器が特定部28を有していてもよい。つまり、特定部28による処理は、端末装置10において行われてもよいし、機器12,14等の機器において行われてよいし、サーバ16において行われてもよいし、更に別の装置において行われてもよい。
第1実施形態では、一例として、AR(Augmented Reality)技術(拡張現実技術)を適用することで、デバイス識別情報が取得されて機器が識別される。例えば、AR技術を適用することで、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。AR技術として公知のAR技術が用いられる。例えば、2次元バーコード等のマーカを用いるマーカ型AR技術、画像認識技術を用いるマーカレス型AR技術、位置情報を用いる位置情報AR技術、等が用いられる。もちろん、AR技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、IPアドレスに基づいて機器が識別されてもよいし、機器IDが読み出されて機器が識別されてもよい。更に、赤外線通信、可視光通信、Wi−Fi、ブルートゥースといった各種無線通信機能を有する機器や端末装置が用いられる場合、無線通信機能を利用することで機器のIDが取得されて機器が識別されてもよい。
以下、図5を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、画像形成装置12のデバイス識別情報を取得する場合について説明する。図5には、画像形成装置12の外観が模式的に示されている。ここでは、マーカ型AR技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置12の筐体には、2次元バーコード等のマーカ46が設けられている。マーカ46は、画像形成装置12のデバイス識別情報がコード化された情報である。ユーザは端末装置10のカメラ22を起動させ、利用対象の画像形成装置12に設けられているマーカ46をカメラ22によって撮影する。これにより、マーカ46を表す画像データが生成される。端末装置10の制御部26は、当該画像データに表されたマーカ画像に対してデコード処理を適用することでデバイス識別情報を抽出する。これにより、利用対象の画像形成装置12(撮影されたマーカ46を有する画像形成装置12)が識別される。端末装置10の特定部28は、機器機能管理情報において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置12が有する機能が特定(識別)される。
なお、サーバ16の制御部44が、マーカ46を表す画像データにデコード処理を適用することで、デバイス識別情報を抽出してもよい。この場合、画像データが端末装置10からサーバ16に送信され、サーバ16において当該画像データに対してデコード処理が適用される。サーバ16に特定部28が設けられている場合、サーバ16において、デバイス識別情報に対応付けられている機能が特定されてもよい。
マーカ46は、画像形成装置12が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ46を表す画像データにデコード処理を適用することで、当該画像形成装置12のデバイス識別情報が抽出されると共に、当該画像形成装置12が有する機能を示す機能情報も抽出される。これにより、画像形成装置12が特定(識別)されると共に、当該画像形成装置12が有する機能が特定(識別)される。このデコード処理は、端末装置10によって行われてもよいし、サーバ16によって行われてもよい。
また、複数の機器のそれぞれのマーカを撮影することで、各機器のデバイス識別情報が取得される。
マーカレス型AR技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置10のカメラ22によって、利用対象の機器(例えば画像形成装置12)の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称(例えば商品名)や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。端末装置10の制御部26が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、端末装置10の記憶部24には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部26は、例えば、外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部26は、外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器(カメラ22によって撮影された機器)が識別される。別の例として、機器の名称(例えば商品名)や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器が識別されてもよい。端末装置10の特定部28は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置12)が有する機能が特定される。
なお、サーバ16の制御部44が、利用対象の機器(例えば画像形成装置12)の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定してもよい。外観画像対応付け情報は、サーバ16の記憶部42に記憶されている。この場合、サーバ16の制御部44は、外観画像対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。
複数の機器のそれぞれの外観の全部又は一部を撮影することで、各機器のデバイス識別情報が取得される。
位置情報AR技術を適用してデバイス識別情報を取得する場合、例えば、GPS(Global Positioning System)機能を利用することで、機器(例えば画像形成装置12)が設置されている位置を示す位置情報が取得される。例えば、各機器がGPS機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置10は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。端末装置10の制御部26は、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、端末装置10の記憶部24には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部26は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定(識別)される。端末装置10の特定部28は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置12)が有する機能が特定(識別)される。
なお、サーバ16の制御部44が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。位置対応付け情報は、サーバ16の記憶部42に記憶されている。この場合、サーバ16の制御部44は、位置対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。
複数の機器のそれぞれのデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。
なお、複数の識別技術を用いて機器を識別してもよい。例えば、マーカ型AR技術、マーカレス型AR技術、及び、位置情報AR技術の中から選択された複数の技術を用いて機器を識別してもよい。また、ある識別技術によって機器を識別できなかった場合に、他の識別技術を用いて機器を識別してもよい。例えば、マーカ型AR技術やマーカレス型AR技術によって機器を識別できなかった場合、位置情報AR技術を用いて機器を識別してもよい。
以下、第1実施形態に係る機器システムについて更に詳しく説明する。
図6を参照して、機器機能管理情報について詳しく説明する。図6には、機器機能管理情報としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器が有する機能を示す情報(機能情報)と、画像IDと、が互いに対応付けられている。機器IDと機器名はデバイス識別情報の一例に相当する。画像IDは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像IDは含まれていなくてもよい。例えば、機器IDが「B」の機器は、複合機(複数の画像形成機能を有する画像形成装置)であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器に紐付く機器画像を識別するための画像IDが対応付けられている。機器に紐付く機器画像のデータは、例えば、端末装置10に記憶されていてもよいし、サーバ16に記憶されていてもよいし、他の装置に記憶されていてもよい。
例えば、AR技術を適用することで、利用対象の機器を識別するための機器IDが取得される。端末装置10の特定部28は、機器機能管理テーブルを参照することで、その機器IDに対応付けられている機器名、機能及び画像IDを特定する。これにより、利用対象の機器が識別される。機器名を示す情報や機器画像がUI部20の表示部に表示されてもよい。もちろん、カメラ22によって撮影された画像そのものがUI部20の表示部に表示されてもよい。また、UI部20において、機器に紐付く機器画像(例えば、カメラ22によって撮影された画像や、機器を模式的に表す画像)がユーザによって指定された場合、その機器が有する機能に関する情報(例えば、機能情報や機能の説明情報等)が、UI部20の表示部に表示されてもよい。
以下、図7を参照して、連携機能管理情報について詳しく説明する。図7には、連携機能管理情報としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせと、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、が互いに対応付けられている。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機(B)を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機(B)によるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機(B)に送信して複合機(B)にて印刷する機能である。なお、3個以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、3個以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、端末装置10の動作について具体例を挙げて詳しく説明する。
図8には、端末装置10に表示される画面の一例が示されている。端末装置10の制御部26は、UI部20の表示部に画面48を表示させ、その画面48に各種の情報を表示させる。画面48は、ユーザが自動応答AIと対話するためのインターフェース(対話応答画面)である。画面48には、ユーザが端末装置10に入力した情報(例えば文字列や画像等)と、自動応答AIの発言内容を示す情報(例えば文字列や画像等)が表示される。ユーザと自動応答AIとの間の対話は、いわゆるチャット形式の対話(つまりリアルタイム形式の対話、更に換言すると、ユーザと自動応答AIが互いに発言しながら対話が進む形式)であってもよい。例えば、自動応答AIと対話するためのプログラム(例えばチャット用プログラム)が実行されることで、その対話のための画面48(対話応答画面)がUI部20の表示部に表示される。
画面48には対話者毎の表示エリアが設けられ、各対話者の発言内容は、自身用の表示エリア内に表示されてもよい。例えば、表示エリア48aは、自動応答AIの発言内容が表示されるエリアであり、表示エリア48bは、ユーザの発言内容(ユーザが端末装置10に入力した情報)が表示されるエリアである。図8に示す例では、画面48に向かって左側に自動応答AI用の表示エリア48aが設けられており、右側にユーザ用の表示エリア48bが設けられている。もちろん、この表示例は一例に過ぎず、表示エリアの配置関係は逆であってよいし、上下方向に各表示エリアが設けられてもよいし、各表示エリアの全部又は一部が重なり合ってもよいし、画面48の特定エリア(例えば中央のエリア)に最新の発言内容が表示され、その周囲に過去の発言内容が表示されてもよい。また、各表示エリアは、互いに同じ大きさを有していてもよいし、互いに異なる大きさを有していてもよいし、一回の発言内容の量や発言回数に応じて拡大又は縮小されてもよい。表示エリアの設定や大きさの制御は、制御部26によって行われる。
図8に示す例では、対話者は、1人のユーザと1つの自動応答AIのみであるが、複数のユーザや複数の自動応答AIが対話に参加してもよい。この場合、画面48において各対話者用の表示エリアが設けられてもよい。例えば、2人のユーザと1つの自動応答AIが対話に参加している場合、画面48に3つの表示エリアが設けられて、各対話者の発言内容が自身の表示エリア内に表示される。例えば、複数の端末装置10の間で通信を行うことで、複数のユーザの間で画面48を介した対話が行われる場合、当該複数のユーザの発言内容が画面48に表示される。複数の自動応答AIが対話に参加する場合も同様である。複数の自動応答AIに関するプログラムが同一の端末装置10にインストールされて、当該複数の自動応答AIが当該同一の端末装置10に格納されていてもよいし、当該複数の自動応答AIのそれぞれに関するプログラムが別々の端末装置10にインストールされて、各自動応答AIが別々の端末装置10に格納されていてもよい。例えば、画面48には、自装置である端末装置10に格納されている自動応答AIの発言内容が表示され、更に、別の端末装置10に格納されている自動応答AIの発言内容が表示される。別の端末装置10に格納されている自動応答AIは、例えば通信経路Nを介して対話に参加する。
例えば、チャット用プログラムが起動すると、端末装置10の制御部26は、UI部20の表示部に画面48を表示させる。自動応答AI用の表示エリア48aには、自動応答AIに紐付く画像50が表示され、ユーザ用の表示エリア48bには、ユーザに紐付く画像52が表示される。画像50は自動応答AIを識別するための画像であり、画像52はユーザを識別するための画像である。なお、画像50に代えて又は画像50と共に、自動応答AIを示す文字列(自動応答AIを識別するための文字列)が表示されてもよい。同様に、画像52に代えて又は画像52と共に、ユーザを示す文字列(例えば氏名、ユーザID、ハンドルネーム、ニックネーム等のようにユーザを識別するための文字列)が表示されてもよい。
以降、ユーザと自動応答AIとの間で対話が行われる。その対話において、ユーザの発言内容は、ユーザがUI部20を操作して文字列や画像等の情報を入力することで端末装置10に入力されてもよいし、音声によって入力されてもよい。また、ユーザの発言内容は、文字列や画像等の情報として画面48に表示されてもよいし、表示されなくてもよい。同様に、自動応答AIの発言内容は、文字列や画像等の情報として画面48に表示されてもよいし、表示されずに又は表示されると共に音声として発せられてもよい。以下では、一例として、各対話者の発言内容が画面48に表示されるものとして説明するが、その発言内容は音声によって発せられてもよい。
なお、画面48上で対話が進むと、画面48がスクロールし、画面48に表示しきれない過去の発言内容は画面48から消え、最新の発言内容や、その直近の発言内容が画面48に表示される。
チャット用プログラムが起動すると、まず、自動応答AIが「どうしましたか?」といった一般的な質問(ユーザの要求を問う質問)を発し、その質問を示す文字列が自動応答AIの発言内容として画面48に表示される(図8には図示されていない)。もちろん、文字列に代えて又は文字列と共に、自動応答AIの発言内容が音声として発せられてもよい。その発言内容は自動応答AIの発言内容であるため、制御部26は、その発言内容を自動応答AIの画像50に紐付く発言内容として表示エリア48a内に表示させる。以下の対話においても同様である。
次に、ユーザが、「連携機能を実行したい」等と発言して連携機能を要求すると、その要求を示す文字列がユーザの発言内容として画面48に表示される(図8には図示されていない)。例えば、ユーザが、画面48を操作して文字列を入力することで、発言内容を示す情報を端末装置10に入力してもよいし、発言内容を示す情報を音声によって端末装置10に入力してもよい。その発言内容はユーザの発言内容であるため、制御部26は、その発言内容をユーザの画像52に紐付く発言内容として表示エリア48b内に表示させる。以下の対話においても同様である。
自動応答AIは、ユーザの発言内容を解析することでユーザの要求を識別し、その要求に対する回答等の返事を作成する。制御部26は、その返事を示す文字列を自動応答AIの発言内容54として表示エリア48a内に表示させる。例えば、「どの機器を利用したいですか?」といった発言内容54が自動応答AIの発言内容として表示エリア48aに表示される。なお、自動応答AIは、インターネット等を利用して情報を検索し、その検索結果を解析してもよいし、機器12,14に関する情報を取得し、その情報を解析してもよい。自動応答AIは、その解析結果を返事に反映させてもよい。また、自動応答AIは、ユーザによる各種アプリケーションの利用履歴、ユーザによる端末装置10の操作履歴、ユーザによる機器12,14の利用履歴、等を管理してもよい。また、自動応答AIは、他の装置に格納されている自動応答AIとの間で通信を行うことで、他の自動応答AIから情報を取得してもよい。自動応答AIは、自身が管理している情報や取得した情報を返事に反映させてもよい。
上記の問い合わせに対して、ユーザが機器を指定すると、特定部28(自動応答AIによって実現される特定部28)は、その機器を連携対象の機器として識別する。例えば図8に示すように、ユーザが、機器に紐付く機器画像56を指定し、その機器画像56をユーザの発言内容が表示される位置に配置することで、制御部26は、その機器画像56をユーザの発言内容として自動応答AIに送る。この操作に応じて、特定部28は、その機器画像56に紐付く機器を連携対象の機器として識別する。図8に示す例では、ユーザが機器画像56を表示エリア48bに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、UI部20を操作することで、機器を示す文字列をユーザの発言内容として端末装置10に入力してもよい。この場合、特定部28は、その文字列が示す機器を連携対象の機器として識別する。また、音声によって連携対象の機器の情報がユーザの発言内容として端末装置10に入力されてもよい。なお、ユーザは、個々の機器を指定せずに、機器の種類を指定してもよい。この場合、その機器の種類が連携対象の機器の種類として識別される。例えば、ユーザは、複合機Bという機器そのものを指定してもよいし、複合機という種類を指定してもよい。
機器画像56は、機器としての複合機B(画像形成装置)に紐付く画像である。複合機Bは、上記のAR技術(マーカ型AR技術、マーカレス型AR技術、位置情報AR技術)や他の識別技術を利用することで、特定部28によって識別された機器である。もちろん、機器画像56は、複合機B自体に紐付く画像ではなく、複合機という種類に紐付く画像であってもよい。
例えば、制御部26は、ユーザ用の表示エリア48b内にストックエリア58を表示させ、そのストックエリア58内に機器画像を表示させる。ストックエリア58は、1又は複数の連携対象の候補の情報が表示されるエリアであり、図8に示す例では、候補の情報の一例として機器画像が表示されている。例えば、制御部26は、そのストックエリア58内に、既に識別されている機器に紐付く機器画像を表示させる。図8に示す例では、そのストックエリア58内に、機器画像56,60,62が表示されている。機器画像60は、機器としてのPC(A)に紐付く画像である。機器画像62は、機器としてのプロジェクタCに紐付く画像である。このように機器が識別された場合、制御部26は、機器に紐付く機器画像をストックエリア58内に表示させる。もちろん、制御部26は、機器そのものに紐付かず機器の種類に紐付く機器画像をストックエリア58内に表示させてもよい。例えば、制御部26は、複合機B自体に紐付かず複合機という種類に紐付く機器画像56、PC(A)自体に紐付かずPCという種類に紐付く機器画像60、及び、プロジェクタC自体に紐付かずプロジェクタという種類に紐付く機器画像62を、ストックエリア58内に表示させてもよい。
例えば、一度識別された機器に関する情報は記憶部24に記憶され、その後、改めて当該機器に対する識別処理が行われなくても、当該機器に紐付く機器画像がストックエリア58内に表示される。もちろん、識別された機器に関する情報は、ユーザの操作によって記憶部24から削除されてもよい。この場合、その機器に紐付く機器画像も削除される。別の例として、識別された機器を利用して連携機能が実行された後や、機器が識別された時点から予め定められた時間が経過した後に、その識別された機器に関する情報が記憶部24から削除されてもよい。
機器画像56は、複合機Bをカメラ22によって撮影することで生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)であってもよいし、複合機Bに紐付く模式的な画像(例えばアイコン)であってもよい。機器画像60についても同様に、PC(A)を撮影することで生成された画像であってもよいし、PC(A)に紐付く模式的な画像であってもよい。機器画像62についても同様である。
模式的な画像が用いられる場合、特定部28は、図6に示されている機器機能管理テーブルを参照することで、識別された機器に紐付く模式的な画像を特定する。その模式的な画像は機器画像として表示される。模式的な画像のデータは端末装置10に記憶されていてもよいし、サーバ16等の外部装置に記憶されていてもよい。
なお、機器を撮影することで生成された画像データを利用する場合、現在の機器そのものの外観(例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観)が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。また、機器自体に紐付く機器画像(例えば、撮影で得られた画像や、機器そのものに紐付くアイコン等)は、当該機器の固有の画像であるため、その機器画像を自動応答AIに送ることで、自動応答AIは、当該機器そのものを連携対象の機器として識別することができる。一方、機器画像が機器自体に紐付かず機器の種類に紐付く画像である場合、自動応答AIは、その機器画像から機器の種類を識別することができるが、個々の機器自体を識別することができない。例えば、機器画像56が複合機Bに紐付く画像である場合、自動応答AIは、その機器画像56から複合機Bそのものを連携対象の機器として識別することができる。一方、機器画像56が複合機という種類に紐付く画像である場合、自動応答AIは、その機器画像56から複合機という種類を連携対象の機器の種類として識別することになる。以下では、各機器画像は、個々の機器自体に紐付く画像であるとして説明する。つまり、機器画像56は、複合機B自体に紐付く画像であり、機器画像60はPC(A)自体に紐付く画像であり、機器画像62はプロジェクタC自体に紐付く画像であるものとする。
また、機器が識別された場合、その機器の名称を示す情報が画面48に表示されてもよい。例えば、機器画像56と共に、文字列「複合機B」が表示されてもよい。
また、ストックエリア58内に表示しきれない他の機器画像が存在する場合、矢印64で示すように、ユーザが、ストックエリア58内に表示されている機器画像をスクロール操作することで、当該他の機器画像がストックエリア58内に表示される。
ユーザは、矢印66で示すように、ストックエリア58から連携対象の機器に紐付く画像(図8に示す例では機器画像56)を選択してストックエリア58の外側に移動させ、その機器画像56をユーザの発言内容として自動応答AIに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリア58からユーザの発言内容が表示される位置まで機器画像56を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部26は、機器画像56をユーザの発言内容として自動応答AIに送る。
また、図8に示す例では、機器画像56に続き、ユーザは、ストックエリア58から機器画像60を選択し、その機器画像60をユーザの発言内容の表示位置まで移動させている。この操作によって、その機器画像60がユーザの発言内容として自動応答AIに送られる。
ユーザが画面48上で複数の機器の情報を自動応答AIに送った場合、つまり、複数の機器の情報を連携対象の機器の情報として発言した場合、特定部28は、図7に示されている連携機能管理テーブルにおいて、当該複数の機器に対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を、自動応答AIの発言内容として表示エリア48a内に表示させる。
上記の例では、機器画像56,60が連携対象の機器の情報として自動応答AIに送られている。この場合、特定部28は、機器画像56に紐付く複合機Bと機器画像60に紐付くPC(A)を連携対象の機器として識別する。なお、先に機器画像56を自動応答AIに送り、その後に機器画像60を自動応答AIに送ってもよいし、先に機器画像60を自動応答AIに送り、その後に機器画像56を自動応答AIに送ってもよい。
例えば、ユーザが画面48上で画像(上記の例では機器画像56,60)を指示子(例えばユーザの指、ペン、スタイラス等)によってストックエリア58から選択して取り出すことで、その画像がユーザの発言内容に含まれて自動応答AIに送られる。例えば、ドラッグ&ドロップ操作によって、機器画像がストックエリア58からユーザの発言内容の表示位置まで移動させられ、これにより、機器画像がユーザの発言内容として自動応答AIに送られる。制御部26は、画面48への指示子の接触を検知し、画面48上での指示子の移動を検知する。
上記のように、機器画像56,60が自動応答AIに送られて複合機BとPC(A)が連携対象の機器として識別された場合、制御部26は、連携対象の機器として識別された機器の情報を自動応答AIの発言内容68として表示エリア48a内に表示させる。この発言内容68に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容70を発した場合)、PC(A)と複合機Bとを利用して実行可能な連携機能に関する情報が画面48に表示される。
特定部28は、機器画像56,60が連携対象の機器の情報として自動応答AIに送られたタイミングで、又は、発言内容68に対してユーザが承認したタイミングで、図7に示されている連携機能管理テーブルにおいて、PC(A)と複合機Bとの組み合わせに対応付けられている連携機能(例えば、「スキャン転送機能」と「プリント機能」)を特定する。これにより、PC(A)と複合機Bとを利用して実行可能な連携機能が特定される。「スキャン転送機能」は、複合機Bによるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に記憶されている画像データを複合機Bに転送して複合機Bにて印刷する機能である。このようにして特定された連携機能に関する情報は、自動応答AIの発言内容として画面48に表示される。なお、機器や連携機能の特定処理は、サーバ16によって行われてもよい。
図9には、図8の続きの画面48が示されている。上記のように連携機能が特定された場合、端末装置10の制御部26は、連携機能に関する情報を自動応答AIの発言内容72として表示エリア48a内に表示させる。
その発言内容72に対して、ユーザが発言内容74によって連携機能を指定して実行指示を与えた場合、制御部26(例えば自動応答AIによって実現される制御部26)はその実行指示を受けて、その実行指示を示す情報(実行指示情報)を連携対象の機器に送信する。また、制御部26は、実行指示を受けたことを示す情報を自動応答AIの発言内容76として表示エリア48a内に表示させる。別の例として、連携機能の実行を指示するためのボタン画像が画面48に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。PC(A)と複合機Bが連携対象の機器として選ばれている場合、実行指示情報がPC(A)と複合機Bに送信される。実行指示情報を受けたPC(A)と複合機Bは、その実行指示情報に示されている連携機能(ユーザによって指定された連携機能)を実行する。例えば、連携機能として「プリント機能」の実行指示が与えられた場合、PC(A)は印刷対象の画像データを複合機Bに送信し、複合機Bは、その画像データを記録媒体としての用紙上に印刷する。
なお、ユーザが発言内容74によって連携機能を指定した場合、制御部26(自動応答AI)は、連携機能の実行指示を連携対象の機器に与えずに、連携対象の機器を制御するための画面をUI部20に表示させてもよい。図10には、その画面78が示されている。画面78は、例えば、PC(A)と複合機Bを端末装置10にて制御するための画面(リモートコントロール用の画面)である。画面78には、例えば、連携機能の実行を指示するためのボタン画像(例えば、「スキャン転送画像」の実行を指示するためのボタン画像、「プリント機能」の実行を指示するためのボタン画像)が表示される。ユーザが画面78上にてボタン画像を押した場合、そのボタン画像に紐付く連携機能が実行される。また、画面78上にて、各種パラメータの設定等ができるようにしてもよい。
また、図11には、別のリモートコントロール用の画面が示されている。画面78は、複合機Bを制御するための画面78aと、PC(A)を制御するための画面78bを含む。画面78aには、例えば、複合機Bが有する単独機能の実行を指示するためのボタン画像(例えば、コピー機能の実行を指示するためのボタン画像、プリント機能の実行を指示するためのボタン画像等)が表示されてもよい。また、画面78a上で、複合機Bにて用いられる各種パラメータの設定等ができるようにしてもよい。画面78bには、例えば、PC(A)に格納されているデータ(ファイル)や、格納場所(フォルダ)が表示される。また、画面78b上で、PC(A)にて用いられる各種パラメータの設定等ができるようにしてもよい。また、画面78a,78b上にて、連携機能(例えば、連携機能としての「スキャン転送機能」や「プリント機能」)の設定や実行指示ができるようにしてもよい。
なお、図8中のストックエリア58内に表示されている機器画像がユーザによって編集されてもよいし、その機器画像に紐付く機器に関する情報がユーザによって編集されてもよい。例えば、ユーザがストックエリア58内に表示されている機器画像を指定して編集指示を与えた場合、制御部26は、編集画面をUI部20の表示部に表示させる。制御部26は、例えば、ユーザが機器画像を長押しした場合(例えば機器画像を押している時間の長さが閾値以上となった場合)や、編集画面を表示するためのボタン画像をユーザが押した場合や、ユーザが編集の指示を音声によって端末装置10に入力した場合等に、編集画面をUI部20の表示部に表示させる。その編集画面においては、機器画像の編集が可能であり、例えば、機器画像から機器の部分に紐付く部分画像を切り出すことも可能である。また、機器画像に紐付く機器に関する情報の編集も可能である。
また、制御部26は、端末装置10との間で通信が確立している機器に紐付く機器画像をストックエリア58内に表示させてもよいし、端末装置10に登録されている機器に紐付く機器画像をストックエリア58内に表示させてもよい。
なお、マーカ型AR技術又はマーカレス型AR技術によって各機器が識別される場合、当該各機器は別々に撮影されて識別されてもよいし、一緒に撮影されて識別されてもよい。例えば、カメラ22の撮影領域に複合機Bが含まれる状態で複合機Bが撮影され、次に、カメラ22の撮影領域にPC(A)が含まれる状態でPC(A)が撮影されることで、複合機BとPC(A)が順次識別される。連携対象の各機器が互いに近い位置に配置されて、カメラ22の撮影領域に複合機BとPC(A)の両方が必ずしも一緒に含まれるとは限らない。撮影領域のアングルの変更、撮影領域の拡大や縮小等によって対応可能な場合もあるが、そのような操作では対応しきれない場合もある。この場合、複数回撮影することで、各機器が識別される。
別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、複合機Bが基本連携機器として予め設定されているものとする。基本連携機器のデバイス識別情報は、端末装置10の記憶部24に予め記憶されていてもよい。ユーザがUI部20を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは、基本連携機器以外の連携対象の機器に紐付く機器画像を発言内容として自動応答AIに送る。これにより、連携対象の機器が特定(識別)され、基本連携機器と当該機器とを利用して実行可能な連携機能が特定(識別)される。
以下、連携機能を実行するときの動作について説明する。例えば、連携機能を実行するとき、端末装置10から連携対象の各機器に対して接続要求が送信され、端末装置10と各機器とが接続される。以下、図12を参照して、この接続処理について説明する。図12は、その処理を示すシーケンス図である。
端末装置10において、ユーザによって、連携対象の機器として複合機BとPC(A)が指定された場合(つまり、複合機BとPC(A)の情報がユーザの対話内容として自動応答AIに送られた場合)、端末装置10は、連携対象の機器(複合機BとPC(A))に接続要求を示す情報を送信する(S01)。この送信の制御は、自動応答AIによって行われてもよい。例えば、連携対象の各機器のアドレス情報がサーバ16に記憶されている場合、端末装置10は、各機器のアドレス情報をサーバ16から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置10の制御部26は、各機器のデバイス識別情報からアドレス情報を取得する。アドレス情報の取得処理は、自動応答AIによって行われてもよい。もちろん、端末装置10の記憶部24に各機器のアドレス情報が記憶されていてもよい。端末装置10は、別の手法によって各機器のアドレス情報を取得してもよい。端末装置10は、連携対象の各機器(例えば複合機BとPC(A))のアドレス情報を用いて、連携対象の各機器に接続要求を示す情報を送信する。
接続要求を示す情報を受けた複合機BとPC(A)は、端末装置10との接続の許可又は不許可を判断する(S02)。例えば、複合機BとPC(A)が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置10からの接続が許可された場合、複合機BとPC(A)のそれぞれの固有の設定情報が端末装置10から変更されないように、その変更操作が禁止されてもよい。例えば、複合機Bの色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、複合機BとPC(A)から端末装置10に送信される(S03)。複合機BとPC(A)への接続が許可された場合、端末装置10と複合機Bとの間で通信が確立され、更に、端末装置10とPC(A)との間で通信が確立される。
次に、端末装置10において、ユーザは連携機能(例えば「プリント機能」)の実行を指示する(S04)。端末装置10は、その指示に従って、連携機能の実行指示を示す情報(実行指示情報)を、連携対象の各機器(複合機BとPC(A))に送信する(S05)。この送信の制御は、自動応答AIによって行われてもよい。複合機Bに送信される実行指示情報には、複合機Bにて実行される処理を示す情報(例えばジョブ情報)が含まれ、PC(A)に送信される実行指示情報には、PC(A)にて実行される処理を示す情報(例えばジョブ情報)が含まれる。
実行指示情報を受けた複合機BとPC(A)は、実行指示情報に従って連携機能(例えば「プリント機能」)を実行する(S06)。実行対象の連携機能に、複合機BとPC(A)との間でデータの送受信が行われる処理が含まれている場合、複合機BとPC(A)との間で通信が確立される。例えば、複合機Bに送信される実行指示情報にはPC(A)のアドレス情報が含まれており、PC(A)に送信される実行指示情報には複合機Bのアドレス情報が含まれている。それらのアドレス情報を用いて、複合機BとPC(A)との間で通信が確立される。その通信が確立された後、PC(A)は、印刷対象の画像データを複合機Bに送信し、複合機Bは、その画像データを記録媒体としての用紙上に印刷する。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、複合機BとPC(A)から端末装置10に送信される(S07)。端末装置10のUI部20には、連携機能の実行が完了したことを示す情報が表示される(S08)。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置10の制御部26は、エラーを示す情報をUI部20に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、複合機BとPC(A)に送信してもよい。
次に、ユーザは、複合機BとPC(A)の連携状態を解除するか否かを確認し(S09)、解除の有無に応じた処理が実行される(S10)。連携状態を解除する場合、ユーザは、端末装置10を利用して解除の指示を与える。これにより、端末装置10と複合機Bとの間の通信が解除され、更に、端末装置10とPC(A)との間の通信が解除される。同様に、複合機BとPC(A)との間の通信も解除される。連携状態を解除しない場合、継続して実行指示が与えられてもよい。
また、連携対象の機器を増やしてもよい。例えば3台目の機器に紐付く画像が対話内容として自動応答AIに送られ、複合機BとPC(A)とを含む3台の機器を連携させてもよい。なお、複合機BとPC(A)が既に連携対象の機器として識別されていることを示す情報は、端末装置10やサーバ16に記憶される。
連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報は、端末装置10やサーバ16等に記憶されてもよい。例えば、端末装置10を利用するユーザのユーザアカウント情報(ユーザ識別情報)が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置10やサーバ16等に記憶されてもよい。履歴情報は、端末装置10によって作成されてもよいし、サーバ16によって作成されてもよい。履歴情報を参照することで、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器(例えば複合機BとPC(A))は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置10を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することで、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、端末装置10やサーバ16に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置10の記憶部24に予め記憶されており、端末装置10の制御部26は、ユーザ識別手段の一例として機能し、記憶部24からユーザのユーザアカウント情報を読み込んで、端末装置10を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部24に記憶されている場合、ユーザは端末装置10を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置10の制御部26は、端末装置10にログインしているユーザのユーザアカウント情報を読み込むことでユーザを識別してもよい。更に別の例として、同一の端末装置10に、1つのユーザアカウント情報のみが記憶されている場合、端末装置10の制御部26は、そのユーザアカウント情報を読み込むことでユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザが識別されている場合、ユーザ自身を表す画像(例えば、ユーザ自身の写真(例えば顔写真等))や、ユーザ自身の画像ではないがユーザに紐付くアイコン等が、図8中のユーザに紐付く画像52として表示されてもよい。また、識別されたユーザの氏名、ユーザID、ハンドルネーム、ニックネーム等のユーザ識別情報が文字列として画面48に表示されてもよい。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカウント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置10のUI部20に表示されてもよい。その利用履歴を示す情報は、端末装置10に記憶されていてもよいし、サーバ16に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
以上のように第1実施形態によれば、自動応答AIと対話するための画面48上で、連携対象となる機器の情報をユーザの対話内容として自動応答AIに送ることで、連携機能に関する情報が提供される。このように、自動応答AIとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、3個以上の機器画像が対話内容として自動応答AIに送られた場合、3個以上の機器を利用して実行可能な連携機能に関する情報が提供される。
また、特定部28は、予め定められた制限時間内に複数の機器の情報がユーザの発言内容として自動応答AIに送られた場合、当該複数の機器を利用して実行可能な連携機能を特定し、当該制限時間内に1つの機器の情報がユーザの発言内容として自動応答AIに送られた場合、当該機器が有する機能(単独機能)を特定してもよい。この場合、特定部28によって特定された連携機能又は単独機能に関する情報がUI部20の表示部に表示される。制限時間の開始時点は、例えば、発言内容54のように、自動応答AIがユーザに連携対象の機器を問い合わせた時点であってもよいし、発言内容54が発生した後に、ユーザが最初の機器画像を自動応答AIに送った時点であってもよい。
例えば図8に示す例において、発言内容54のように自動応答AIがユーザに連携対象の機器を問い合わせた時点から制限時間内に、ユーザが機器画像56のみを発言内容として自動応答AIに送った場合、特定部28は、図6に示されている機器機能管理テーブルにおいて、複合機Bに対応付けられている機能(単独機能)を特定する。制御部26は、その単独機能に関する情報を自動応答AIの発言内容として表示エリア48aに表示させる。この場合、図10に示されている処理と同様に、複合機Bに対して接続要求を示す情報が送信され、接続が許可された場合、ユーザによって指定された単独機能が複合機Bによって実行される。
一方、ユーザが、発言内容54のように自動応答AIがユーザに連携機能の機器を問い合わせた時点から制限時間内に、ユーザが機器画像56,60を発言内容として自動応答AIに送った場合、特定部28は、図7に示されている連携機能管理テーブルにおいて、複合機BとPC(A)との組み合わせに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を表示エリア48aに表示させる。
制限時間の開始時点が、ユーザが最初の機器画像(例えば機器画像56)を自動応答AIに送った時点である場合も、上記と同様の処理が行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、図8に示す例において、発言内容54のように自動応答AIがユーザに連携対象の機器を問い合わせた後に、ユーザがカメラ22によって機器(例えば複合機B)を撮影した場合、制御部26は、その機器(複合機B)に紐付く機器画像56(例えば、その撮影で得られた画像や模式的な画像)をユーザの発言内容として自動応答AIに送る。特定部28は、その機器画像56に紐付く複合機Bを連携対象の機器として識別する。更にユーザがカメラ22によって別の機器(例えばPC(A))を撮影した場合、制御部26は、その機器(PC(A))に紐付く機器画像60をユーザの発言内容として自動応答AIに送る。特定部28は、その機器画像60に紐付くPC(A)を連携対象の機器として識別する。この場合、特定部28は、図7に示されている連携機能管理テーブルにおいて、複合機BとPC(A)との組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報は、自動応答AIの発言内容として表示エリア48a内に表示される。なお、カメラ22以外の撮影装置によって連携対象の機器の撮影が行われてもよい。この場合、その撮影装置による撮影によって生成された機器画像データが、ネットワーク等の通信経路を介して端末装置10に送信され、その機器画像がユーザの発言内容として自動応答AIに送られる。
また、ユーザによって指定された複数の機器の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部28は、利用可能な連携機能が登録されていないと判断する。この場合、制御部26は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答AIの発言内容として表示エリア48a内に表示させる。このような場合であっても、機器の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部28は、利用可能になった連携機能を特定する。
(変形例1)
以下、図13を参照して変形例1について説明する。図13には、画面48が示されている。変形例1では、連携対象としての複数の機器の情報がユーザの発言内容として自動応答AIに送られた場合、当該複数の機器を利用して実行可能な連携機能が通知される。以下、変形例1について詳しく説明する。
画面48には、図8と同様に、自動応答AIに紐付く画像50とユーザに紐付く画像52が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
図8と同様に、自動応答AIの発言内容80として、「どの機器を利用したいですか?」といった発言内容が表示エリア48a内に表示される。
上記の発言内容80に対して、ユーザが、複数の機器が表された画像82をユーザの発言内容として指定して自動応答AIに送ると、特定部28は、その画像82に表されている複数の機器を連携対象の機器として識別する。例えば、画像82に、複合機Bに紐付く機器画像56とPC(A)に紐付く機器画像60が表されている場合、特定部28は、機器画像56に基づいて複合機Bを連携対象の機器として識別し、機器画像60に基づいてPC(A)を連携対象の機器として識別する。
ユーザは、画面48を操作することで、ストックエリア58から機器画像56,60を選択し、画像82上に機器画像56,60を重ねてもよい。これにより、画像82に機器画像56,60が表され、画像82がユーザの発言内容として自動応答AIに送られる。
別の例として、画像82は、複合機BとPC(A)がカメラ22等の撮影装置によって一緒に撮影されることで生成された画像であってもよい。また、ユーザは、発言内容80が発せられた後に、カメラ22によって複合機BとPC(A)を一緒に撮影し、複合機BとPC(A)が一緒に表された画像82をユーザの発言内容として自動応答AIに送ってもよい。
上記のように複合機BとPC(A)が識別された場合、制御部26は、連携対象の機器として識別された機器の情報を自動応答AIの発言内容84として表示エリア48a内に表示させる。この発言内容84に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容86を発した場合)、PC(A)と複合機Bとを利用して実行可能な連携機能に関する情報が、自動応答AIの発言内容88として表示エリア48a内に表示される。その発言内容88に対して、ユーザが発言内容90によって連携機能を指定して実行指示を与えた場合、制御部26は、その実行指示を受けて、実行指示情報を連携対象の機器(PC(A)と複合機B)に送信する。これにより、PC(A)と複合機Bとによって連携機能が実行される。もちろん、連携対象の機器を制御するための画面(リモートコントロール用の画面)がUI部20の表示部に表示されてもよい。
また、画像82内に3つ以上の機器画像が表示されている場合、3つ以上の機器を利用して実行可能な連携機能に関する情報が通知される。また、画像82内に1つの機器画像が表示されている場合、その1つの機器画像に紐付く機器が有する機能(単独機能)に関する情報が通知される。
また、連携対象の機器に紐付く機器画像をストックエリア58から選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に複数の機器画像がストックエリア58から取り出されて画像82上に重ねられた場合、特定部28は、当該複数の機器画像のそれぞれに紐付く機器を利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。一方、制限時間内に1つの機器画像がストックエリア58から取り出されて画像82上に重ねられた場合、特定部28は、当該機器画像に紐付く機器が有する機能(単独機能)を特定する。この場合、その単独機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。
例えば図13に示す例において、ユーザが、制限時間内に、複合機Bに紐付く機器画像56をストックエリア58から選択して画像82上に重ね、他の機器画像を画像82上に重ねなかった場合、特定部28は、図6に示されている連携機能管理テーブルにおいて、複合機Bに対応付けられている機能(単独機能)を特定する。制御部26は、その単独機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
一方、ユーザが、制限時間内に、機器画像56,60をストックエリア58から選択して画像82上に重ねた場合、特定部28は、図7に示されている連携機能管理テーブルにおいて、複合機BとPC(A)との組み合わせに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
(変形例2)
以下、変形例2について説明する。変形例2では、複数の機器画像がユーザの発言内容として自動応答AIに送られた場合、制御部26は、当該複数の機器画像が互いに重ねられた状態を表す新たな合成画像や、当該複数の機器画像が互いに隣り合って結合された状態を表す合成画像を生成してもよい。図14(a)には、合成画像の一例が示されている。例えば、機器画像56,60がその順番でユーザの発言内容として自動応答AIに送られた場合、制御部26は、機器画像56,60をグルーピングすることで新たな合成画像92を生成する。制御部26は、その合成画像92をUI部20の表示部に表示させてもよいし、ストックエリア58に表示される画像として端末装置10に登録してもよい。合成画像92は、機器画像56上に機器画像60が重ねられたそのままの状態を表す画像であってもよいし、その状態を模式的に表す画像(例えばアイコン)であってもよい。
機器画像60,56がその順番でユーザの発言内容として自動応答AIに送られた場合、制御部26は、機器画像60上に機器画像56が重ねられた状態を表す合成画像を生成する。
また、図14(b)に示すように、制御部26は、機器画像56,60が互いに隣り合って結合された状態を表す合成画像94を生成してもよい。制御部26は、その合成画像94をUI部20の表示部に表示させても良いし、ストックエリア58に表示される画像として端末装置10に登録してもよい。
また、変形例1において、複数の機器画像がストックエリア58から画像82上に重ねられた場合、制御部26は、複数の機器画像を表す画像82を新たな合成画像として端末装置10に登録してもよい。
上記のように合成画像が生成された場合、ユーザは、その合成画像をユーザの発言内容として自動応答AIに送ってもよい。例えば、ユーザが、その合成画像と他の機器画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、合成画像に紐付く複数の機器と当該他の機器画像に紐付く機器とを連携対象の機器として識別する。例えば、ユーザが、合成画像92とプロジェクタCに紐付く機器画像とをユーザの発言内容として自動応答AIに送った場合、特定部28は、合成画像92に紐付く複合機BとPC(A)を連携対象の機器として識別し、更に、当該機器画像に紐付くプロジェクタCを連携対象の機器として識別する。この場合、特定部28は、図7に示されている連携機能管理テーブルにおいて、PC(A)と複合機BとプロジェクタCとの組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報は、自動応答AIの発言内容として画面48に表示される。また、合成画像92とプロジェクタCに紐付く機器画像とが互いに重ねられた新たな合成画像や、合成画像92と当該機器画像とが互いに隣り合って結合された新たな合成画像が生成されてもよい。
上記のように合成画像を用いることで、簡易な操作で連携対象の機器を増加させることができる。また、合成画像は、連携対象の複数の機器を表しているため、合成画像を表示することで、どのような機器が連携対象の機器として指定されているのかがユーザにとって視覚的に分かり易い。
上記の合成画像は、次回以降に連携機能を実行する際のショートカット用の画像として用いられてもよい。例えば、ユーザが端末装置10を用いて、合成画像をショートカット用の画像として登録する指示を与えると、その登録用画面がUI部20の表示部に表示される。この登録画面には、合成画像が表示されるとともに、連携対象の複数の機器を利用して実行可能な連携機能の登録内容を示す情報が表示される。例えば、連携機能名、連携機能の概要、及び、連携に必要な機器を示す情報が、登録内容を示す情報として表示される。ユーザは端末装置10を用いて、登録内容(例えば、連携機能名、連携機能の概要等)を編集してもよい。登録画面上でユーザが登録指示を与えた場合、合成画像がショートカット用の画像として登録される。また、ユーザによって登録内容が編集された場合、その編集内容も合成画像に紐付いて登録される。例えば、合成画像としてのショートカット用画像が生成されてストックエリア58内に表示される。ショートカット用画像は、例えば端末装置10の制御部26によって生成される。複数のショートカット用画像が生成されて登録された場合、画面48には、ショートカット用画像の一覧が表示されてもよい。なお、ショートカット用画像と登録内容を示す情報は、端末装置10に記憶される。別の例として、ショートカット用画像と登録内容を示す情報は、ユーザアカウント情報に紐付けられてサーバ16に記憶されてもよい。この場合、ユーザアカウント情報が端末装置10からサーバ16に送信されると、そのユーザアカウント情報に紐付けられた情報(ショートカット用画像と登録内容を示す情報)が、サーバ16から端末装置10に送信されて表示される。
なお、ショートカット用画像には、連携対象の機器毎に、機器のステータスを示す情報(例えば画像等)が含まれてもよい。例えば、連携対象の機器が連携機能を実行できる状態の場合、その旨を示す画像(例えば緑色や青色の画像)がステータスを示す情報として表示される。連携対象の機器が連携機能を実行できる状態ではない場合、その旨を示す画像(例えば白色や赤色の画像)がステータスを示す情報として表示される。連携機能を実行できる状態とは、例えば、現在、機器が使用されていない状態、故障が発生していない状態、等である。連携機能を実行できない状態とは、例えば、機器が使用されている状態、故障が発生している状態、等である。例えば、自動応答AIが、連携対象の機器のステータスを示す情報を連携対象の機器から取得し、その情報に基づいてステータス情報を表示する。情報の取得はサーバ16によって行われてもよい。
ユーザがショートカット用画像をユーザの発言内容として自動応答AIに送った場合、そのショートカット用画像に紐付く連携機能に関する情報が表示されてもよいし、その連携機能の実行が制御されてもよい。
以上のように、連携機能とショートカット用画像とを紐付けて管理することで、次回以降、連携機能を実行するためのユーザの操作負担が軽減される。
(変形例3)
以下、変形例3について説明する。変形例3では、機器の情報を自動応答AIに送る順番に応じた連携機能の通知が制御される。以下、図15から図17を参照して、変形例3について詳しく説明する。
図15には、変形例3に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルにおいては、一例として、機器IDの組み合わせを示す情報と、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、接続順番を示す情報と、優先順位を示す情報と、が互いに対応付けられている。機器IDと機器名はデバイス識別情報の一例に相当する。なお、3個以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、3個以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
接続順番は、機器の指定の順番に対応しており、例えば、機器の情報(例えば機器画像や文字情報や音声情報)をユーザの発言内容として自動応答AIに送る順番に対応している。例えば、ユーザが複数の機器の情報について各機器の情報を順番にユーザの発言内容として自動応答AIに送った場合、その順番が接続順番に相当する。具体的には、ユーザが第1機器の情報をユーザの発言内容として先に自動応答AIに送り、その後、第2機器の情報をユーザの発言内容として自動応答AIに送った場合、第1機器の指定の順番が1番であり、第2機器の指定の順番が2番である。
優先順位は、連携機能に関する情報の通知(例えば表示や音声出力)の優先順位である。例えば、PC(A)と複合機Bとの組み合わせには、連携機能として「スキャン転送機能」と「プリント機能」が対応付けられている。例えば、複合機B、PC(A)の順番で各機器の情報がユーザの発言内容として自動応答AIに送られた場合、「スキャン転送機能」の優先順位が「1位」となり、「プリント機能」の優先順位は「2位」となる。この場合、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に通知される。例えば、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも上位に表示されたり、先に表示されたりする。それとは逆に、PC(A)、複合機Bの順番で各機器の情報がユーザの発言内容として自動応答AIに送られた場合、「プリント機能」の優先順位が「1位」となり、「スキャン転送機能」の優先順位が「2位」となる。この場合、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。
図16には、優先順位に従った表示例が示されている。例えば、複合機B、PC(A)の順番で機器画像56,60がユーザの発言内容として自動応答AIに送られた場合、「スキャン転送機能」の優先順位が「1位」となり、「プリント機能」の優先順位が「2位」となる。そのため、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に(例えば上位に)画面48に表示される。画面48上にて連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。
図17には、優先順位に従った別の表示例が示されている。例えば、PC(A)、複合機Bの順番で機器画像56,60がユーザの発言内容として自動応答AIに送られた場合、「プリント機能」の優先順位が「1位」となり、「スキャン転送機能」の優先順位は「2位」となる。そのため、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に(例えば上位に)画面48に表示される。
以上のように、機器の情報をユーザの発言内容として自動応答AIに送る順番に応じて、連携機能に関する情報の通知順(例えば表示順位)が変更される。機器の接続順番(機器の情報を自動応答AIに送る順番)は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を指定する操作は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の通知順を変えることで、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に通知される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に通知される。例えば、複合機B、PC(A)の順番で各機器の情報がユーザの発言内容として自動応答AIに送られた場合、「PC(A)よりも先に複合機Bの機能を利用し、複合機BからPC(A)へデータを転送する」という連携機能がユーザによって利用されると予測される。また、PC(A)、複合機Bの順番で各機器の情報がユーザの発言内容として自動応答AIに送られた場合、「複合機Bよりも先にPC(A)の機能を利用し、PC(A)から複合機Bへデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、機器を選択する順番に応じて連携機能に関する情報の通知順を変えることで、ユーザが利用する可能性の高い連携機能に関する情報が優先的に通知される。
(変形例4)
以下、変形例4について説明する。変形例4では、機器に紐付く機器画像内の部分毎に異なる機能が割り当てられている。機器画像内の部分がユーザによって指定されて、その部分の情報がユーザの発言内容として自動応答AIに送られた場合、その部分に割り当てられている機能を利用して実行可能な連携機能に関する情報が通知される。以下、変形例4について詳しく説明する。
図18には、変形例4に係る機器機能管理テーブルの一例が示されている。この機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器画像内の位置(部分の位置)を示す情報と、その機器画像内の位置(部分の位置)に対応する機能を示す情報(機能情報)と、画像IDと、が対応付けられている。機器画像内の位置は、機器に紐付く機器画像内の特定の位置(特定の部分)であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置(部分)毎に、異なる機能が対応付けられている。なお、3個以上の部分を利用することで実行可能な連携機能が定められてもよい。この場合、3個以上の部分の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。もちろん、部分と機器全体とを利用して実行可能な連携機能が定められ、部分と機器全体との組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。
以下、図19及び図20を参照して、機器の部分について詳しく説明する。図19には、機器としての複合機Bに紐付く機器画像96が示されている。図20には、機器としてのPC(A)に紐付く機器画像98が示されている。上記のように識別技術(例えばAR技術)を適用することで複合機BやPC(A)が識別される。また、部分の識別も、上述した識別技術を用いることで実現される。例えば、機器の各部分を撮影してマーカレス型AR技術を適用することで、各部分が識別される。
例えば、図19(a)に示すように、機器画像96において複合機Bの本体部分に対応する位置(部分画像96a)には、「プリント機能」が割り当てられている。機器画像96において複合機Bの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する位置(部分画像96b)には、「スキャン機能」が割り当てられている。機器画像96において後処理装置に対応する位置(部分画像96c)には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープラによって止める機能である。
また、図20(a)に示すように、機器画像98においてPC(A)の本体部分に対応する位置(部分画像98a)には、「データ保存機能」が割り当てられている。機器画像98においてPC(A)の表示部に対応する特定の位置(部分画像98b)には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをPC(A)にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをPC(A)にて表示する機能である。
各部分画像は、機器画像から切り離して操作することが可能である。例えば、機器画像96がUI部20の表示部に表示されているときに、図19(b)に示すように、ユーザが部分画像96bを選択して機器画像96から切り離す操作を行うと、部分画像96bは機器画像96から離れて表示される。図19(b)には、切り離された部分画像96bが破線で示されている。例えば、ドラッグ&ドロップ操作によって部分画像を操作することができる。具体的には、ユーザは部分画像を選択し、ドラッグ操作によって部分画像を機器画像から切り離して操作し、目的の表示位置でドロップ操作を行うことで、その表示位置に部分画像を表示させることができる。また、機器画像96がストックエリア58に表示されているときに、ユーザがその機器画像96の部分画像(例えば部分画像96b)を選択して機器画像96から切り離す操作を行うと、部分画像96bは機器画像96から離れてストックエリア58の外側に表示させることができる。もちろん、部分画像を機器画像から切り離す操作が行われた場合であっても、当該部分画像は元の位置に表示されていてもよい。部分画像96a,96cも機器画像96から切り離して表示することができる。
機器画像98についても機器画像96と同様に、部分画像98a,98bを機器画像98から切り離して表示することができる。図20(b)には、部分画像98b(破線で示されている)が機器画像98から切り離されている。
変形例4では、ユーザは部分画像をユーザの発言内容として自動応答AIに送ることができる。この場合、特定部28は、その部分画像に紐付く部分を連携対象の部分として識別する。ユーザが複数の部分画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、当該複数の部分画像のそれぞれに紐付く部分を連携対象の部分として識別し、複数の部分を利用して実行可能な連携機能を特定する。
なお、機器画像がUI部20の表示部に表示される場合、制御部26は、機器画像内の各位置に割り当てられている機能の名称(例えば印刷やスキャン等)をUI部20の表示部に表示させてもよい。こうすることで、各位置に割り当てられている機能の情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。
以下、部分画像を用いた処理について具体例を挙げて説明する。
図21には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50とユーザに紐付く画像52が表示されており、更に、ユーザと自動応答AIとの間の対話を示す情報が表示されている。また、ストックエリア58が画面48に表示されている。
図8と同様に、自動応答AIの発言内容54として、「どの機器を利用したいですか?」といった発言内容が表示エリア48a内に表示される。
上記の発言内容54に対して、ユーザが機器の部分を指定すると、特定部28(自動応答AIによって実現される特定部28)は、その機器の部分を連携対象の部分として識別する。例えば図21に示すように、ユーザが、複合機Bの部分に紐付く部分画像96bをユーザの発言内容として指定して自動応答AIに送ると、特定部28は、その部分画像96bに紐付く部分を連携対象の部分として識別する。図21に示す例では、図8に示されている例と同様に、ユーザが部分画像96bを表示エリア48bに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、UI部20を操作することで、機器の部分を示す文字列をユーザの発言内容として端末装置10に入力してもよい。この場合、特定部28は、その文字列が示す部分を連携対象の部分として識別する。また、音声によって連携対象の部分の情報がユーザの発言内容として端末装置10に入力されてもよい。
例えば、ユーザは、ストックエリア58内に表示されている機器画像96に含まれる部分画像96bを選択し、ドラッグ操作によって、ストックエリア58からユーザの発言内容が表示される位置まで部分画像96bを移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部26は、部分画像96bをユーザの発言内容として自動応答AIに送る。
また、図21に示す例では、部分画像96bに続き、ユーザは、ストックエリア58から部分画像98bを取り出し、その部分画像98bをユーザの発言内容の表示位置まで移動させている。この操作によって、その部分画像98bがユーザの発言内容として自動応答AIに送られる。
ユーザが画面48上で複数の部分の情報をユーザの発言内容として自動応答AIに送った場合、つまり、複数の部分の情報を連携対象の部分の情報として発言した場合、特定部28は、当該複数の部分を連携対象の部分として識別する。上記の例では、部分画像96bを含む機器画像96に紐付く複合機Bと部分画像98bを含む機器画像98に紐付くPC(A)が、連携対象の機器として識別されると共に、部分画像96bに対応する「スキャン機能」と部分画像98bに対応する「画面表示機能」が、連携対象の機能として識別される。
連携対象の機器(例えばPC(A)と複合機B)が識別されると、特定部28は、図7に示されている連携機能管理テーブルにおいて、PC(A)と複合機Bとの組み合わせに対応付けられている連携機能を特定する。また、特定部28は、図18に示されている機器機能管理テーブルを参照することにより、ユーザの発言内容として自動応答AIに送られた機器画像内の部分に対応付けられている機能を特定する。そして、特定部28は、PC(A)と複合機Bとを利用して実行可能な連携機能群の中で、その部分に対応付けられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。端末装置10の制御部26は、その優先順位に従って、連携機能に関する情報を自動応答AIの発言内容として画面48に表示させる。
例えば、複合機BとPC(A)が連携対象の機器として識別され、更に、機器の部分が連携対象の部分として識別された場合、制御部26は、連携対象の機器として識別された機器の部分の情報を自動応答AIの発言内容100として画面48に表示させる。この発言内容100に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容102を発した場合)、ユーザによって指定された複数の部分を利用して実行可能な連携機能に関する情報が画面48に表示される。
図22には、図21の続きの画面48が示されている。上記のように連携機能が特定された場合、制御部26は、連携機能に関する情報を自動応答AIの発言内容104として表示エリア48a内に表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」とを利用して実行可能な連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に(例えば上位に)表示される。例えば、「スキャン機能」と「データ保存機能」とを利用して実行可能な連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、「スキャン転送表示機能」は、複合機Bによるスキャンによって生成されたデータをPC(A)に転送してPC(A)の画面に表示する機能である。「スキャン転送保存機能」は、複合機Bによるスキャンによって生成されたデータをPC(A)に転送してPC(A)に保存する機能である。
自動応答AIの発言内容104に対して、ユーザが発言内容106によって連携機能を指定して実行指示を与えた場合、制御部26は、その実行指示を受けて、その実行指示情報を連携対象の機器に送信する。また、制御部26は、実行指示を受けたことを示す情報を自動応答AIの発言内容108として表示エリア48a内に表示させる。例えば、「スキャン転送表示機能」の実行指示が与えられた場合、複合機Bによるスキャンによって生成されたデータがPC(A)に転送されてPC(A)の画面に表示される。
なお、連携対象の機器(例えば複合機BとPC(A))を制御するための画面(リモートコントロール用画面)がUI部20の表示部に表示されてもよい。
変形例4によれば、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用して実行可能な連携機能に関する情報が優先的に通知される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に通知される。
なお、連携機能は、互いに同じ機器又は互いに異なる機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよいし、機器の全体同士の組み合わせを利用する機能であってもよい。
また、変形例3,4を組み合わせることで、機器や部分の情報をユーザの発言内容として自動応答AIに送る順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。
また、1つの部分の情報がユーザの発言内容として自動応答AIに送られた場合、その1つの部分を利用して実行可能な単独機能に関する情報がUI部20の表示部に表示される。
以下、部分画像を用いた処理の別の例について説明する。
図23には、変形例4に係る機器機能管理テーブルの別の例が示されている。この機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器の部分の名称(例えば部分の種類)を示す情報と、その部分を識別するための部分識別情報としての部分IDと、その部分に割り当てられている機能(その部分が有する機能)を示す情報と、その部分に紐付く部分画像を識別するための部分画像IDと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表す画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。
具体例を挙げて説明すると、PC(A)の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像IDには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をPC(A)にて表示する機能である。PC(A)の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをPC(A)に保存する機能である。
また、複合機Bの本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、プリント機能を示す情報が対応付けられている。複合機Bの読取部(例えば、複合機Bの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分)にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像IDには、スキャン機能を示す情報が対応付けられている。複合機Bの後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像IDには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。
機器の部分に割り当てられている機能は、例えば、マーカレス型AR技術を用いることによって特定(識別)される。例えば、機器の部分がカメラ(例えば端末装置10のカメラ22)によって撮影された場合、特定部28は、図23に示されている機器機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定(識別)する。これにより、撮影された部分に割り当てられている機能が特定(識別)される。例えば、複合機Bの本体部がカメラ22によって撮影された場合、特定部28は、機器機能管理テーブルにおいて、複合機Bの本体部を表す外観画像データに対応付けられているプリント機能を特定する。これにより、複合機Bの本体部に割り当てられている機能がプリント機能であることが特定される。
もちろん、機器の部分に割り当てられている機能は、マーカ型AR技術を用いることによって特定(識別)されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報(例えば部分ID)がコード化された2次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型AR技術が適用された場合、その部分の部分識別情報(例えば部分ID)が取得される。このように部分識別情報が取得されると、特定部28は、図23に示されている機器機能管理テーブルにおいて、その部分識別情報(例えば部分ID)に対応付けられている機能を特定(識別)する。
図24には、変形例4に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分IDの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。
具体例を挙げて説明すると、PC(A)の表示部と複合機Bの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、PC(A)に保存されているデータを複合機Bに送信して、そのデータを複合機Bによって印刷する機能である。
また、複合機Bの本体部とプロジェクタCの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、プロジェクタCによって投影されているデータを複合機Bに送信して、そのデータを複合機Bによって印刷する機能である。
また、複合機Bの読取部とプロジェクタCの本体部との組み合わせには、連携機能としての「スキャン投影機能」が割り当てられている。連携機能としての「スキャン投影機能」は、例えば、複合機Bによるスキャンによって生成されたデータをプロジェクタCに送信して、そのデータをプロジェクタCによって投影する機能である。
なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用して実行可能な機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用して実行可能な機能であってもよい。また、連携機能は、3つ以上の部分が有する機能を利用して実行可能な機能であってもよい。
例えば、ユーザが複数の部分画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、図24に示されている連携機能管理テーブルにおいて、当該複数の部分画像のそれぞれに紐付く部分の組み合わせに対応付けられている連携機能を特定(識別)する。例えば、複合機Bの本体部に紐付く部分画像とプロジェクタCの本体部に紐付く部分画像が自動応答AIに送られた場合、特定部28は、図24に示されている連携機能管理テーブルにおいて、複合機Bの本体部とプロジェクタCの本体部との組み合わせに対応付けられている連携機能「プリント機能」等を特定する。図22に示すように、その連携機能に関する情報は自動応答AIの発言内容として表示エリア48a内に表示される。
また、変形例3,4を組み合わせることで、機器画像や部分画像をユーザの発言内容として自動応答AIに送る順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。
(変形例5)
以下、変形例5について説明する。変形例5では、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置10に入力され、次に、連携対象の機器に関する情報がユーザの発言内容によって端末装置10に入力される。以下、変形例5について詳しく説明する。
図25には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
まず、ユーザは、連携機能の実行要求を示す発言内容110を入力する。図25に示す例では、ユーザが要求している連携機能は、スキャンデータをPCに転送するための連携機能である。自動応答AIは、その発言内容110を解析することで、ユーザが連携機能の実行を要求していると判断し、その連携機能に利用される機器をユーザに問い合わせるための発言内容112を発する。制御部26は、その発言内容112を表示エリア48a内に表示させる。この発言内容112に対して、ユーザは、連携機能に利用される機器に関する情報を端末装置10に入力する。ユーザは、機器に関する情報としての機器画像を、ユーザの発言内容の表示位置に配置することで、機器に関する情報を端末装置10に入力してもよいし、音声によって機器に関する情報を端末装置10に入力してもよい。図25に示す例では、機器画像56,60が、ユーザの発言内容の表示位置に表示されている。これにより、制御部26は、機器画像56,60をユーザの発言内容として自動応答AIに送り、特定部28は、機器画像56に紐付く複合機Bと機器画像60に紐付くPC(A)を連携対象の機器として識別する。自動応答AIは、識別された機器を示す発言内容114を発し、制御部26は、その発言内容114を表示エリア48a内に表示させる。この発言内容114に対して、ユーザが連携機能の実行指示を示す発言内容116を発した場合、制御部26は、複合機BとPC(A)に、ユーザが要求した連携機能を実行させる。また、制御部26は、連携機能の実行指示を出したことを示す情報を自動応答AIの発言内容118として表示エリア48a内に表示させる。
以上のように変形例5によれば、ユーザが先に連携機能に関する情報を自動応答AIに送った場合であっても、自動応答AIとの対話を通じて、簡易な操作で連携機能を実行することができる。
(変形例6)
以下、変形例6について説明する。変形例6では、自動応答AIの学習機能を利用することで、自動応答AIが得た情報に応じて連携機能の通知が制御される。自動応答AIは、学習機能によって、例えば、ユーザに関する情報(例えば、端末装置10の操作履歴を示す情報、機器の操作履歴を示す情報、行動履歴を示す情報等)、機器12,14に関する情報(例えば、利用履歴を示す情報、機器の状態を示す情報等)、等を取得する。自動応答AIは、端末装置10から情報を取得してもよいし、機器12,14等の機器から情報を取得してもよいし、サーバ16から情報を取得してもよいし、他の装置(例えばクラウド等)から情報を取得してもよいし、他の装置に格納されている他の操作アシスタント(例えば、他の装置に格納されている人工知能)から情報を取得してもよい。
制御部26は、自動応答AIによって取得された情報に応じて、連携機能の通知を制御する。例えば、機器に対するユーザの利用履歴を示す情報や、ユーザのスケジュール(予定)を示す情報(スケジュール情報)が自動応答AIによって取得された場合、制御部26は、利用履歴やスケジュールを参照することで、ユーザによって使用される可能性が高い連携機能に関する情報を自動応答AIの発言内容として優先的にUI部20の表示部に表示させる。例えば、ユーザが複数の機器画像をユーザの発言内容として自動応答AIに送ることで、当該複数の機器画像のそれぞれに紐付く機器を利用して実行可能な複数の連携機能が特定される。制御部26は、利用履歴やスケジュールを解析し、当該複数の連携機能の中でユーザによって使用される可能性が高い連携機能に関する情報を優先的にUI部20の表示部に表示させる。例えば、制御部26は、過去において複数の機器が連携対象の機器として指定されたタイミングとスケジュールとを突き合わせて、現時点において使用される可能性が高い連携機能に関する情報を優先的にUI部20の表示部に表示させる。
具体例を挙げて説明すると、過去において、ユーザが午後に外出した日の午前中に、第1機器画像と第2機器画像とがユーザの発言内容として自動応答AIに送られて連携機能Zが実行されたものとする。そのような利用履歴が存在する場合において、第1機器画像と第2機器画像とがユーザの発言内容として自動応答AIに送られたタイミングが、ユーザが午後に外出する予定がある日の午前中である場合、制御部26は、上記の連携機能Zが使用される可能性が高いと判断し、その連携機能Zに関する情報を優先的にUI部20の表示部に表示させる。
別の具体例を挙げて説明すると、過去において、ある時間帯に第1機器画像と第2機器画像とがユーザの発言内容として自動応答AIに送られ、連携機能としての録画機能が実行されたことで、チャンネルXの番組が録画されたものとする。そのような利用履歴が存在する場合において、第1機器画像と第2機器画像とがユーザの発言内容として自動応答AIに送られたタイミングが、その時間帯に含まれる場合、制御部26は、上記の録画機能が使用される可能性が高いと判断し、その録画機能に関する情報(例えば、チャンネルXを録画する機能に関する情報)を優先的にUI部20の表示部に表示させる。
また、自動応答AIに送られた機器画像に紐付く機器が使用中又は故障中の場合、制御部26は、その機器を利用して実行可能な連携機能に関する情報の優先度を下げて当該情報をUI部20の表示部に表示させてもよい。その機器が故障しておらず使用中ではない場合、制御部26は、その機器を利用して実行可能な連携機能に関する情報を優先的にUI部20の表示部に表示させる。こうすることで、直ぐに使用可能な連携機能に関する情報が優先的にユーザに提供される。
(変形例7)
以下、変形例7について説明する。変形例7では、自動応答AIが、連携対象となる機器を推奨する。例えば、ユーザが機器画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、その機器画像に紐付く機器を識別し、連携機能管理テーブルを参照することで、その機器との組み合わせで連携機能の実行が可能な機器を特定する。制御部26は、特定部28によって特定された機器に関する情報を自動応答AIの発言内容としてUI部20の表示部に表示させる。例えば、ユーザが複合機Bに紐付く機器画像56をユーザの発言内容として自動応答AIに送った場合、特定部28は、連携機能管理テーブルを参照することで、複合機Bとの組み合わせで連携機能の実行が可能な機器(例えば、PCやプロジェクタ等)を特定する。その機器(例えばPCやプロジェクタ)に関する情報が自動応答AIの発言内容としてUI部20の表示部に表示される。こうすることで、連携対象となる機器がユーザに提供される。
また、特定部28は、連携機能の使用履歴(当該ユーザの使用履歴や、他のユーザの利用履歴)に基づいて、上記の機器画像に紐付く機器(例えば複合機B)と組み合わせて実際に利用された機器を特定し、制御部26は、その機器に関する情報を自動応答AIの発言内容としてUI部20の表示部に表示させてもよい。例えば、特定部28は、上記の機器画像に紐付く機器(例えば複合機B)との組み合わせで利用された頻度(例えば利用回数)が予め定められた閾値以上となる機器を特定してもよい。こうすることで、利用頻度が比較的に高い機器がユーザに提供される。
また、制御部26は、上記の機器画像に紐付く機器(例えば複合機B)との組み合わせで利用された頻度が高い機器に関する情報ほど優先的にUI部20の表示部に表示させてもよい。
(変形例8)
以下、変形例8について説明する。変形例8では、複数の自動応答AI同士が連携してもよい。例えば、端末装置10に格納されている自動応答AIが、他の端末装置に格納されている自動応答AIと情報(例えば、連携機能の使用履歴情報、機器の使用履歴情報等)を共有してもよい。この場合、特定部28は、自動応答AIが取得した上記の共有情報を用いることで、連携機能を特定してもよいし、変形例7と同様に、連携対象となる機器を推奨してもよい。例えば、特定部28は、共有情報に含まれる使用履歴情報を用いることで、ユーザが操作アシスタントに渡した機器との組み合わせで連携機能を実行することが可能な機器を特定してもよい。
また、ユーザ毎に自動応答AIが定められてもよい。この場合、同一の端末装置10に複数の自動応答AIが格納されていてもよい。各自動応答AIは、自身に紐付けられているユーザに関する情報(例えば、端末装置10の操作履歴情報、連携機能の使用履歴情報、機器の使用履歴情報等)を管理し、他の自動応答AIと情報を共有してもよい。この場合、各自動応答AIは、その共有情報を用いることで、連携対象となる機器を推奨してもよいし、連携機能を推奨してもよい。
(変形例9)
以下、変形例9について説明する。変形例9では、ユーザと自動応答AIとの対話が音声によって行われる。例えば、ユーザが、連携対象となる機器の名称(例えば複合機B、PC(A)等)を音声によって発した場合、その音声が端末装置10に入力され、特定部28(自動応答AIによって実現される特定部28)は、その音声入力を受けて連携機能を特定する。その連携機能に関する情報は、自動応答AIの発言内容としてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。音声入力が用いられる場合、自動応答AIに紐付く画像はUI部20の表示部に表示されなくてもよい。もちろん、自動応答AIに紐付く画像が表示されているときに、音声入力によって機器に関する情報がユーザの発言内容として端末装置10に入力されてもよい。
<第2実施形態>
以下、第2実施形態に係る機器システムについて説明する。上記の第1実施形態では、機器の情報がユーザの発言内容として自動応答AIに送られた場合に、連携機能に関する情報が自動応答AIの発言内容として通知されるが、第2実施形態では、機能の情報がユーザの発言内容として自動応答AIに送られた場合に、連携機能に関する情報が自動応答AIの発言内容として通知される。機能の情報は、機能を識別するための識別情報であり、例えば、機能に紐付く機能画像や、その識別情報を示す文字情報や音声情報等である。例えば、ユーザが機能に紐付く機能画像を自動応答AIに送った場合や、ユーザが機能の識別情報を示す文字列を端末装置10にて入力して自動応答AIに与えた場合や、ユーザが音声によって機能の識別情報を自動応答AIに与えた場合、特定部28は、当該機能を識別する。
機能画像は、例えば、ソフトウェア(アプリケーション等)に紐付く画像であってもよいし、処理が行われる機器(現実空間に存在する機器)に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像(例えば写真)や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。例えば、ソフトウェアに紐付く機能画像がユーザの発言内容として自動応答AIに送られた場合、その機能画像に紐付くソフトウェアを利用して実行可能な連携機能を示す情報が自動応答AIの発言内容として通知される。以下、第2実施形態について詳しく説明する。
図26には、第2実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ID(例えば、ソフトウェアを識別するためのID)と、機能名(例えばソフトウェア名)を示す情報と、複数の機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の機能を利用して実行可能な連携機能が特定される。
例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα,βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。
なお、3個以上の機能(例えばソフトウェア)を利用することで実行可能な連携機能が定められてもよい。この場合、3個以上の機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、第2実施形態について具体例を挙げて詳しく説明する。
図27には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
例えば、自動応答AIの発言内容として、「どの機能を利用したいですか?」といった発言内容120が表示エリア48a内に表示される。
この発言内容120に対して、ユーザが機能を指定すると、特定部28(自動応答AIによって実現される特定部28)は、その機能を連携対象の機能として識別する。例えば図27に示すように、ユーザが、機能に紐付く機能画像122を指定し、その機能画像122をユーザの発言内容が表示される位置に配置することで、制御部26は、その機能画像122をユーザの発言内容として自動応答AIに送る。この操作に応じて、特定部28は、その機能画像122に紐付く機能を連携対象の機能として識別する。図27に示す例では、ユーザが機能画像122を表示エリア48bに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、UI部20を操作することで、機能を示す文字列をユーザの発言内容として端末装置10に入力してもよい。この場合、特定部28は、その文字列が示す機能を連携対象の機能として識別する。また、音声によって連携対象の機能の情報がユーザの発言内容として端末装置10に入力されてもよい。
機能画像122は、パスワード設定機能に紐付く画像(例えば、パスワード設定ソフトウェアに紐付く画像)である。機能画像122がユーザによって選択されてパスワード設定機能の起動指示が与えられると、例えば、パスワード設定ソフトウェアが起動して、データ等に対するパスワードの設定処理が行われる。
例えば、制御部26は、第1実施形態と同様に、ユーザ用の表示エリア48b内にストックエリア124を表示させ、そのストックエリア124内に機能画像を表示させる。例えば、制御部26は、そのストックエリア124内に、端末装置10にインストールされているソフトウェアに紐付く機能画像等を表示させる。また、ストックエリア124に表示しきれない他の機能画像が存在する場合、ユーザが、ストックエリア124内に表示されている機能画像をスクロール操作することで、当該他の機能画像がストックエリア124内に表示される。
ユーザは、第1実施形態と同様に、ストックエリア124から連携対象の機能に紐付く機能画像(図27に示す例では機能画像122)を選択してストックエリア124の外側に移動させ、その機能画像122をユーザの発言内容として自動応答AIに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリア124からユーザの発言内容が表示される位置まで機能画像122を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部26は、機能画像122をユーザの発言内容として自動応答AIに送る。
また、図27に示す例では、機能画像122に続き、ユーザは、ストックエリア124から機能画像126を選択し、その機能画像126をユーザの発言内容の表示位置まで移動させている。この操作によって、その機能画像126がユーザの発言内容として自動応答AIに送られる。機能画像126は、データ送信機能に紐付く画像(例えば、データ送信ソフトウェアに紐付く画像)である。機能画像126がユーザによって選択されてデータ送信機能の起動指示が与えられると、例えば、データ送信ソフトウェアが起動して、送信対象のデータ等が送信先に送信される。
ユーザが画面48上で複数の機能の情報を自動応答AIに送った場合、つまり、複数の機能の情報を連携対象の機能の情報として発言した場合、特定部28は、図26に示されている連携機能管理テーブルにおいて、当該複数の機能に対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を、自動応答AIの発言内容として表示エリア48a内に表示させる。
上記の例では、機能画像122,126が連携対象の機能として自動応答AIに送られている。この場合、特定部28は、機能画像122に紐付く機能と機能画像126に紐付く機能を連携対象の機能として識別する。なお、先に機能画像122を自動応答AIに送り、その後に機能画像126を自動応答AIに送ってもよいし、先に機能画像126を自動応答AIに送り、その後に機能画像122を自動応答AIに送ってもよい。
上記のように、機能画像122,126が自動応答AIに送られてパスワード機能とデータ送信機能が連携対象の機能として識別された場合、制御部26は、連携対象の機能として識別された機能の情報を自動応答AIの発言内容128として表示エリア48a内に表示させる。この発言内容128に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容130を発した場合)、PC(A)と複合機Bとを利用して実行可能な連携機能に関する情報が表示エリア48a内に表示される。
特定部28は、機能画像122,126が連携対象の機能の情報として自動応答AIに送られたタイミングで、又は、発言内容128に対してユーザが承認したタイミングで、図26に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能(例えば、「データにパスワードを掛けて送信する機能」等)を特定する。これにより、パスワード機能とデータ送信機能とを利用して実行可能な連携機能が特定される。このようにして特定された連携機能に関する情報は、自動応答AIの発言内容として表示エリア48a内に表示される。なお、機能や連携機能の特定処理は、サーバ16によって行われてもよい。
図28には、図27の続きの画面48が示されている。上記のように連携機能が特定された場合、端末装置10の制御部26は、連携機能に関する情報を自動応答AIの発言内容132として画面48に表示させる。
その発言内容132に対して、ユーザが発言内容134によって連携機能を指定して実行指示を与えた場合、制御部26はその実行指示を受けて、連携機能を実行する。また、制御部26は、実行指示を受けたことを示す情報を自動応答AIの発言内容136として画面48に表示させる。別の例として、連携機能の実行を指示するためのボタン画像が画面48に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。パスワード機能とデータ送信機能が連携対象の機能として選ばれている場合、制御部26は、パスワード設定ソフトウェアを起動させて、処理対象のデータにパスワードを設定し、更に、データ送信ソフトウェアを起動させて、宛先に当該データを送信する。
なお、図27中のストックエリア124内に表示されている機能画像がユーザによって編集されてもよいし、その機能画像に紐付く機能に関する情報がユーザによって編集されてもよい。例えば、ユーザがストックエリア124内に表示されている機能画像を指定して編集指示を与えた場合、制御部26は、編集画面をUI部20の表示部に表示させる。制御部26は、例えば、ユーザが機能画像を長押しした場合(例えば機能画像を押している時間の長さが閾値以上となった場合)や、編集画面を表示するためのボタン画像をユーザが押した場合や、ユーザが編集の指示を音声によって端末装置10に入力した場合等に、編集画面をUI部20の表示部に表示させる。その編集画面においては、機能画像の編集が可能であり、例えば、機能画像の部分毎に更に機能が割り当てられている場合、機能画像から部分画像を切り出すことも可能である。また、機能画像に紐付く機能に関する情報の編集も可能である。
別の例として、連携対象の機能が基本連携機能として予め設定されていてもよい。基本連携機能の情報は、端末装置10の記憶部24に予め記憶されていてもよい。ユーザがUI部20を利用して基本連携機能を指定してもよい。基本連携機能が設定されている場合、ユーザは、基本連携機能以外の連携対象の機能に紐付く機能画像を発言内容として自動応答AIに送る。これにより、連携対象の機能が特定(識別)され、基本連携機能と当該機能とを利用して実行可能な連携機能が特定(識別)される。
以上のように第2実施形態によれば、自動応答AIと対話するための画面48上で、連携対象となる機能の情報を対話内容として自動応答AIに送ることで、連携機能に関する情報が提供される。このように、自動応答AIとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、3個以上の機能画像が対話内容として自動応答AIに送られた場合、3個以上の機能を利用して実行可能な連携機能に関する情報が提供される。
また、特定部28は、予め定められた制限時間内に複数の機能の情報がユーザの発言内容として自動応答AIに送られた場合、当該複数の機能を利用して実行可能な連携機能を特定し、当該制限時間内に1つの機能の情報がユーザの発言内容として自動応答AIに送られた場合、当該機能を単独機能として特定してもよい。この場合、特定部28によって特定された連携機能又は単独機能に関する情報が、自動応答AIの発言内容として表示エリア48a内に表示される。制限時間の開始時点は、例えば、発言内容120のように、自動応答AIがユーザに連携対象の機能を問い合わせた時点であってもよいし、発言内容120が発生した後に、ユーザが最初の機能画像を自動応答AIに送った時点であってもよい。
例えば図27に示す例において、発言内容120のように自動応答AIがユーザに連携対象の機能を問い合わせた時点から制限時間内に、ユーザが機能画像122のみをユーザの発言内容として自動応答AIに送った場合、特定部28は、機能画像122に紐付く機能(単独機能)を識別する。制御部26は、その単独機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
一方、発言内容120のように自動応答AIがユーザに連携機能の機能を問い合わせた時点から制限時間内に、ユーザが機能画像122,126をユーザの発言内容として自動応答AIに送った場合、特定部28は、図26に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を表示エリア48a内に表示させる。
制限時間の開始時点が、ユーザが最初の機能画像(例えば機能画像122)を自動応答AIに送った時点である場合も、上記と同様の処理を行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、ユーザによって指定された複数の機能の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部28は、利用可能な連携機能が登録されていないと判断する。この場合、制御部26は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答AIの発言内容として表示エリア48a内に表示させる。このような場合であっても、機能の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部28は、利用可能になった連携機能を特定する。
また、第2実施形態においても、第1実施形態の変形例1から変形例9が適用されてもよい。
図29には、変形例1を第2実施形態に適用した場合の処理が示されている。変形例1が適用されることで、連携対象としての複数の機能の情報がユーザの発言内容として自動応答AIに送られた場合、当該複数の機能を利用して実行可能な連携機能が通知される。以下、図29を参照して、変形例1を第2実施形態に適用した場合の処理について説明する。
図27と同様に、自動応答AIの発言内容138として、「どの機能を利用したいですか?」といった発言内容が表示エリア48a内に表示される。
上記の発言内容138に対して、ユーザが、複数の機能が表された画像140をユーザの発言内容として指定して自動応答AIに送ると、特定部28は、その画像140に表されている複数の機能を連携対象の機器として識別する。例えば、画像140に、パスワード機能に紐付く機能画像122とデータ送信機能に紐付く機能画像126が表されている場合、特定部28は、機能画像122に基づいてパスワード機能を連携対象の機能として識別し、機能画像126に基づいてデータ送信機能を連携対象の機能として識別する。
ユーザは、画面48を操作することで、ストックエリア124から機能画像122,126を選択し、画像140上に機能画像122,126を重ねてもよい。これにより、画像140に機能画像122,126が表され、画像140がユーザの発言内容として自動応答AIに送られる。
上記のようにパスワード機能とデータ送信機能が識別された場合、制御部26は、連携対象の機能として識別された機能の情報を自動応答AIの発言内容142として表示エリア48a内に表示させる。この発言内容142に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容144を発した場合)、パスワード機能とデータ送信機能とを利用して実行可能な連携機能に関する情報が、自動応答AIの発言内容146として画面48に表示される。その発言内容146に対して、ユーザが発言内容148によって連携機能を指定して実行指示を与えた場合、制御部26は、パスワード設定ソフトウェアとデータ送信ソフトウェアを起動させる。これにより、パスワード設定ソフトウェアとデータ送信ソフトウェアとによって連携機能が実行される。
また、画像140内に3つ以上の機能画像が表示されている場合、3つ以上の機能を利用して実行可能な連携機能に関する情報が通知される。また、画像140内に1つの機能画像が表示されている場合、その1つの機能画像に紐付く機能(単独機能)に関する情報が通知される。
また、連携対象の機能に紐付く機能画像をストックエリア124から選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に複数の機能画像がストックエリア124から取り出されて画像140上に重ねられた場合、特定部28は、当該複数の機能画像のそれぞれに紐付く機能を利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。一方、制限時間内に1つの機能画像がストックエリア124から取り出されて画像140上に重ねられた場合、特定部28は、当該機能画像に紐付く機能(単独機能)を特定する。この場合、その単独機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。
例えば図29に示す例において、ユーザが、制限時間内に、パスワード機能に紐付く機能画像122をストックエリア124から選択して画像140上に重ね、他の機能画像を画像140上に重ねなかった場合、特定部28は、機能画像122に紐付くパスワード機能を単独機能として特定する。制御部26は、その単独機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
一方、ユーザが、制限時間内に、機能画像122,126をストックエリア124から選択して画像140上に重ねた場合、特定部28は、図26に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
また、変形例2が適用されることで、複数の機能画像がユーザの発言内容として自動応答AIに送られた場合、当該複数の機能画像が互いに重ねられた状態を表す合成画像が生成されてもよいし(図14(a)参照)、当該複数の機能画像が互いに隣り合って結合された合成画像が生成されてもよい(図14(b)参照)。合成画像がストックエリア124内に表示されてもよい。また、合成画像がショートカット用画像として端末装置10に登録されてもよい。
また、変形例3が適用されることで、機能の情報を自動応答AIに送る順番に応じて、通知される連携機能が変更されてもよい。この場合、図15に示されている連携機能管理テーブルと同様に、第2実施形態に係る連携機能管理テーブルにおいても、機能画像の接続順と優先順位が定められている。
また、変形例4が適用されることで、機能画像内の部分毎に更に異なる機能が割り当てられてもよい。この場合、機能に紐付く部分画像がユーザの発言内容として自動応答AIに送られた場合、当該部分画像に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例3,4の組み合わせが第2実施形態に適用されてもよい。
また、変形例5が適用されることで、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置10に入力され、次に、連携対象の機能に関する情報がユーザの発言内容として端末装置10に入力されてもよい。
また、変形例6が適用されることで、自動応答AIが得た情報に応じて連携機能の通知が制御されてもよい。例えば、自動応答AIは、学習機能によって、機能の利用履歴を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報(操作履歴や行動履歴を示す情報)、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の通知を制御してもよい。
また、変形例7が適用されることで、連携対象となる機能が推奨されてもよい。例えば、ユーザが機能画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、その機能画像に紐付く機能を識別し、連携機能管理テーブルを参照することで、その機能との組み合わせで連携機能の実行が可能な機能を特定する。また、特定部28は、連携機能の使用履歴に基づいて機能を推奨してもよいし、使用頻度が比較的に高い機能を推奨してもよい。
また、変形例8が適用されることで、自動応答AIが他の自動応答AIとの間で共有した情報に基づいて、連携機能に用いられる機能が推奨されてもよい。
また、変形例9が適用されることで、音声入力によって、連携対象の機能に関する情報が端末装置10に入力されてもよい。
<第3実施形態>
以下、第3実施形態に係る機器システムについて説明する。第3実施形態は、上記の第1実施形態と第2実施形態の組み合わせに相当する。つまり、機器と機能の情報(例えば機器画像と機能画像)がユーザの発言内容として自動応答AIに送られた場合、その機器と機能とを利用して実行可能な連携機能が通知される。以下、第3実施形態について詳しく説明する。
図30には、第3実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能(例えばソフトウェア)とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、IDの組み合わせ(機器IDと機能IDとの組み合わせ)と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器AとしてのPC(A)と機能αとしてのデータ送信機能とを組み合わせることで、例えば、PC(A)を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。なお、合計で3個以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、3個以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、第3実施形態について具体例を挙げて説明する。
図31には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
例えば、自動応答AIの発言内容として、「どの機能を利用したいですか?」といった発言内容150が表示エリア48a内に表示される。
この発言内容150に対して、ユーザが機器を指定すると、特定部28(自動応答AIによって実現される特定部28)は、その機器を連携対象の機能として識別する。例えば図31に示すように、ユーザが、機器としてのPC(A)に紐付く機器画像60を指定し、その機器画像60をユーザの発言内容が表示される位置に配置することで、制御部26は、その機器画像60をユーザの発言内容として自動応答AIに送る。この操作に応じて、特定部28は、その機器画像60に紐付くPC(A)を連携対象の機器として識別する。図31に示す例では、ユーザが機器画像60を表示エリア48bに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、UI部20を操作することで、機器を示す文字列をユーザの発言内容として端末装置10に入力してもよい。この場合、特定部28は、その文字列が示す機器を連携対象の機器として識別する。また、音声によって連携対象の機器の情報がユーザの発言内容として端末装置10に入力されてもよい。
また、制御部26は、第1実施形態と同様に、ユーザ用の表示エリア48b内にストックエリア58を表示させ、そのストックエリア58内に機器画像を表示させてもよい。この場合、ユーザは、そのストックエリア58内から機器画像を選択し、その機器画像を、ユーザの発言内容の表示位置に移動させてもよい。この場合、制御部26は、その機器画像をユーザの発言内容として自動応答AIに送る。
また、図31に示す例では、自動応答AIの発言内容152の後で、機器画像60に続き、ユーザは機能を指定している。この場合、特定部28は、その機能を連携対象の機能として識別する。例えば、ユーザが、機能に紐付く機能画像154を指定し、その機能画像154をユーザの発言内容の表示位置に配置することで、制御部26は、その機能画像154をユーザの発言内容として自動応答AIに送る。この操作に応じて、特定部28は、その機能画像154に紐付く機能を連携対象の機能として識別する。図31に示す例では、ユーザが機能画像154を表示エリア48bに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、UI部20を操作することで、機能を示す文字列をユーザの発言内容として端末装置10に入力してもよい。この場合、特定部28は、その文字列が示す機能を連携対象の機能として識別する。また、音声によって連携対象の機能の情報がユーザの発言内容として端末装置10に入力されてもよい。
機能画像154は、画像形成機能に紐付く画像(例えば、画像形成ソフトウェアに紐付く画像や、複合機の機能に紐付く画像)である。機能画像154がユーザによって選択されて画像形成機能の起動指示が与えられると、例えば、画像形成ソフトウェアが起動して、印刷指示やスキャン指示が複合機に与えられる。
ユーザが画面48上で機器と機能の情報を自動応答AIに送った場合、つまり、機器と機能の情報を連携対象の情報として発言した場合、特定部28は、図30に示されている連携機能管理テーブルにおいて、当該機器と当該機能との組み合わせに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を、自動応答AIの発言内容として表示エリア48a内に表示させる。
上記の例では、機器画像60と機能画像154が連携対象として自動応答AIに送られている。この場合、特定部28(自動応答AIによって実現される特定部28)は、機器画像60に紐付くPC(A)と機能画像154に紐付く画像形成機能とを連携対象として識別する。なお、先に機器画像60を自動応答AIに送り、その後に機能画像154を自動応答AIに送ってもよいし、先に機能画像154を自動応答AIに送り、その後に機器画像60を自動応答AIに送ってもよい。
上記のように、機器画像60と機能画像154が自動応答AIに送られて連携対象の機器と機能が識別された場合、制御部26は、連携対象として識別された機器と機能の情報を自動応答AIの発言内容として表示エリア48a内に表示させてもよい。この発言内容に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容を発した場合)、PC(A)と画像形成機能とを利用して実行可能な連携機能に関する情報が表示エリア48a内に表示されてもよい。
特定部28は、機器画像60に紐付くPC(A)と機能画像154に紐付く画像形成機能との組み合わせに対応付けられている連携機能(例えば、「スキャン転送機能」や「プリント機能」等)を特定する。これにより、PC(A)と画像形成機能とを利用して実行可能な連携機能が特定される。このようにして特定された連携機能に関する情報は、自動応答AIの発言内容として表示エリア48a内に表示される。なお、機能や連携機能の特定処理は、サーバ16によって行われてもよい。
制御部26は、連携機能に関する情報を自動応答AIの発言内容156として表示エリア48a内に表示させる。
その発言内容156に対して、ユーザが発言内容によって連携機能を指定して実行指示を与えた場合、制御部26はその実行指示を受けて、連携機能を実行する。例えば、スキャン転送機能の実行指示が与えられた場合、例えば、画像形成ソフトウェアを利用することで、ユーザによって複合機が指定され、その複合機によるスキャンによって生成されたデータが、その複合機からPC(A)に転送される。
上記とは別の例として、例えば、複合機Bに紐付く機器画像とデータ送信機能に紐付く機能画像とがユーザの発言内容として自動応答AIに送られた場合、特定部28は、複合機Bとデータ送信機能を連携対象として識別する。この場合、特定部28は、図30に示されている連携機能管理テーブルを参照することで、複合機Bとデータ送信ソフトウェアとを利用して実行可能な連携機能を特定する。その連携機能を示す情報は、自動応答AIの発言内容として表示エリア48a内に表示される。
別の例として、連携対象の機器が基本連携機器として予め設定されていてもよいし、連携対象の機能が基本連携機能として予め定められていてもよい。基本連携機器や基本連携機能の情報は、端末装置10の記憶部24に予め記憶されていてもよい。ユーザがUI部20を利用して基本連携機器や基本連携機能を指定してもよい。基本連携機器や基本連携機能が設定されている場合、ユーザは、基本連携機器や基本連携機能以外の連携対象の機器や機能の情報をユーザの発言内容として自動応答AIに送る。これにより、連携対象の機器や機能が特定(識別)される。
以上のように第3実施形態によれば、自動応答AIと対話するための画面48上で、連携対象となる機器と機能の情報を対話内容として自動応答AIに送ることで、連携機能に関する情報が提供される。このように、自動応答AIとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、合計で3個以上の機器画像や機能画像がユーザの発言内容として自動応答AIに送られた場合、3個以上の機器や機能を利用して実行可能な連携機能を示す情報が自動応答AIの発言内容として表示されてもよい。
また、特定部28は、予め定められた制限時間内に機器と機能の情報がユーザの発言内容として自動応答AIに送られた場合、当該機器と当該機能を利用して実行可能な連携機能を特定し、当該制限時間内に1つの機器又は1つの機能の情報がユーザの発言内容として自動応答AIに送られた場合、当該1つの機器が有する機能又は当該1つの機能を単独機能として特定してもよい。この場合、特定部28によって特定された連携機能又は単独機能に関する情報がUI部20の表示部に表示される。制限時間の開始時点は、例えば、発言内容150のように、自動応答AIがユーザに連携対象を問い合わせた時点であってもよいし、発言内容150が発生した後に、ユーザが最初の機器画像や機能画像を自動応答AIに送った時点であってもよい。
例えば図31に示す例において、発言内容150のように自動応答AIがユーザに連携対象を問い合わせた時点から制限時間内に、ユーザが機器画像60のみをユーザの発言内容として自動応答AIに送った場合、特定部28は、機器画像60に紐付く機器が有する機能(単独機能)を識別する。制御部26は、その単独機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
一方、発言内容150のように自動応答AIがユーザに連携機能を問い合わせた時点から制限時間内に、ユーザが機器画像60と機能画像154をユーザの発言内容として自動応答AIに送った場合、特定部28は、図30に示されている連携機能管理テーブルにおいて、PC(A)と画像形成機能との組み合わせに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を表示エリア48a内に表示させる。
制限時間の開始時点が、ユーザが最初の画像(例えば機器画像60)を自動応答AIに送った時点である場合も、上記と同様の処理を行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、ユーザによって指定された機器と機能との組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部28は、利用可能な連携機能が登録されていないと判断する。この場合、制御部26は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答AIの発言内容として表示エリア48a内に表示させる。このような場合であっても、機器や機能の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部28は、利用可能になった連携機能を特定する。
また、第3実施形態においても、第1実施形態の変形例1から変形例9が適用されてもよい。
図32には、変形例1を第3実施形態に適用した場合の処理が示されている。変形例1が適用されることで、連携対象としての機器と機能の情報がユーザの発言内容として自動応答AIに送られた場合、当該機器と当該機能を利用して実行可能な連携機能が通知される。以下、図32を参照して、変形例1を第3実施形態に適用した場合の処理について説明する。
図31と同様に、自動応答AIの発言内容158として、「どの機能を利用したいですか?」といった発言内容が表示エリア48a内に表示される。
上記の発言内容158に対して、ユーザが、機器と機能が表された画像160をユーザの発言内容として指定して自動応答AIに送ると、特定部28は、その画像160に表されている機器と機能を連携対象として識別する。例えば、画像160に、機器画像60と機能画像154が表されている場合、特定部28は、機器画像60に基づいてPC(A)を連携対象の機器として識別し、機能画像154に基づいて画像形成機能を連携対象の機能として識別する。
ユーザは、画面48を操作することで、ストックエリア58から機器画像60を選択し、画像160上に機器画像60を重ねてもよい。同様に、ユーザは、画面48を操作することで、ストックエリア124から機能画像154を選択し、画像160上に機能画像154を重ねてもよい。これにより、画像160に機器画像60と機能画像154が表され、画像160がユーザの発言内容として自動応答AIに送られる。
上記のようにPC(A)と画像形成機能が連携対象として識別された場合、制御部26は、連携対象として識別された機器と機能の情報を自動応答AIの発言内容として表示エリア48a内に表示させてもよい。この発言内容に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容を発した場合)、PC(A)と画像形成機能とを利用して実行可能な連携機能に関する情報が、自動応答AIの発言内容162として表示エリア48a内に表示されてもよい。その発言内容162に対して、ユーザが発言内容164によって連携機能を指定して実行指示を与えた場合、制御部26は、指定された連携機能を実行する。
また、画像160内に合計で3つ以上の機器画像や機能画像が表示されている場合、合計で3つ以上の機器と機能を利用して実行可能な連携機能に関する情報が通知される。また、画像160内に1つの機器画像又は1つの機能画像が表示されている場合、その1つの機器画像に紐付く機能が有する機能(単独機能)、又は、その1つの機能画像に紐付く機能(単独機能)に関する情報が通知される。
また、機器画像や機能画像をストックエリアから選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に機器画像と機能画像がストックエリアから取り出されて画像160上に重ねられた場合、特定部28は、機器画像に紐付く機器と機能画像に紐付く機能とを利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。一方、制限時間内に1つの機器画像又は1つの機能画像がストックエリアから取り出されて画像160上に重ねられた場合、特定部28は、当該機器画像に紐付く機器が有する機能(単独機能)、又は、当該機能画像に紐付く機能(単独機能)を特定する。この場合、その単独機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。
また、変形例2が適用されることで、機器画像と機能画像がユーザの発言内容として自動応答AIに送られた場合、当該機器画像と当該機能画像が互いに重ねられた状態を表す合成画像が生成されてもよいし(図14(a)参照)、当該機器画像と当該機能画像が互いに隣り合って結合された合成画像が生成されてもよい(図14(b)参照)。合成画像がストックエリア内に表示されてもよい。また、合成画像がショートカット用画像として端末装置10に登録されてもよい。
また、変形例3が適用されることで、機器と機能の情報を自動応答AIに送る順番に応じて、通知される連携機能が変更されてもよい。この場合、図15に示されている連携機能管理テーブルと同様に、第3実施形態に係る連携機能管理テーブルにおいても、機器画像と機能画像の接続順と優先順位が定められている。
また、変形例4が適用されることで、機器画像内の部分毎に異なる機能が割り当てられていてもよいし、機能画像内の部分毎に更に異なる機能が割り当てられてもよい。この場合、機器の部分に紐付く部分画像がユーザの発言内容として自動応答AIに送られた場合、当該部分を利用して実行可能な連携機能に関する情報が表示される。同様に、機能に紐付く部分画像がユーザの発言内容として自動応答AIに送られた場合、当該部分画像に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例3,4の組み合わせが第3実施形態に適用されてもよい。
また、変形例5が適用されることで、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置10に入力され、次に、連携対象の機器と機能に関する情報がユーザの発言内容として端末装置10に入力されてもよい。
また、変形例6が適用されることで、自動応答AIが得た情報に応じて連携機能の通知が制御されてもよい。例えば、自動応答AIは、学習機能によって、機器と機能の利用履歴を示す情報、機器の実行状況を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報(操作履歴や行動履歴を示す情報)、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の通知を制御してもよい。
また、変形例7が適用されることで、連携対象となる機能が推奨されてもよい。例えば、ユーザが機器画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、その機器画像に紐付く機器を識別し、連携機能管理テーブルを参照することで、その機器との組み合わせで連携機能の実行が可能な機能を特定する。その機能がユーザに推奨される。同様に、連携対象となる機器が推奨されてもよい。例えば、ユーザが機能画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、その機能画像に紐付く機能を識別し、連携機能管理テーブルを参照することで、その機能との組み合わせで連携機能の実行が可能な機器を特定する。その機器がユーザに推奨される。また、特定部28は、連携機能の使用履歴に基づいて機器や機能を推奨してもよいし、使用頻度が比較的に高い機器や機能を推奨してもよい。
また、変形例8が適用されることで、自動応答AIが他の自動応答AIとの間で共有した情報に基づいて、連携機能に用いられる機能が推奨されてもよい。
また、変形例9が適用されることで、音声入力によって、連携対象の機器や機能に関する情報が端末装置10に入力されてもよい。
<第4実施形態>
以下、第4実施形態に係る機器システムについて説明する。第4実施形態では、ファイル(データ)の情報がユーザの発言内容として自動応答AIに送られた場合に、連携機能に関する情報が自動応答AIの発言内容として通知される。ファイルの情報は、ファイルを識別するための識別情報であり、例えば、ファイルに紐付くファイル画像や、その識別情報を示す文字情報や音声情報等である。例えば、ユーザがファイルに紐付くファイル画像を自動応答AIに送った場合や、ユーザがファイルの識別情報を示す文字列を端末装置10にて入力して自動応答AIに与えた場合や、ユーザが音声によってファイルの識別情報を自動応答AIに与えた場合、特定部28は、当該ファイルを識別する。以下、第4実施形態について詳しく説明する。
第4実施形態に係る連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。連携機能は、複数のソフトウェアを連携させることによって実現される機能である。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実現される機能であってもよい。
第4実施形態に係る連携機能について更に詳しく説明する。連携機能は、複数のファイル(データ)がユーザによって選択された場合に、当該複数のファイルを対象にして実行される機能である。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア(アプリケーション)が紐付けられている。連携機能は、ユーザによって選択された複数のファイルのそれぞれに紐付けられているアプリケーションを連携させることによって実現される機能である。
ファイルは、例えば、文書ファイル、画像ファイル、動画ファイル、表計算ファイル、プレゼンテーション用ファイル、図形(図面)ファイル、音声ファイル等である。
文書ファイルは、文書形式(文書フォーマット)を有するファイルであり、文字列やその他の情報によって構成されるファイルである。画像や表や図形が、その他の情報として文書ファイルに含まれてもよい。文書形式は、例えばテキスト形式やドキュメント形式等である。テキスト形式を有するデータ(例えば、拡張子として文字列「.txt」が紐付いているデータ)や、ドキュメント形式を有するデータ(例えば、拡張子として文字列「.doc」や「.docx」が紐付いているデータ)等が、文書ファイルに該当する。
画像ファイルは、画像形成(画像フォーマット)を有するファイルである。画像ファイルは、ラスター形式を有する画像データであってもよいし、ベクター形式を有する画像データであってもよい。画像形式は、例えばJPEG形式、BMP(ビットマップ)形式、PDF形式、GIF形式、TIFF形式、PNG形式、PICT形式等である。JPEG形式を有するデータ(拡張子として文字列「.jpeg」が紐付いているデータ)、BMP形式を有するデータ(拡張子として文字列「.bmp」が紐付いているデータ)、PDF形式を有するデータ(拡張子として文字列「.pdf」が紐付いているデータ)、GIF形式を有するデータ(拡張子として文字列「.gif」が紐付いているデータ)、TIFF形式を有するデータ(拡張子として文字列「.tiff」が紐付いているデータ)、PNG形式を有するデータ(拡張子として文字列「.png」が紐付いているデータ)、PICT形式を有するデータ(拡張子として文字列「.pict」が紐付いているデータ)等が、画像ファイルに該当する。もちろん、これら以外の形式を有する画像データが、第4実施形態に係る画像ファイルとして用いられてもよい。
動画ファイルは、動画形式(動画フォーマット)を有するファイルである。動画形式は、例えばAVI形式、MP4形式、MOV形式、MPEG2-TS形式、MPEG2-PS形式、WMV形式、FLV形式等である。AVI形式を有するデータ(拡張子として文字列「.avi」が紐付いているデータ)、MP4形式を有するデータ(拡張子として文字列「.mp4」が紐付いているデータ)、MOV形式を有するデータ(拡張子として文字列「.mov」が紐付いているデータ)、MPEG2-TS形式を有するデータ(拡張子として文字列「.m2ts」が紐付いているデータ)、MPEG2-PS形式を有するデータ(拡張子として文字列「.mpeg」が紐付いているデータ)、WMV形式を有するデータ(拡張子として文字列「.wmv」が紐付いているデータ)、FLV形式を有するデータ(拡張子として文字列「.flv」が紐付いているデータ)等が、動画ファイルに該当する。もちろん、これら以外の形式を有する動画データが、第4実施形態に係る動画ファイルとして用いられてもよい。
表計算ファイルは、表形式(表フォーマット)を有するファイルであり、表やグラフやその他の情報によって構成されるファイルである。文字列や画像や図形が、その他の情報として表計算ファイルに含まれてもよい。例えば、拡張子として文字列「.csv」や「.xls」や「.xlsx」が紐付いているデータである。
プレゼンテーション用ファイルは、プレゼンテーション用のシート形式(シートフォーマット)を有するファイルである。例えば、拡張子として文字列「.ppt」や「.pptx」が紐付いているデータが、プレゼンテーション用ファイルに該当する。プレゼンテーション用ファイルは、例えば、文字列、画像(静止画像や動画像)、図形、音声等によって構成される。
図形ファイルは、図形(図面)形式(図形フォーマット)を有するファイルである。図形ファイルは、例えば、図形作成ソフトウェア(例えば2次元CADや3次元CAD等)によって作成されるファイルである。例えば、DXF形式(フォーマット)を有するデータ(拡張子として文字列「.dxf」が紐付いているデータ)、DWG形式を有するデータ(拡張子として文字列「.dwg」が紐付いているデータ)等である。その他、拡張子として「.vsd」や「.vsdx」が紐付いているデータが図形ファイルとして扱われてもよい。
音声ファイルは、音声形式(音声フォーマット)を有するファイルである。音声形式は、例えば、非圧縮音声形式(WAV形式、AIFF形式、BWF形式等)、非可逆圧縮音声形式(mp3形式、AAC形式、WMA形式等)、可逆圧縮音声形式(TAK形式、FLAC形式等)等である。非圧縮音声形式を有するデータ(拡張子として「.wav」等が紐付いているデータ)、非可逆圧縮音声形式を有するデータ(拡張子として文字列「.mp3」等が紐付いているデータ)、非圧縮音声形式を有するデータ(拡張子として文字列「.tak」等が紐付いているデータ)等が、音声ファイルに該当する。
第4実施形態では、連携機能は、ファイルの形式(属性)毎に定められており、連携機能管理情報は、例えば、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報(連携機能情報)と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能IDや連携機能名称等である。ファイル形式は、上記の文書形式、画像形式、動画形式、表形式、シート形式、図形形式、音声形式等である。連携機能管理情報を参照することで、複数のファイル形式の組み合わせに対応する連携機能が特定(識別)される。
連携機能は、互いに異なる複数の機能(例えば、互いに異なるソフトウェア)を連携させることによって実現される機能であってもよいし、同一の機能(例えば、同一のソフトウェア)を連携させることによって実現される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、同じ機能を連携させることによって利用可能になる機能であってもよいし、互いに異なる機能を組み合わせることによって利用可能になる機能であってもよい。例えば、文書作成機能(文書作成ソフトウェア)と画像表示機能(画像表示ソフトウェア(例えば画像ビューア))とを連携させることによって、連携機能として、文書への画像の挿入(添付)機能や、画像上への文書(文字列、テキスト)の重畳機能が実現される。すなわち、文書作成機能と画像表示機能とを連携させることによって、画像挿入機能やテキスト重畳機能が実現される。
連携機能の概念の範疇には、複数の機能を連携させることによって新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数の表示機能を組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。また、複数の撮影機能を組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。また、通話機能と翻訳機能とを組み合わせることで、合体機能としての翻訳通話機能(通話内容を翻訳する機能)が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機能を連携させることで実現可能となる機能や、互いに異なる種類の機能を連携させることで実現可能となる機能が含まれてもよい。
連携機能管理情報によって管理されている連携機能は、端末装置10にインストールされているソフトウェアによって実行可能な機能であってもよいし、外部装置(例えばサーバや他の端末装置等)にインストールされているソフトウェアによって実行可能な機能であってもよいし、端末装置10にインストールされているソフトウェアと外部装置にインストールされているソフトウェアとによって実行可能な機能であってもよい。
なお、連携機能管理情報の別の例として、複数の機能(複数のソフトウェア)の組み合わせを示す情報と、当該複数の機能を連携させることによって実行可能な連携機能を示す情報(連携機能情報)と、が対応付けられていてもよい。
複数のファイルのそれぞれに紐付くファイル画像がユーザの発言内容として自動応答AIに送られた場合、特定部28は、連携機能管理情報において、当該複数のファイルの形式(ファイル形式)の組み合わせに対応付けられている連携機能を特定する。これにより、実行可能な連携機能が特定される。
以下、図33を参照して、第4実施形態に係る連携機能管理情報について詳しく説明する。図33には、第4実施形態に係る連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報(連携機能情報)と、が互いに対応付けられている。例えば、ユーザが複数のファイルの情報をユーザの発言内容として自動応答AIに送った場合、特定部28は、連携機能管理テーブルにおいて、当該複数のファイルのそれぞれのファイル形式の組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報はUI部20の表示部に表示される。なお、図33には、2つのファイル形式の組み合わせが示されているが、3つ以上のファイル形式の組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されていてもよい。
以下、図33に示されている各連携機能について説明する。
図33中の「文書形式」は、テキスト形式(拡張子が「.txt」である)やドキュメント形式(拡張子が「.doc」や「.docx」である)である。「表形式」は、拡張子が「.csv」や「.xls」等で表現される形式である。画像形式は、拡張子が「.jpeg」や「.pdf」等で表現される形式である。動画形式は、拡張子が「.avi」や「.mpeg」等で表現される形式である。シート形式は、拡張子が「.ppt」等で表現される形式である。図30には、図形形式や音声形式が示されていないが、これらを含む組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。もちろん、図33に示されているファイル形式以外のファイル形式を含む組み合わせと連携機能との対応付けが定められて連携機能管理テーブルに登録されてもよい。
以下、図33に示されている各連携機能について説明する。ユーザによって文書ファイルAと表計算ファイルBの情報がユーザの発言内容として自動応答AIに送られた場合、文書形式と表形式との組み合わせに対応付けられている「表を文書に挿入する機能」と「文書を表に挿入する機能」が連携機能として特定される。「表を文書に挿入する機能」は、文書ファイルAによって表される文書中に、表計算ファイルBによって表される表を挿入する機能である。「文書を表に挿入する機能」は、上記の表計算ファイルBによって表される表中に、文書ファイルAによって表される文書を挿入する機能である。
ユーザによって文書ファイルAと画像ファイルCの情報がユーザの発言内容として自動応答AIに送られた場合、文書形式と画像形式との組み合わせに対応付けられている「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能として特定される。「画像を文書に挿入する機能」は、文書ファイルAによって表される文書に、画像ファイルCによって表される画像を挿入する機能である。「文書を画像上に重畳する機能」は、画像ファイルCによって表される画像上に、文書ファイルAによって表される文書を重畳する機能である。
ユーザによって文書ファイルAと動画ファイルDの情報がユーザの発言内容として自動応答AIに送られた場合、文書形式と動画形式との組み合わせに対応付けられている「動画を文書に挿入する機能」と「静止画を文書に挿入する機能」が連携機能として特定される。「動画を文書に挿入する機能」は、文書ファイルAによって表される文書に、動画ファイルDによって表される動画を挿入する機能である。「静止画を文書に挿入するという機能」は、文書ファイルAによって表される文書に、動画ファイルDを構成する1又は複数のフレーム(静止画)を挿入する機能である。例えば、文書ファイルAは、動画に対応していない文書ファイル、つまり、動画を挿入することができないファイルに該当する場合において、「静止画を文書に挿入する機能」が実行された場合、動画ファイルD中の1又は複数フレーム(静止画)が、文書ファイルAによって表される文書に挿入される。
同一のファイル形式を有する複数のファイルがユーザによって選択されてもよい。例えば、ユーザによって文書ファイルA1,A2の情報がユーザの発言内容として自動応答AIに送られた場合、文書形式と文書形式との組み合わせに対応付けられている「文書同士を合体する機能」が連携機能として特定される。「文書同士を合体する機能」は、文書ファイルA1,A2が表す文書を合体する(例えば、2つの文書を結合する)ことで、文書ファイルA1,A2を残しつつ、又は、文書ファイルA1,A2を残さずに、別の新たな文書ファイルA3を生成する機能である。
ユーザによって表計算ファイルB1,B2の情報がユーザの発言内容として自動応答AIに送られた場合、表形式と表形式との組み合わせに対応付けられている「表同士を合体する機能」が連携機能として特定される。「表同士を合体する機能」は、表計算ファイルB1,B2が表す表を合体する(例えば、2つの表を結合する)ことで、表計算ファイルB1,B2を残しつつ、又は、表計算ファイルB1,B2を残さずに、別の新たな表計算ファイルB3を生成する機能である。
ユーザによって動画ファイルD1,D2の情報がユーザの発言内容として自動応答AIに送られた場合、動画形式と動画形式との組み合わせに対応付けられている「動画同士を合体する機能」が連携機能として特定される。「動画同士を合体する機能」は、動画ファイルD1,D2が表す動画を合体する(例えば、2つの動画を結合する)ことで、動画ファイルD1,D2を残しつつ、又は、動画ファイルD1,D2を残さずに、別の新たな動画ファイルD3を生成する機能である。
その他、ユーザによってプレゼンテーション用ファイルEと文書ファイルAの情報がユーザの発言内容として自動応答AIに送られた場合、シート形式と文書形式との組み合わせに対応付けられている「文書をプレゼンテーション用シートに挿入する機能」が連携機能として特定される。「文書をプレゼンテーション用シートに挿入する機能」は、プレゼンテーション用ファイルEによって表されるシートに、文書ファイルAによって表される文書を挿入する機能である。
以下、第4実施形態について具体例を挙げて詳しく説明する。
図34には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
例えば、自動応答AIの発言内容として、「どのファイルを利用したいですか?」といった発言内容166が表示エリア48a内に表示される。
この発言内容166に対して、ユーザがファイルを指定すると、特定部28(自動応答AIによって実現される特定部28)は、そのファイルを連携対象のファイルとして識別する。例えば図34に示すように、ユーザが、文書ファイルAに紐付くファイル画像168を指定し、そのファイル画像168をユーザの発言内容が表示される位置に配置することで、制御部26は、そのファイル画像168をユーザの発言内容として自動応答AIに送る。この操作に応じて、特定部28は、そのファイル画像168に紐付く文書ファイルAを連携対象のファイルとして識別する。図34に示す例では、ユーザがファイル画像168を表示エリア48bに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、UI部20を操作することで、ファイル名を示す文字列をユーザの発言内容として端末装置10に入力してもよい。この場合、特定部28は、その文字列が示すファイル名を有するファイルを連携対象のファイルとして識別する。また、音声によって連携対象のファイルの情報がユーザの発言内容として端末装置10に入力されてもよい。
例えば、制御部26は、第1実施形態と同様に、ユーザ用の表示エリア48b内にストックエリア170を表示させ、そのストックエリア170内にファイル画像を表示させる。例えば、制御部26は、そのストックエリア170内に、端末装置10に格納されているファイルに紐付くファイル画像を表示させる。また、ストックエリア170に表示しきれない他のファイル画像が存在する場合、ユーザが、ストックエリア170内に表示されているファイル画像をスクロール操作することで、当該他のファイル画像がストックエリア170内に表示される。
ユーザは、第1実施形態と同様に、ストックエリア170から連携対象のファイルに紐付くファイル画像(図34に示す例ではファイル画像168)を選択してストックエリア170の外側に移動させ、そのファイル画像168をユーザの発言内容として自動応答AIに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリア170からユーザの発言内容が表示される位置までファイル画像168を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部26は、ファイル画像168をユーザの発言内容として自動応答AIに送る。
また、図34に示す例では、ファイル画像168に続き、ユーザは、ストックエリア170から画像ファイルCに紐付くファイル画像172を選択し、そのファイル画像172をユーザの発言内容の表示位置まで移動させている。この操作によって、そのファイル画像172がユーザの発言内容として自動応答AIに送られる。
ユーザが画面48上で複数のファイルの情報を自動応答AIに送った場合、つまり、複数のファイルの情報を連携対象のファイルの情報として発言した場合、特定部28は、図33に示されている連携機能管理テーブルにおいて、当該複数のファイルに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を、自動応答AIの発言内容として表示エリア48a内に表示させる。
上記の例では、ファイル画像168,172が連携対象の機能として自動応答AIに送られている。この場合、特定部28は(自動応答AIによって実現される特定部28)は、ファイル画像168に紐付く文書ファイルAとファイル画像172に紐付く画像ファイルCを連携対象のファイルとして識別する。なお、先にファイル画像168を自動応答AIに送り、その後にファイル画像172を自動応答AIに送ってもよいし、先にファイル画像172を自動応答AIに送り、その後にファイル画像168を自動応答AIに送ってもよい。
上記のように、ファイル画像168,172が自動応答AIに送られて文書ファイルAと画像ファイルCが連携対象のファイルとして識別された場合、制御部26は、連携対象のファイルとして識別されたファイルの情報を自動応答AIの発言内容として表示エリア48a内に表示させてもよい。この発言内容に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容を発した場合)、文書ファイルAと画像ファイルCとを利用して実行可能な連携機能に関する情報が表示エリア48a内に表示される。
特定部28は、文書ファイルAの拡張子(例えば、文書ファイルAの属性情報として文書ファイルAに紐付けられている拡張子)に基づいて文書ファイルAのファイル形式を識別する。同様に、特定部28は、画像ファイルCの拡張子(例えば、画像ファイルCの属性情報として画像ファイルCに紐付けられている拡張子)に基づいて画像ファイルCのファイル形式を識別する。なお、拡張子は、ファイル名に含まれている場合がある。文書ファイルAの拡張子が、「.txt」や「.docx」等のように文書形式を表す拡張子に該当する場合、特定部28は、文書ファイルAのファイル形式は文書形式であると識別する。画像ファイルCの拡張子が、「.jpeg」等のように画像形式を表す拡張子に該当する場合、特定部28は、画像ファイルCのファイル形式は画像形式であると識別する。そして、特定部28は、図33に示されている連携機能管理テーブルにおいて、文書形式と画像形式との組み合わせに対応付けられている連携機能(「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」)を特定する。このようにして特定された連携機能に関する情報は、自動応答AIの発言内容として表示エリア48a内に表示される。なお、ファイルや連携機能の特定処理は、サーバ16によって行われてもよい。
制御部26は、連携機能に関する情報を自動応答AIの発言内容174として表示エリア48a内に表示させる。
その発言内容174に対して、ユーザが発言内容によって連携機能を指定して実行指示を与えた場合、制御部26(自動応答AIによって実現される制御部26)はその実行指示を受けて、連携機能を実行する。例えば、「画像を文書に挿入する機能」の実行指示がユーザによって与えられた場合、制御部26は、文書ファイルAによって表される文書中に、画像ファイルCによって表される画像を挿入する。
より詳しく説明すると、制御部26は、文書アプリケーションと画像アプリケーションを起動させる。文書アプリケーションは、文書形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア(プログラム)である。画像アプリケーションは、画像形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア(プログラム)である。なお、文書アプリケーションは、文書ファイルAに予め紐付けられていてもよいし、画像アプリケーションは、画像ファイルCに予め紐付けられていてもよい。制御部26は、画像アプリケーションが有する機能を利用することで、画像ファイルCから画像をコピーし、文書アプリケーションが有する機能を利用することで、文書ファイルAによって表される文書中に当該画像を貼り付ける。これにより、画像が挿入された文書が生成される。なお、制御部26は、画像アプリケーションが有る機能を利用することで、画像ファイルCによって表される画像から特定部分を表す部分画像を抽出し、その部分画像を文書中に貼り付けてもよい。文書において画像が貼り付けられる領域は、予め定められた領域であってもよいし、ユーザによって指定された領域であってもよいし、その画像に関連する文字列が記述されていると推測される領域であってもよい。例えば、制御部26は、画像に表されている特徴部分を表現する文字列を推測や検索し、文書において、その文字列と同一又は類似の意味を有する文字列が記述されている領域を、画像に関連する文字列が記述されている領域であると推測する。もちろん、別の手法によって、その領域が推測されてもよい。
「文書を画像上に重畳する機能」の実行指示がユーザによって与えられた場合も上記と同様に、文書アプリケーションが有する機能によって、文書ファイルAによって表される文書の全部又は一部がコピーされ、コピーされた文書が、画像ファイルCによって表される画像上に重畳される。文書においてコピーされる部分は、予め定められていてもよいし、ユーザによって指定されてもよい。また、画像において文書が重畳される部分は、予め定められていてもよいし、ユーザによって指定されてもよい。
制御部26は、連携機能を実行することで新たなファイルを生成してもよい。この場合、連携対象として選択された複数のファイル自体は編集されない。例えば、文書ファイルAと画像ファイルCが連携対象のファイルとして選択され、例えば「画像を文書に挿入する機能」の実行指示が与えられた場合、制御部26は、文書ファイルAによって表される文書中に画像ファイルCによって表される画像を貼り付けることで、新たな文書ファイルACを生成する。この場合、制御部26は、文書ファイルACに紐付く新たなファイル画像(例えばアイコン)を生成し、そのファイル画像を画面48に表示させてもよい。この場合、文書ファイルAと画像ファイルC自体は編集されない。
「文書を画像上に重畳する機能」の実行指示が与えられた場合も同様に、制御部26は、画像ファイルCによって表される画像上に、文書ファイルAによって表される文書の全部又は一部を重畳させることで、新たな画像ファイルCAを生成する。この場合も、文書ファイルAと画像ファイルC自体は編集されない。
別の例として、制御部26は、連携機能を実行することで、新たなファイルを生成せずに、連携対象として選択されたファイル自体を編集(加工等を含む)してもよい。上記の例で説明すると、制御部26は、文書ファイルAによって表される文書中に画像ファイルCによって表される画像を貼り付け、その画像の貼り付けが反映された文書ファイルを文書ファイルAとして保存する。この場合、文書ファイルAが更新される。
別の例として、連携対象のファイルが基本連携ファイルとして予め設定されていてもよい。基本連携ファイルの情報は、端末装置10の記憶部24に予め記憶されていてもよい。ユーザがUI部20を利用して基本連携ファイルを指定してもよい。基本連携ファイルが設定されている場合、ユーザは、基本連携ファイル以外の連携対象のファイルの情報をユーザの発言内容として自動応答AIに送る。これにより、連携対象のファイルが特定(識別)される。
以上のように第4実施形態によれば、自動応答AIと対話するための画面48上で、連携対象となるファイルの情報を対話内容として自動応答AIに送ることで、連携機能に関する情報が提供される。このように、自動応答AIとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、3個以上のファイル画像がユーザの発言内容として自動応答AIに送られた場合、3個以上のファイルの形式の組み合わせに対応付けられている連携機能に関する情報が表示されてもよい。
第4実施形態においては、ファイル同士の主従関係に応じて、連携機能に関する情報の表示や、実行される連携機能が変更されてもよい。例えば、ファイルに表されるコンテンツ自体の編集が可能なファイルが主ファイルに該当し、コンテンツ自体の編集が不可能なファイルが従ファイルに該当する。一例として、文書ファイルに表される文書自体の編集が可能な場合、当該文書ファイルは主ファイルに該当する。また、画像ファイルに表される画像自体の編集が不可能な場合(つまり、画像上にコンテンツを重畳させることは可能であるが、当該画像自体の編集が不可能な場合)、当該画像ファイルは従ファイルに該当する。他のファイルについても同様である。もちろん、文書ファイルであっても、文書の編集が不可能な文書ファイルは従ファイルに該当し、画像ファイルであっても、画像の編集が可能な画像ファイルは主ファイルに該当する。
特定部28は、ファイル形式(つまり拡張子)に基づいて、ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、特定部28は、文書形式を有するファイル、表形式を有するファイル、シート形式を有するファイル、及び、図形形式を有するファイルは、主ファイルに該当すると判断し、画像形式を有するファイル、動画形式を有するファイル、及び、音声形式を有するファイルは、従ファイルに該当すると判断してもよい。もちろん、ファイルが主ファイル又は従ファイルの何れかに該当するのかという判断は、ファイル形式によって一概に判断されずに、連携対象として選択されたファイルを個別的に判断することで、当該ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、画像形式を有するファイルであっても、画像の編集が可能なファイルであれば、当該ファイルは主ファイルに該当してもよい。
例えば、文書ファイルAに紐付くファイル画像168と画像ファイルCに紐付くファイル画像172が、ユーザの発言内容として自動応答AIに送られた場合、特定部28は、文書ファイルAに紐付く拡張子に基づいて、文書ファイルAが主ファイル又は従ファイルの何れかに該当するのかを判断し、画像ファイルCに紐付く拡張子に基づいて、画像ファイルCが主ファイル又は従ファイルの何れかに該当するのかを判断する。文書ファイルAの拡張子は、例えば「.docx」であり、画像ファイルCの拡張子は、例えば「.jpeg」であるものとする。この場合、文書ファイルAは、文書形式を有し編集可能なファイルに該当するため、特定部28は、文書ファイルAが主ファイルに該当すると判断する。また、画像ファイルCは、画像形式を有し編集不可能なファイルに該当するため、特定部28は、画像ファイルCが従ファイルに該当すると判断する。もちろん、特定部28は、拡張子に基づいて判断せずに、文書ファイルAと画像ファイルCを個別的に判断することで、文書ファイルAと画像ファイルCが編集可能なファイルに該当するか否かを判断してもよい。
文書ファイルAが主ファイルに該当し、画像ファイルCが従ファイルに該当するため、画像ファイルCに表された画像が貼り付け対象のコンテンツに該当し、文書ファイルAに表された文書が当該画像の貼り付け先のコンテンツに該当する。この場合、特定部28は、「画像を文書に挿入する機能」を連携機能として特定する。制御部26は、「画像を文書に挿入する機能」に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。特定部28によって複数の連携機能が特定された場合、制御部26は、複数の連携機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
また、制御部26は、図33に示されている連携機能管理テーブルに登録されている複数の連携機能の中で、ファイルの主従関係に基づいて特定された連携機能に関する情報を、他の連携機能に関する情報よりも優先的に自動応答AIの発言内容として表示エリア48a内に表示させてもよい。文書ファイルAと画像ファイルCを例に挙げて説明すると、文書形式と画像形式との組み合わせに対応する連携機能として、「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能管理テーブルに登録されている(図33参照)。この場合、特定部28は、ファイルの主従関係に基づいて特定された「画像を文書に挿入する機能」を優先順位が「1位」の連携機能として特定し、「文書を画像上に重畳する機能」を優先順位が「2位」の連携機能として特定する。制御部26は、優先順位に従って、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に(例えば上位に)自動応答AIの発言内容として表示エリア48a内に表示させる。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部26は、ユーザによる各連携機能の使用履歴に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を自動応答AIの発言内容として画面48に表示させてもよい。例えば、制御部26は、使用頻度の高い連携機能に関する情報ほど優先的に(例えば上位に)表示エリア48a内に表示させる。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部26は、連携対象として選択された複数のファイルの関係性(つまり、複数のファイル形式の関係性)に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させてもよい。例えば、制御部26は、複数のファイル形式に基づいて、特定部28によって特定された複数の連携機能に含まれる各連携機能について、使用される可能性の高さを決定する。制御部26は、使用される可能性が高い連携機能に関する情報ほど優先的に(例えば上位に)表示エリア48a内に表示させる。例えば、文書形式と画像形式との組み合わせにおいては、「文書を画像上に重畳する機能」よりも「画像を文書に挿入する機能」の方が使用される可能性が高いと予測される。この場合、制御部26は、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に表示エリア48a内に表示させる。
なお、特定部28は、予め定められた制限時間内に複数のファイルの情報がユーザの発言内容として自動応答AIに送られた場合、当該複数のファイルを利用して実行可能な連携機能を特定し、当該制限時間内に1つのファイルの情報がユーザの発言内容として自動応答AIに送られた場合、当該1つのファイルを利用して実行可能な単独機能として特定してもよい。この場合、特定部28によって特定された連携機能又は単独機能に関する情報がUI部20の表示部に表示される。制限時間の開始時点は、例えば、発言内容166のように、自動応答AIがユーザに連携対象を問い合わせた時点であってもよいし、発言内容166が発生した後に、ユーザが最初のファイル画像を自動応答AIに送った時点であってもよい。
例えば図34に示す例において、発言内容166のように自動応答AIがユーザに連携対象を問い合わせた時点から制限時間内に、ユーザがファイル画像168のみをユーザの発言内容として自動応答AIに送った場合、特定部28は、ファイル画像168に紐付くファイルを利用して実行可能な機能(単独機能)を識別する。制御部26は、その単独機能に関する情報を自動応答AIの発言内容として表示エリア48a内に表示させる。
一方、発言内容166のように自動応答AIがユーザに連携機能を問い合わせた時点から制限時間内に、ユーザがファイル画像168とファイル画像172をユーザの発言内容として自動応答AIに送った場合、特定部28は、図33に示されている連携機能管理テーブルにおいて、文書ファイル(文書形式を有するファイル)と画像ファイル(画像形式を有するファイル)との組み合わせに対応付けられている連携機能を特定する。制御部26は、その連携機能に関する情報を表示エリア48a内に表示させる。
制限時間の開始時点が、ユーザが最初の画像(例えばファイル画像168)を自動応答AIに送った時点である場合も、上記と同様の処理を行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、ユーザによって指定された複数のファイル形式の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部28は、利用可能な連携機能が登録されていないと判断する。この場合、制御部26は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答AIの発言内容として表示エリア48a内に表示させる。このような場合であっても、機器やソフトウェアの更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部28は、利用可能になった連携機能を特定する。
また、第4実施形態においても、第1実施形態の変形例1から変形例9が適用されてもよい。
図35には、変形例1を第4実施形態に適用した場合の処理が示されている。変形例1が適用されることで、連携対象としての複数のファイルの情報がユーザの発言内容として自動応答AIに送られた場合、当該複数のファイルを利用して実行可能な連携機能が通知される。以下、図35を参照して、変形例1を第4実施形態に適用した場合の処理について説明する。
図34と同様に、自動応答AIの発言内容176として、「どのファイルを利用したいですか?」といった発言内容が表示エリア48a内に表示される。
上記の発言内容176に対して、ユーザが、複数のファイルが表された画像178をユーザの発言内容として指定して自動応答AIに送ると、特定部28は、その画像178に表されている複数のファイルを連携対象のファイルとして識別する。例えば、画像178に、ファイル画像168,172が表されている場合、特定部28は、ファイル画像168に基づいて文書ファイルAを連携対象のファイルとして識別し、ファイル画像172に基づいて画像ファイルCを連携対象のファイルとして識別する。
ユーザは、画面48を操作することで、ストックエリア170からファイル画像168,172を選択し、画像178上にファイル画像168,172を重ねてもよい。これにより、画像178にファイル画像168,172が表され、画像178がユーザの発言内容として自動応答AIに送られる。
上記のように文書ファイルAと画像ファイルCが連携対象として識別された場合、制御部26は、連携対象として識別されたファイルの情報を自動応答AIの発言内容として画面48に表示させてもよい。この発言内容に対してユーザが承認した場合(例えば、ユーザが「はい。」といった発言内容を発した場合)、文書ファイルAと画像ファイルCとを利用して実行可能な連携機能に関する情報が、自動応答AIの発言内容180として表示エリア48a内に表示されてもよい。その発言内容180に対して、ユーザが発言内容182によって連携機能を指定して実行指示を与えた場合、制御部26は、指定された連携機能を実行する。
また、画像178内に3つ以上のファイル画像が表示されている場合、3つ以上のファイルを利用して実行可能な連携機能に関する情報が通知される。また、画像178内に1つのファイル画像が表示されている場合、その1つのファイル画像に紐付くファイルを利用して実行可能な機能(単独機能)に関する情報が通知される。
また、ファイル画像をストックエリアから選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に複数のファイル画像がストックエリアから取り出されて画像178上に重ねられた場合、特定部28は、当該複数のファイルを利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。一方、制限時間内に1つのファイル画像がストックエリアから取り出されて画像178上に重ねられた場合、特定部28は、当該ファイル画像に紐付くファイルを利用して実行可能な機能(単独機能)を特定する。この場合、その単独機能に関する情報が自動応答AIの発言内容として表示エリア48a内に表示される。
また、変形例2が適用されることで、複数のファイル画像がユーザの発言内容として自動応答AIに送られた場合、当該複数のファイル画像が互いに重ねられた状態を表す合成画像が生成されてもよいし(図14(a)参照)、当該複数のファイル画像が互いに隣り合って結合された合成画像が生成されてもよい(図14(b)参照)。合成画像がストックエリア170内に表示されてもよい。また、合成画像がショートカット用画像として端末装置10に登録されてもよい。
また、変形例3が適用されることで、複数のファイルの情報を自動応答AIに送る順番に応じて、通知される連携機能が変更されてもよい。この場合、図15に示されている連携機能管理テーブルと同様に、第4実施形態に係る連携機能管理テーブルにおいても、複数のファイル画像の接続順と優先順位が定められている。
また、変形例4が適用されることで、ファイル画像内の部分毎に更に異なる機能が割り当てられていてもよい。この場合、部分画像がユーザの発言内容として自動応答AIに送られた場合、当該部分に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例3,4の組み合わせが第4実施形態に適用されてもよい。
また、変形例5が適用されることで、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置10に入力され、次に、連携対象のファイルに関する情報がユーザの発言内容として端末装置10に入力されてもよい。
また、変形例6が適用されることで、自動応答AIが得た情報に応じて連携機能の通知が制御されてもよい。例えば、自動応答AIは、学習機能によって、ファイルの利用履歴を示す情報、機器の実行状況を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報(操作履歴や行動履歴を示す情報)、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の通知を制御してもよい。
また、変形例7が適用されることで、連携対象となる機能が推奨されてもよい。例えば、ユーザがファイル画像をユーザの発言内容として自動応答AIに送った場合、特定部28は、そのファイル画像に紐付くファイルを識別し、連携機能管理テーブルを参照することで、そのファイルの形式との組み合わせで連携機能の実行が可能な機能を特定する。また、特定部28は、連携機能の使用履歴に基づいてファイルを推奨してもよいし、使用頻度が比較的に高いファイルを推奨してもよい。
また、変形例8が適用されることで、自動応答AIが他の自動応答AIとの間で共有した情報に基づいて、連携機能に用いられる機能が推奨されてもよい。
また、変形例9が適用されることで、音声入力によって、連携対象のファイルの情報が端末装置10に入力されてもよい。
また、第4実施形態において、複数のファイルの名称(ファイル名)を示す情報がユーザの発言内容として自動応答AIに送られた場合、特定部28は、複数のファイル名に応じた連携機能を特定してもよい。そのための連携機能管理テーブルにおいては、ファイル名の組み合わせと連携機能とが互いに対応付けられており、特定部28は、その連携機能管理テーブルを参照することで、複数のファイル名の組み合わせに対応付けられている連携機能を特定する。
また、特定部28は、自動応答AIに送られたファイルの名称に基づいて、コンテンツが追加されるファイルを特定してもよい。例えば、自動応答AIに送られたファイルの名称(ファイル名)に、文字列「台帳」、「まとめ」、「管理」、「統計」、「グラフ」、「表」、「リスト」等のように、データをまとめるファイル(つまり、他のデータのコンテンツが追加されることが想定又は予測されるファイル)であることを示唆する文字列が含まれている場合、特定部28は、当該ファイルを、コンテンツの追加先のファイルとして識別する。また、特定部28は、上記のまとめ用の文字列が含まれないファイル名を有するファイルや、コンテンツ(材料)を提供するファイルであることを示唆する文字列が含まれるファイル名を有するファイルを、追加対象のコンテンツ(追加対象の材料)を含むファイルとして識別する。例えば、文字列「レシート」、「伝票」、「個人データ」、「機器データ」等が含まれるファイル名を有するファイルは、上記のまとめ用のファイルに該当せず、また、コンテンツ(材料)を提供するファイルであると判断される。
例えば、連携対象のファイルとして文書ファイルA1,A2がユーザの発言内容として自動応答AIに送られた場合において、文書ファイルA1が、上記のまとめ用の文字列を含むファイル名を有し、文書ファイルA2が、まとめ用の文字列を含まず材料提供用の文字列を含むファイル名を有する場合、特定部28は、材料側の文書ファイルA2をまとめ用の文書ファイルA1に記入、複製、統計処理等を行う連携機能を、優先的な連携機能として特定する。制御部26は、その優先的な連携機能を、他の連携機能よりも優先的に画面48に表示させる。
なお、連携対象の組み合わせは、上記の第1実施形態から第4実施形態における組み合わせに限定されるものではない。例えば、機器、機能(機器によって実行される機能とソフトウェアによって実行される機能を含む)、ファイル、及び、ソフトウェアの中の少なくとも2つの組み合わせが連携対象として選択された場合、その組み合わせを使用して実行可能な連携機能の通知が制御されてもよい。例えば、機器画像とファイル画像がユーザの発言内容として自動応答AIに送られた場合、特定部28は、当該機器画像に紐付く機器と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部26は、その連携機能に関する情報の通知として、その連携機能に関する情報を自動応答AIの発言内容として画面48に表示させてもよいし、音声情報として出力してもよい。具体例を挙げて説明すると、複合機Bに紐付く機器画像と文書ファイルに紐付くファイル画像とがユーザの発言内容として自動応答AIに送られた場合、特定部28は、複合機Bと文書ファイルとを使用して実行可能な連携機能(例えば、文書ファイルを複合機Bによって印刷する機能や、文書ファイルを複合機Bによってファクシミリ送信する機能等)を特定する。制御部26は、その連携機能に関する情報の通知を制御する。同様に、ソフトウェアに紐付く機能画像とファイル画像がユーザの発言内容として自動応答AIに送られた場合、特定部28は、当該機能画像に紐付く機能と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部26は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像とがユーザの発言内容として自動応答AIに送られた場合、特定部28は、文書アプリケーションと文書ファイルとを使用して実行可能な連携機能(例えば、文書アプリケーションによって文書ファイルを編集する機能や出力する機能等)を特定する。また、機器画像と機能画像とファイル画像がユーザの発言内容として自動応答AIに送られた場合、特定部28は、当該機器画像に紐付く機器と当該機能画像に紐付く機能(例えばソフトウェア)と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部26は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、複合機Bに紐付く機器画像と、文書アプリケーションに紐付く機能画像と、文書ファイルに紐付くファイル画像が、ユーザの発言内容として自動応答AIに送られた場合、特定部28は、複合機Bと文書アプリケーションと文書ファイルとを使用して実行可能な連携機能(例えば、文書アプリケーションによって文書ファイルを編集して複合機Bに出力し、複合機Bにて当該文書ファイルを印刷やファクシミリ送信する機能等)を特定する。上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル、ソフトウェアを組み合わせて実行可能な連携機能が定められてもよい。また、機器、機能、ファイル、及び、ソフトウェアの情報を、音声によって自動応答AIに伝えてもよい。
上記の第1実施形態から第4実施形態、及び、変形例1から変形例9は、RPA(Robotics Process Automation)による自動実行処理を設定するときに適用されてもよい。例えば、機器や機能やファイルに関する情報が設定者によって自動応答AIに送られた場合、その送られた情報の組み合わせ、及び、その組み合わせに対応付けられている連携機能が、設定内容として保存され、その設定内容に従って処理が実行される。RPAとして、例えば、データ入力や複数のアプリケーションソフトウェアの組み合わせで実行可能な作業等の定型処理、データの収集や分析等の処理、データに基づいて学習して判断する処理、等が行われてもよい。
<第5実施形態>
以下、第5実施形態に係る機器システムについて説明する。第5実施形態では、ユーザが自動応答AIと対話しているインターフェース(例えば画面48)上で、機器の利用指示(利用要求)を自動応答AIに与えた場合(例えば、機器の情報を自動応答AIに送った場合)、応答中の対話相手の表示が、その機器の表示に切り替えられる。以下、第5実施形態について詳しく説明する。
図36には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
例えば、自動応答AIの発言内容として、「どうしましたか?」といった発言内容184が表示エリア48a内に表示される。この発言内容184は自動応答AIの発言内容であるため、制御部26は、自動応答AIに紐付く画像50を表示エリア48a内に表示させ、発言内容184を自動応答AIの画像50に紐付く発言内容として表示エリア48a内に表示させる。なお、この自動応答AIは、機器に依存しない自動応答AIであり、汎用の自動応答AIともいえる。
この発言内容184に対して、ユーザが機器を指定すると、特定部28(自動応答AIによって実現される特定部28)は、その機器を識別する。例えば、ユーザが、機器の利用指示(利用要求)を示す発言内容として「複合機Bを利用したい」といった発言内容186を発したものとする。制御部26は、複合機Bの情報を含む発言内容186をユーザの発言内容として表示エリア48bに表示させ、その発言内容186を自動応答AIに送る。これにより、複合機Bの情報が自動応答AIに送られる。発言内容186は、ユーザの画像52に紐付く発言内容として表示エリア48b内に表示される。ユーザは、UI部20を操作することで、機器を示す文字列をユーザの発言内容として端末装置10に入力してもよいし、上記の第1実施形態と同様に、機器に紐付く機器画像(例えば、外観画像やアイコン等の画像)をユーザの発言内容として指定してもよい。機器画像を指定する場合、図8に示されているように、ユーザは、ストックエリア58から利用対象の機器に紐付く機器画像を選択し、その機器画像をユーザの発言内容の表示位置に移動させることで、その機器画像をユーザの発言内容として指定してもよい。
特定部28は、例えば図6に示されている機器機能管理テーブルを参照することで、ユーザが指定した機器が有する機能を特定する。上記の例では、複合機Bが指定されているため、特定部28は、複合機Bが有する機能を識別する。
ユーザが機器を指定してその機器が識別されると、制御部26は、対話相手の表示(例えば、対話相手に紐付く画像や対話相手を示す文字列)を、汎用の自動応答AIの表示(例えば、汎用の自動応答AIに紐付く画像や汎用の自動応答AIを示す文字列)から、ユーザによって指定された機器の表示(例えば、当該機器に紐付く画像や当該機器を示す文字列)に切り替える。
なお、対話相手の表示が、汎用の自動応答AIの表示から機器の表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答AIである。つまり、対話相手の発言内容は、端末装置10に搭載されている汎用の自動応答AIによって作成される。
上記の例では、複合機Bが利用対象の機器として指定されているため、制御部26は、自動応答AIに紐付く画像50に代えて、複合機Bに紐付く機器画像188を対話相手に紐付く画像として表示エリア48a内に表示させる。機器画像188は、複合機Bを撮影することで生成された画像(例えば複合機Bの外観画像)であってもよいし、複合機Bを模した画像(例えばアイコン)であってもよい。もちろん、制御部26は、機器画像188に代えて又は機器画像188と共に、複合機Bを示す文字列を、対話相手を示す情報として表示エリア48a内に表示させてもよい。
また、制御部26は、自動応答AIに紐付く画像50に代えて、機器の状態を表す機器画像を対話相手に紐付く画像として表示エリア48a内に表示させてもよい。上記の例では、制御部26は、複合機Bの状態を表す機器画像188を対話相手に紐付く画像として表示エリア48a内に表示させる。制御部26は、利用対象の機器から当該機器の状態を示す情報を取得し、その状態を表す機器画像の表示を制御する。制御部26は、例えば、機器が処理を実行している場合には、その処理を実行している様子を表す機器画像を対話相手に紐付く画像として表示し、機器が処理を実行していない場合、処理を実行していない様子を表す機器画像を対話相手に紐付く画像として表示し、機器の状態がスリープ状態に該当する場合、スリープ状態を表す機器画像を対話相手に紐付く画像として表示し、機器の電源が切れている場合、電源が切れている様子を表す機器画像を対話相手に紐付く画像として表示する。こうすることで、ユーザは、機器の状態を視覚的に確認することができる。例えば、複合機Bが印刷を行っている場合、制御部26は、複合機Bが印刷を行っている様子を表す機器画像188を対話相手に紐付く画像として表示エリア48a内に表示させる。機器の状態を表す画像は、予め作成されて記憶部24に記憶されていてもよいし、制御部26によって作成されてもよい。なお、制御部26は、機器画像に代えて又は機器画像と共に、機器の状態を示す文字列を表示エリア48a内に表示させてもよい。
また、制御部26は、「どの機能を利用したいですか?」といった発言内容190を、複合機Bの発言内容として表示エリア48a内に表示させる。その発言内容190自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、複合機Bがその発言内容190を発言しているかのように演出するために、その発言内容190を複合機Bの機器画像188に紐付く発言内容として表示エリア48a内に表示させる。制御部26は、特定部28によって特定された複合機Bが有する機能の一覧を、複合機Bの発言内容として表示エリア48a内に表示させてもよい。複合機Bは、例えばプリント機能やコピー機能等の画像形成機能を有する機器であるため、制御部26は、その画像形成機能の一覧を示す文字列や画像を、複合機Bの発言内容として表示エリア48a内に表示させてもよい。
上記の発言内容190に対して、ユーザは、複合機Bを利用して実行したい処理内容をユーザの発言内容として端末装置10に入力する。図36に示す例では、「ファイルXを印刷したい。」といった処理内容を示す発言内容192が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容192を解析することで、ユーザが要求する処理内容を特定し、その処理内容を複合機Bに実行させる。例えば、制御部26は、ファイルXのデータを含む印刷ジョブを複合機Bに送信する。その印刷ジョブを受けた複合機Bは、その印刷ジョブに従ってファイルXを印刷する。なお、制御部26は、印刷条件(例えば印刷部数、カラー印刷、白黒印刷等の条件)を設定するための画面をUI部20に表示させてもよい。印刷ジョブには、その画面で設定された条件が含まれ、複合機Bは、その条件に従って印刷を行う。
ファイルXの印刷が完了した場合、制御部26は、印刷が完了した旨を示す発言内容194を、複合機Bの発言内容として表示エリア48a内に表示させる。このときも、制御部26は、複合機Bに紐付く機器画像188を表示エリア48a内に表示させ、その発言内容194を複合機Bの機器画像188に紐付く発言内容として表示エリア48a内に表示させる。なお、発言内容194自体は、汎用の自動応答AIによって作成された発言内容である。
複合機Bによる処理が完了した場合、制御部26は、複合機Bに紐付く機器画像188に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容196を、自動応答AIの発言内容として表示エリア48a内に表示させる。
以上のように第5実施形態によれば、自動応答AIと対話する画面48上で、機器の利用指示(利用要求)を自動応答AIに与えた場合(例えば、機器の情報を自動応答AIに送った場合)、応答中の対話相手の表示がその機器の表示に切り替えられる。こうすることで、ユーザは、当該機器に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが機器に指示を与えるために機器の情報を自動応答AIに送った場合、その機器に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が機器に与えられているか否かを視覚的に確認することができる。
(変形例10)
以下、変形例10について説明する。変形例10では、機器の利用指示がユーザの発言内容として自動応答AIに与えられた場合、対話相手の表示が、汎用の自動応答AIの表示から機器の表示に切り替えられると共に、ユーザの対話相手としての自動応答AI(例えばプログラム)が、汎用の自動応答AIから機器に搭載されている自動応答AIに切り替えられる。
上記の例で説明すると、複合機Bに自動応答AIが搭載されている場合(複合機Bに自動応答AIのプログラムがインストールされている場合)、制御部26は、ユーザの対話相手としての自動応答AIを、端末装置10に搭載されている汎用の自動応答AI(端末装置10にインストールされている自動応答AIのプログラム)から、複合機Bに搭載されている自動応答AIに切り替える。
この場合、制御部26は、ユーザの発言内容を示す情報を、通信経路Nを介して複合機Bに送信する。複合機Bに搭載された自動応答AIは、端末装置10から送信されてきたユーザの発言内容を示す情報を受けて、ユーザの発言内容を解析し、その発言内容に対する回答等の返事を作成する。複合機Bの自動応答AIは、その返事を含む発言内容を示す情報を端末装置10に送信する。例えば、図36に示されている発言内容190,194は、複合機Bに搭載されている自動応答AIによって作成され、発言内容190,194を示す情報が、複合機Bから端末装置10に送信される。制御部26は、複合機Bから送られてきた発言内容(例えば発言内容190,194)を、複合機Bの発言として、複合機Bの機器画像188に紐付けて表示エリア48a内に表示させる。
複合機Bによる処理が完了した場合、制御部26は、図36に示すように、対話相手に紐付く画像を、複合機Bに紐付く機器画像188から汎用の自動応答AIに紐付く画像50に切り替え、更に、ユーザの対話相手としての自動応答AIを、複合機Bに搭載されている自動応答AIから端末装置10に搭載されている汎用の自動応答AIに切り替える。
変形例10によれば、機器に自動応答AIが搭載されている場合、その自動応答AIとユーザとの間で対話が行われるため、その間、端末装置10に搭載されている自動応答AIの処理の負荷が軽減される。また、機器に搭載されている自動応答AIが、汎用の自動応答AIと比べて、当該機器に関して高度の制御能力や情報収集能力を有している場合、機器に搭載されている自動応答AIがユーザの対話相手としてユーザと対話することで、より有用な情報がユーザに提供され得る。
(変形例11)
以下、図37を参照して、変形例11について説明する。変形例11では、機器の部分の利用指示(利用要求)が自動応答AIに与えられた場合(例えば、機器の部分の情報が自動応答AIに送られた場合)、応答中の対話相手の表示が、その部分の表示に切り替えられる。以下、変形例10について詳しく説明する。
図37には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
図36で示す例と同様に、「どうしましたか?」といった発言内容198が自動応答AIの発言内容として表示エリア48a内に表示され、この発言内容198に対して、機器の利用指示を示す発言内容として「複合機Bを利用したい。」といった発言内容200がユーザの発言内容として表示エリア48bに表示されている。複合機Bの情報を含む発言内容200が自動応答AIに送られているため、上記の第5実施形態と同様に、対話相手に紐付く画像が、汎用の自動応答AIに紐付く画像50から複合機Bに紐付く機器画像188に切り替えられる。また、「どの機能を利用したいですか?」といった発言内容202が複合機Bの発言内容として表示エリア48a内に表示され、「ファイルXを印刷したい。」といった発言内容204がユーザの発言内容として表示エリア48bに表示されている。
特定部28は、ユーザの発言内容204を解析することで、ユーザが要求する処理内容を特定し、その処理内容を複合機Bに実行させる。上記の第5実施形態と同様に、制御部26は、ファイルXのデータを含む印刷ジョブを複合機Bに送信し、複合機Bにその印刷ジョブを実行させる。
また、制御部26は、対話相手の表示を、その処理を実行するための機器の部分の表示に切り替える。プリント機能は複合機Bの「本体部」に割り当てられているため、制御部26は、対話相手の表示を、複合機Bの「本体部」の表示に切り替える。例えば、制御部26は、複合機Bに紐付く機器画像188に代えて、複合機Bの「本体部」に紐付く部分画像206を対話相手に紐付く画像として表示エリア48a内に表示させる。なお、処理内容を示す発言内容204が自動応答AIに送られることで、その処理を実行するための機器の部分の利用指示(利用要求)が自動応答AIに与えられたことになる。つまり、機器の部分の情報が自動応答AIに送られたことになる。上記の例で説明すると、「印刷したい」という処理内容が発言内容204に含まれているため、プリント機能が割り当てられている複合機Bの「本体部」の情報が、自動応答AIに送られたことになる。
また、制御部26は、自動応答AIに紐付く画像50に代えて、機器の部分の状態を表す部分画像を対話相手に紐付く画像として表示エリア48a内に表示させてもよい。上記の例では、制御部26は、複合機Bの「本体部」の状態を表す部分画像206を対話相手に紐付く画像として表示エリア48a内に表示させる。制御部26は、利用対象の機器から当該機器の各部分の状態を示す情報を取得し、その状態を表す部分画像の表示を制御する。制御部26は、例えば、機器の部分が処理を実行している場合には、その処理を実行している様子を表す部分画像を対話相手に紐付く画像として表示し、機器の部分が処理を実行していない場合、処理を実行していない様子を表す部分画像を対話相手に紐付く画像として表示し、機器の部分の状態がスリープ状態に該当する場合、スリープ状態を表す部分画像を対話相手に紐付く画像として表示し、機器の電源が切れている場合、電源が切れている様子を表す部分画像を対話相手に紐付く画像として表示する。こうすることで、ユーザは、機器の部分の状態を視覚的に確認することができる。例えば、複合機Bの「本体部」が印刷を行っている場合、制御部26は、複合機Bの「本体部」が印刷を行っている様子を表す部分画像206を対話相手に紐付く画像として表示エリア48a内に表示させる。機器の部分の状態を表す画像は、予め作成されて記憶部24に記憶されていてもよいし、制御部26によって作成されてもよい。なお、制御部26は、部分画像に代えて又は部分画像と共に、機器の部分の状態を示す文字列を表示エリア48a内に表示させてもよい。
ファイルXの印刷が完了した場合、制御部26は、印刷が完了した旨を示す発言内容208を、複合機Bの「本体部」の発言内容として表示エリア48a内に表示させる。このときも、制御部26は、複合機Bの「本体部」に紐付く部分画像206を表示エリア48a内に表示させ、その発言内容208を複合機Bの「本体部」の部分画像206に紐付く発言内容として表示エリア48a内に表示させる。
複合機Bによる処理が完了した場合、制御部26は、複合機Bの「本体部」に紐付く部分画像206に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容210を、自動応答AIの発言内容として表示エリア48a内に表示させる。
別の例として、ユーザの発言内容200として、機器の部分の情報(例えば、部分に紐付く部分画像や部分を示す文字列)が自動応答AIに送られた場合、制御部26は、対話相手の表示を、自動応答AIの表示からその部分の表示に切り替えてもよい。例えば、ユーザの発言内容200として「複合機Bの本体部(又は印刷部)を利用したい。」といった発言内容が自動応答AIに送られた場合、制御部26は、対話相手に紐付く画像を、自動応答AIに紐付く画像50から、複合機Bの「本体部」に紐付く部分画像206に切り替えてもよい。
以上のように変形例11によれば、自動応答AIと対話する画面48上で、機器の部分の利用指示(利用要求)を自動応答AIに与えた場合(例えば、機器の部分の情報を自動応答AIに送った場合)、対話相手の表示がその機器の部分の表示に切り替えられる。こうすることで、ユーザは、当該部分に対して指示を与えられるか否かを視覚的に確認することができる。
なお、機器の部分が対話相手として表示された場合、ユーザの対話相手は、端末装置10に搭載されている汎用の自動応答AIであってもよいし、その汎用の自動応答AIから当該機器や当該部分に搭載されている自動応答AIに切り替えられてもよい。
(変形例12)
以下、図38を参照して、変形例12について説明する。変形例12では、ユーザが複数の機器の利用指示(利用要求)を自動応答AIに与えた場合(例えば、複数の機器の情報を連携対象の情報として自動応答AIに送った場合)、応答中の対話相手の表示が、汎用の自動応答AIの表示から複数の機器の表示に切り替えられる。以下、変形例12について詳しく説明する。
図38には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
図36に示す例と同様に、「どうしましたか?」といった発言内容212が自動応答AIの発言内容として表示エリア48a内に表示される。
この発言内容212に対して、ユーザが複数の機器を連携対象の機器として指定すると、特定部28(自動応答AIによって実現される特定部28)は、当該複数の機器を連携対象の機器として識別する。例えば、ユーザが、複数の機器の利用指示(利用要求)を示す発言内容として「複合機BとPC(A)を利用したい。」といった発言内容214を発したものとする。制御部26は、複合機BとPC(A)の情報を含む発言内容214をユーザの発言内容として表示エリア48bに表示させ、その発言内容214を自動応答AIに送る。これにより、複合機BとPC(A)の情報が、連携対象の機器の情報として自動応答AIに送られる。ユーザは、UI部20を操作することで、複数の機器を示す文字列をユーザの発言内容として端末装置10に入力してもよいし、上記の第1実施形態と同様に、機器に紐付く機器画像(例えば、外観画像やアイコン等の画像)をユーザの発言内容として指定してもよい。機器画像を指定する場合、図8に示されているように、ユーザは、ストックエリア58から複数の機器画像を選択し、当該複数の機器画像をユーザの発言内容の表示位置に移動させることで、当該複数の機器画像をユーザの発言内容として指定してもよい。
特定部28は、例えば図7に示されている連携機能管理テーブルを参照することで、ユーザが指定した複数の機器を利用して実行可能な連携機能を特定する。上記の例では、複合機BとPC(A)が指定されているため、「スキャン転送機能」と「プリント機能」が、複合機BとPC(A)を利用して実行可能な連携機能として特定される(図7参照)。
ユーザが複数の機器を指定して当該複数の機器が識別されると、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定された複数の機器の表示に切り替える。
上記の例では、複合機BとPC(A)が連携対象の機器として指定されているため、制御部26は、自動応答AIに紐付く画像50に代えて、複合機Bに紐付く機器画像188とPC(A)に紐付く機器画像216を、対話相手に紐付く画像として表示エリア48a内に表示させる。機器画像216は、PC(A)を撮影することで生成された画像(例えばPC(A)の外観画像)であってもよいし、PC(A)を模した画像(例えばアイコン)であってもよい。もちろん、制御部26は、機器画像188,216に代えて又は機器画像188,216と共に、複合機BとPC(A)を示す文字列を、対話相手を示す情報として表示エリア48a内に表示させてもよい。
また、制御部26は、「どの機能を利用したいですか?」といった発言内容218を、複合機BとPC(A)の発言内容として表示エリア48a内に表示させる。その発言内容218自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、複合機BとPC(A)がその発言内容218を発言しているかのように演出するために、その発言内容218を、複合機Bの機器画像188とPC(A)の機器画像216とに紐付く発言内容として表示エリア48a内に表示させる。制御部26は、特定部28によって特定された連携機能の一覧を、複合機BとPC(A)の発言内容として表示エリア48a内に表示させてもよい。複合機BとPC(A)とを利用して実行可能な連携機能は、「スキャン転送機能」と「プリント機能」であるため(図7参照)、制御部26は、「スキャン転送機能」と「プリント機能」を示す文字列や画像を、複合機BとPC(A)の発言内容として表示エリア48a内に表示させてもよい。
上記の発言内容218に対して、ユーザは、実行したい連携機能をユーザの発言内容として端末装置10に入力する。図38に示す例では、「スキャンしたデータをPC(A)に送りたい。」といったスキャン転送機能を示す発言内容220が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容220を解析することで、ユーザが要求する連携機能を特定し、その連携機能を複合機BとPC(A)に実行させる。その実行のための処理は、上記の第1実施形態に係る処理と同じである。
スキャン転送が完了した場合、制御部26は、スキャン転送が完了した旨を示す発言内容222を、複合機BとPC(A)の発言内容として表示エリア48a内に表示させる。このときも、制御部26は、複合機Bに紐付く機器画像188とPC(A)に紐付く機器画像216を表示エリア48a内に表示させ、その発言内容222を、複合機Bの機器画像188とPC(A)の機器画像216とに紐付く発言内容として表示エリア48a内に表示させる。なお、発言内容222自体は、汎用の自動応答AIによって作成された発言内容である。
複合機BとPC(A)とによる処理が完了した場合、制御部26は、複合機Bに紐付く機器画像188とPC(A)に紐付く機器画像216に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容224を、自動応答AIの発言内容として表示エリア48a内に表示させる。
以上のように変形例12によれば、自動応答AIと対話する画面48上で、連携対象の複数の機器の利用指示(利用要求)を自動応答AIに与えた場合(例えば、連携対象の複数の機器の情報を自動応答AIに送った場合)、対話相手の表示が当該複数の機器の表示に切り替えられる。こうすることで、ユーザは、当該複数の機器に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが複数の機器に指示を与えるために複数の機器の情報を自動応答AIに送った場合、各機器に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が複数の機器に与えられているか否かを視覚的に確認することができる。
なお、複数の機器が対話相手として表示された場合、ユーザの対話相手は、端末装置10に搭載されている汎用の自動応答AIであってもよいし、その汎用の自動応答AIから当該複数の機器に搭載されている自動応答AIに切り替えられてもよい。例えば、複合機Bに自動応答AIが搭載されている場合、複合機Bに搭載されている自動応答AIが対話相手として機能してもよいし、PC(A)に自動応答AIが搭載されている場合、PC(A)に搭載されている自動応答AIが対話相手として機能してもよい。複合機BとPC(A)の両方に自動応答AIが搭載されている場合、複合機B又はPC(A)の何れかに搭載されている自動応答AIが対話相手として機能してもよい。
図38に示す例では、2つの機器の情報が自動応答AIに送られているが、3つ以上の機器の情報(例えば、3つ以上の機器画像や3つ以上の機器を示す文字列)が自動応答AIに送られてもよい。この場合、自動応答AIに紐付く画像50に代えて、3つ以上の機器画像が、対話相手に紐付く画像として表示エリア48a内に表示される。
また、変形例11,12を組み合わせてもよい。つまり、複数の部分が連携対象の部分として指定され、当該複数の部分の情報が自動応答AIに送られた場合、制御部26は、対話相手の表示を、複数の部分の表示に切り替えてもよい。なお、同一機器の中の複数の部分が指定されてもよいし、複数の機器の中から複数の部分が指定されてもよい。
(変形例13)
以下、図39及び図40を参照して、変形例13について説明する。図39及び図40には、ユーザの対話相手に紐付く画像が示されている。ここでは、連携対象の複数の機器(例えば複合機BとPC(A))の情報がユーザの対話内容として自動応答AIに送られたものとする。
図39(a)には、基本形の画像が示されている。上記の変形例12と同様に、複合機BとPC(A)の情報がユーザの発言内容として自動応答AIに送られた場合、複合機Bに紐付く機器画像188とPC(A)に紐付く機器画像216が、対話相手に紐付く画像として表示エリア48a内に表示される。
図39(a)に示すように、機器画像188,216が対話相手に紐付く画像として表示されている状態で、図39(b)に示すように、発言内容226が複合機Bの発言内容として表示エリア48a内に表示された場合、制御部26は、複合機Bに紐付く機器画像188をPC(A)に紐付く機器画像216よりも大きくして表示エリア48a内に表示させる。例えば、PC(A)が連携機能に含まれる処理を実行しておらず、複合機Bが連携機能に含まれる処理を実行しているときに、その処理に関する情報が複合機Bの発言内容として表示エリア48a内に表示される。この場合、機器画像188が機器画像216よりも大きくして表示される。こうすることで、ユーザは、連携機能に含まれる処理を行っている機器を視覚的に確認することができる。なお、複合機BとPC(A)の両方が連携機能に含まれる処理を実行している場合、図39(a)に示されるように、機器画像188,216は互いに同じ大きさを持って表示される。
一方、図39(c)に示すように、発言内容228がPC(A)の発言内容として表示エリア48a内に表示された場合、制御部26は、機器画像216を機器画像188よりも大きくして表示エリア48a内に表示させる。例えば、PC(A)が連携機能に含まれる処理を実行しており、複合機Bが連携機能に含まれる処理を実行していないときに、その処理に関する情報が複合機Bの発言内容として表示エリア48a内に表示される。
また、図38及び図39(a)に示す例では、機器画像188,216は横方向に並ぶように配置されて表示されているが、図39(d)に示すように、機器画像188,216は縦方向に並ぶように配置されて表示されてもよい。もちろん、これら以外の配置で機器画像188,216が表示されてもよい。
また、図39(e)に示すように、発言内容230が複合機Bの発言内容として表示エリア48a内に表示された場合、複合機Bに紐付く機器画像188がPC(A)に紐付く機器画像216よりも大きく表示されてもよい。発言内容がPC(A)の発言内容として表示エリア48a内に表示された場合、機器画像216が機器画像188よりも大きく表示される。
また、ユーザの発言の順番に応じて、機器画像の表示順が変更されてもよい。例えば、ユーザが、「複合機B」、「PC(A)」の順番で発言した場合、複合機Bに紐付く機器画像188、PC(A)に紐付く機器画像216の順番で、機器画像188,216が表示されてもよい。例えば、先に指定された機器(例えば複合機B)が、左側や上側に表示され、後に指定された機器(例えばPC(A))が、右側や下側に表示されてもよい。もちろん、指定の順番によらずに、機器の識別の順番や登録の順番等によって、表示順が定められてもよい。また、発話している機器(発言内容が紐付いている機器)の機器画像が、予め定められた位置(例えば左側や上側)に表示されてもよい。こうすることで、ユーザは、発話している機器(例えば処理を行っている機器)を視覚的に確認することができる。
図40には更に別の表示例が示されている。例えば、変形例11,12が組み合わされて、連携対象の複数の部分の情報がユーザの発言内容として自動応答AIに送られた場合、制御部26は、対話相手の表示を、複数の部分の表示に切り替える。図40(a)にはその表示の一例が示されている。例えば、複合機Bの「本体部」とPC(A)の「表示部」が連携対象の部分として指定され、それらの情報がユーザの発言内容として自動応答AIに送られた場合、複合機Bの「本体部」に紐付く部分画像206と、PC(A)の「表示部」に紐付く部分画像232が、対話相手に紐付く画像として表示エリア48a内に表示される。なお、複数の部分が対話相手として表示される場合、図39(a)から図39(e)の何れかに示されている表示例が適用されてもよい。
また、機器が処理を実行している場合、制御部26は、機器において処理を実行している部分に紐付く部分画像を、対話相手に紐付く画像として表示エリア48a内に表示させてもよい。例えば、複合機Bの「本体部」がプリントを実行している場合、制御部26は、図40(b)に示すように、その「本体部」に紐付く部分画像206を、対話相手に紐付く画像として表示エリア48a内に表示させる。同様に、複合機Bの「読取部」がスキャンを実行している場合、制御部26は、その「読取部」に紐付く部分画像を、対話相手に紐付く画像として表示エリア48a内に表示させる。こうすることで、ユーザは、処理を実行している部分を視覚的に確認することができる。また、制御部26は、画面48上でユーザが指示した処理(例えば印刷ジョブ等)を実行している部分(例えば複合機Bの「本体部」)に紐付く部分画像を、対話相手に紐付く画像として表示エリア48a内に表示させてもよい。こうすることで、ユーザは、当該ユーザ自身が指示した処理を実行している部分を視覚的に確認することができる。
また、図40(c)に示すように、汎用の自動応答AIに紐付く画像50内に、自動応答AI自体を表す画像50aと、自動応答AI以外の背景を表す背景画像50bが表されてもよい。機器(例えば複合機B)の情報が自動応答AIに送られた場合、図40(d)に示すように、画像50の全体が機器画像188に置き換えられてもよい。別の例として、図40(e)に示すように、画像50が、複合機B自体を表す画像188aと背景画像50bが表された機器画像188に置き換えられてもよい。つまり、背景画像50bはそのままの状態で表示されてもよい。
<第6実施形態>
以下、第6実施形態に係る機器システムについて説明する。第6実施形態では、ユーザが自動応答AIと対話しているインターフェース(例えば画面48)上で、機能の利用指示(利用要求)を自動応答AIに送った場合(例えば、機能の情報を自動応答AIに送った場合)、応答中の対話相手の表示が、その機能の表示に切り替えられる。以下、第6実施形態について詳しく説明する。
図41には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
例えば、自動応答AIの発言内容として、「どうしましたか?」といった発言内容234が画面48に表示される。この発言内容234は自動応答AIの発言内容であるため、制御部26は、自動応答AIに紐付く画像50を表示エリア48a内に表示させ、発言内容234を自動応答AIの画像50に紐付く発言内容として表示エリア48a内に表示させる。なお、この自動応答AIは、機器に依存しない自動応答AIであり、汎用の自動応答AIともいえる。
この発言内容234に対して、ユーザが機能を指定すると、特定部28(自動応答AIによって実現される特定部28)は、その機能を識別する。例えば、ユーザが、機能の利用指示(利用要求)を示す発言内容として「パスワード機能を利用したい。」といった発言内容236を発したものとする。制御部26は、パスワード機能の情報を含む発言内容236をユーザの発言内容として表示エリア48bに表示させ、その発言内容236を自動応答AIに送る。これにより、パスワード機能の情報が自動応答AIに送られる。発言内容236は、ユーザの画像52に紐付く発言内容として表示エリア48b内に表示される。ユーザは、UI部20を操作することで、機能を示す文字列をユーザの発言内容として端末装置10に入力してもよいし、上記の第2実施形態と同様に、機能に紐付く機能画像(例えばアイコン等の画像)をユーザの発言内容として指定してもよい。機能画像を指定する場合、図27に示されているように、ユーザは、ストックエリア124から利用対象の機能に紐付く機能画像を選択し、その機能画像をユーザの発言内容の表示位置に移動させることで、その機能画像をユーザの発言内容として指定してもよい。
ユーザが機能を指定してその機能が識別されると、制御部26は、対話相手の表示(例えば、対話相手に紐付く画像や対話相手を示す文字列)を、汎用の自動応答AIの表示(例えば、汎用の自動応答AIに紐付く画像や汎用の自動応答AIを示す文字列)から、ユーザによって指定された機能の表示(例えば、当該機能に紐付く画像や当該機能を示す文字列)に切り替える。
なお、対話相手の表示が、汎用の自動応答AIの表示から機能の表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答AIである。つまり、対話相手の発言内容は、端末装置10に搭載されている汎用の自動応答AIによって作成される。
上記の例では、パスワード機能が利用対象の機能として指定されているため、制御部26は、自動応答AIに紐付く画像50に代えて、パスワード機能に紐付く機能画像238を対話相手に紐付く画像として表示エリア48a内に表示させる。機能画像238は、例えばアイコンである。もちろん、制御部26は、機能画像238に代えて又は機能画像238と共に、パスワード機能を示す文字列を、対話相手を示す情報として表示エリア48a内に表示させてもよい。
また、制御部26は、自動応答AIに紐付く画像50に代えて、機能の状態(例えば、その機能を実現するソフトウェアの状態や、その機能を実現する機器の状態)を表す機能画像を対話相手に紐付く画像として表示エリア48a内に表示させてもよい。上記の例では、制御部26は、パスワード設定ソフトウェアの状態を表す機能画像238を対話相手に紐付く画像として表示エリア48a内に表示させる。制御部26は、機能を実現するソフトウェアや機器から当該ソフトウェアや当該機器の状態を示す情報を取得し、その状態を表す機能画像の表示を制御する。制御部26は、例えば、その機能を実現するソフトウェアや機器が処理を実行している場合には、その処理を実行している様子を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現するソフトウェアや機器が処理を実行していない場合、処理を実行していない様子を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現する機器の状態がスリープ状態に該当する場合、スリープ状態を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現するソフトウェアの状態がフリーズ状態に該当する場合、フリーズ状態を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現する機器の電源が切れている場合、電源が切れている様子を表す機能画像を対話相手に紐付く画像として表示する。こうすることで、ユーザは、機能の状態を視覚的に確認することができる。例えば、パスワード設定ソフトウェアが別のデータに対してパスワードを設定している場合、制御部26は、パスワード設定ソフトウェアがパスワード設定処理を行っている様子を表す機能画像238を対話相手に紐付く画像として表示エリア48a内に表示させる。機器の状態を表す画像は、予め作成されて記憶部24に記憶されていてもよいし、制御部26によって作成されてもよい。なお、制御部26は、機器画像に代えて又は機器画像と共に、機能の状態を示す文字列を表示エリア48a内に表示させてもよい。
また、制御部26は、「どのファイルにパスワードを掛けますか?」といった発言内容240を、パスワード機能の発言内容として表示エリア48a内に表示させる。その発言内容240自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、パスワード機能がその発言内容240を発言しているかのように演出するために、その発言内容240をパスワード機能の機能画像238に紐付く発言内容として表示エリア48a内に表示させる。
上記の発言内容240に対して、ユーザは、パスワード設定の対象となるファイルを指定する。図41に示す例では、「ファイルX」といった内容を示す発言内容242が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容242を解析することで、ユーザが要求する処理内容を特定し、その処理内容をパスワード設定ソフトウェアに実行させる。例えば、制御部26は、パスワード設定ソフトウェアを起動させ、そのパスワード設定ソフトウェアによって、ユーザによって指定されたファイルXにパスワードを設定する。なお、制御部26は、パスワードを設定するための画面をUI部20に表示させてもよい。
パスワードの設定が完了した場合、制御部26は、パスワードの設定が完了した旨を示す発言内容244を、パスワード機能の発言内容として表示エリア48a内に表示させる。このときも、制御部26は、パスワード機能に紐付く機能画像238を表示エリア48a内に表示させ、その発言内容244をパスワード機能の機能画像238に紐付く発言内容として表示エリア48a内に表示させる。なお、発言内容244自体は、汎用の自動応答AIによって作成された発言内容である。
パスワード機能による処理が完了した場合、制御部26は、パスワード機能に紐付く機能画像238に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容246を、自動応答AIの発言内容として表示エリア48a内に表示させる。
以上のように第6実施形態によれば、自動応答AIと対話する画面48上で、機能の利用指示(利用要求)を自動応答AIに与えた場合(例えば、機能の情報を自動応答AIに送った場合)、応答中の対話相手の表示がその機能の表示に切り替えられる。こうすることで、ユーザは、当該機能に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが機能に指示を与えるために機能の情報を自動応答AIに送った場合、その機能に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が機能に与えられているか否かを視覚的に確認することができる。
変形例10が第6実施形態に適用されてもよい。例えば、機能毎に自動応答AIのプログラムが割り当てられて、各自動応答AIのプログラムが端末装置10にインストールされている場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から機能の表示に切り替えると共に、ユーザの対話相手としての自動応答AIを、汎用の自動応答AIから当該機能に割り当てられている自動応答AIに切り替えてもよい。
変形例11が第6実施形態に適用されてもよい。例えば、機能画像内の部分毎に更に機能が割り当てられている場合において、その部分に紐付く画像が、ユーザの発言内容として自動応答AIに送られた場合、その部分に紐付く画像が、対話相手に紐付く画像として表示エリア48a内に表示されてもよい。
変形例12が第6実施形態に適用されてもよい。例えば、ユーザが複数の機能の利用指示(利用要求)を自動応答AIに与えた場合(例えば、複数の機能の情報を連携対象の情報として自動応答AIに送った場合)、応答中の対話相手の表示が、汎用の自動応答AIの表示から複数の機能の表示に切り替えられる。以下、図42を参照して、第6実施形態に変形例12を適用した場合の処理について説明する。
図42には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
図41に示す例と同様に、「どうしましたか?」といった発言内容248が自動応答AIの発言内容として表示エリア48a内に表示される。
この発言内容248に対して、ユーザが複数の機能を連携対象の機能として指定すると、特定部28(自動応答AIによって実現される特定部28)は、当該複数の機能を連携対象の機能として識別する。例えば、ユーザが、複数の機能の利用指示(利用要求)を示す発言内容として「パスワード機能とデータ送信機能を利用したい。」といった発言内容250を発したものとする。制御部26は、パスワード機能とデータ送信機能の情報を含む発言内容250をユーザの発言内容として表示エリア48bに表示させ、その発言内容250を連携対象の情報として自動応答AIに送る。これにより、パスワード機能とデータ送信機能の情報が、連携対象の機能の情報として自動応答AIに送られる。ユーザは、UI部20を操作することで、複数の機能を示す文字列をユーザの発言内容として端末装置10に入力してもよいし、上記の第2実施形態と同様に、機能に紐付く機能画像(例えばアイコン)をユーザの発言内容として指定してもよい。機能画像を指定する場合、図27に示されているように、ユーザは、ストックエリア124から複数の機能画像を選択し、当該複数の機能画像をユーザの発言内容の表示位置に移動させることで、当該複数の機能画像をユーザの発言内容として指定してもよい。
特定部28は、例えば図26に示されている連携機能管理テーブルを参照することで、ユーザが指定した複数の機能を利用して実行可能な連携機能を特定する。上記の例では、パスワード機能とデータ送信機能が指定されているため、例えば、「データにパスワードを設定して送信する機能」等が、連携機能として特定される。
ユーザが複数の機能を指定して当該複数の機能が識別されると、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定された複数の機能の表示に切り替える。
上記の例では、パスワード機能とデータ送信機能が連携対象の機能として指定されているため、制御部26は、自動応答AIに紐付く画像50に代えて、パスワード機能に紐付く機能画像238とデータ送信機能に紐付く機能画像252を、対話相手に紐付く画像として表示エリア48a内に表示させる。もちろん、制御部26は、機能画像238,252に代えて又は機能画像238,252と共に、パスワード機能とデータ送信機能を示す文字列を、対話相手を示す情報として表示エリア48a内に表示させてもよい。
また、制御部26は、「どのファイルを処理しますか?」といった発言内容254を、パスワード機能とデータ送信機能の発言内容として表示エリア48a内に表示させる。その発言内容254自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、パスワード機能とデータ送信機能がその発言内容254を発言しているかのように演出するために、その発言内容254を、パスワード機能の機能画像238とデータ送信機能の機能画像252とに紐付く発言内容として表示エリア48a内に表示させる。制御部26は、特定部28によって特定された連携機能の一覧を、パスワード機能とデータ送信機能の発言内容として表示エリア48a内に表示させてもよい。
上記の発言内容254に対して、ユーザは、処理対象となるファイルを指定する。図42に示す例では、「ファイルX」といった内容を示す発言内容256が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容256を解析することで、ユーザが要求する処理内容を特定し、その処理内容をパスワード設定ソフトウェアとデータ送信ソフトウェアに実行させる。例えば、制御部26は、パスワード設定ソフトウェアとデータ送信ソフトウェアを起動させ、そのパスワード設定ソフトウェアによって、ユーザによって指定されたファイルXにパスワードを設定し、データ送信ソフトウェアによって、パスワードが設定されたファイルXを送信先(ユーザによって指定された送信先や予め定められた送信先等)に送信する。なお、制御部26は、パスワードを設定するための画面や送信先を設定するための画面をUI部20に表示させてもよい。
連携機能の実行が完了した場合、制御部26は、その連携機能の実行が完了した旨を示す発言内容258を、パスワード機能とデータ送信機能の発言内容として表示エリア48a内に表示させる。このときも、制御部26は、パスワード機能に紐付く機能画像238とデータ送信機能に紐付く機能画像252を表示エリア48a内に表示させ、その発言内容258をパスワード機能の機能画像238とデータ送信機能の機能画像252に紐付く発言内容として表示エリア48a内に表示させる。なお、発言内容258自体は、汎用の自動応答AIによって作成された発言内容である。
連携機能の実行が完了した場合、制御部26は、パスワード機能に紐付く機能画像238とデータ送信機能に紐付く機能画像252に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容260を、自動応答AIの発言内容として表示エリア48a内に表示させる。
以上のように変形例12を第6実施形態に適用することで、自動応答AIと対話する画面48上で、連携対象の複数の機能の利用指示(利用要求)を自動応答AIに与えた場合(例えば、連携対象の複数の機能の情報を対話内容として自動応答AIに送った場合)、対話相手の表示が当該複数の機能の表示に切り替えられる。こうすることで、ユーザは、当該複数の機能に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが複数の機能に指示を与えるために複数の機能の情報を自動応答AIに送った場合、各機能に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が複数の機能に与えられているか否かを視覚的に確認することができる。
なお、複数の機能が対話相手として表示された場合、ユーザの対話相手は、汎用の自動応答AIであってもよいし、その汎用の自動応答AIから機能毎の自動応答AIに切り替えられてもよい。
図42に示す例では、2つの機能の情報が自動応答AIに送られているが、3つ以上の機能の情報(例えば、3つ以上の機能画像や3つ以上の機能を示す文字列)が自動応答AIに送られてもよい。この場合、自動応答AIに紐付く画像50に代えて、3つ以上の機能画像が、対話相手に紐付く画像として表示エリア48a内に表示される。
また、変形例11,12の組み合わせが第6実施形態に適用されてもよい。つまり、機能画像内の部分毎に更に機能が割り当てられている場合において、複数の部分に紐付く画像が、ユーザの発言内容として自動応答AIに送られた場合、複数の部分の画像が、対話相手に紐付く画像として表示エリア48a内に表示されてもよい。
また、変形例13が第6実施形態に適用されてもよい。つまり、第6実施形態においても、図39及び図40に示されている表示例に従って各機器画像が表示されてもよい。
<第7実施形態>
以下、第7実施形態に係る機器システムについて説明する。第7実施形態では、ユーザが自動応答AIと対話しているインターフェース(例えば画面48)上で、機器と機能の利用指示(利用要求)を自動応答AIに与えた場合(例えば、機器と機能の情報を自動応答AIに送った場合)、応答中の対話相手の表示が、その機器と機能の表示に切り替えられる。以下、第7実施形態について詳しく説明する。
図43には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
例えば、自動応答AIの発言内容として、「どうしましたか?」といった発言内容262が画面48に表示される。この発言内容262は自動応答AIの発言内容であるため、制御部26は、自動応答AIに紐付く画像50を表示エリア48a内に表示させ、発言内容262を自動応答AIの画像50に紐付く発言内容として表示エリア48a内に表示させる。なお、この自動応答AIは、機器に依存しない自動応答AIであり、汎用の自動応答AIともいえる。
この発言内容262に対して、ユーザが機器と機能を連携対象として指定すると、特定部28(自動応答AIによって実現される特定部28)は、その機器と機能を連携対象として識別する。例えば、ユーザが、機器と機能の利用指示(利用要求)を示す発言内容として「複合機Bとパスワード機能を利用したい。」といった発言内容264を発したものとする。制御部26は、複合機Bとパスワード機能の情報を含む発言内容264をユーザの発言内容として表示エリア48bに表示させ、その発言内容264を自動応答AIに送る。これにより、複合機Bとパスワード機能の情報が、連携対象の情報として自動応答AIに送られる。発言内容264は、ユーザの画像52に紐付く発言内容として表示エリア48b内に表示される。ユーザは、UI部20を操作することで、機器と機能を示す文字列をユーザの発言内容として端末装置10に入力してもよいし、上記の第3実施形態と同様に、機器に紐付く機器画像と機能に紐付く機能画像をユーザの発言内容として指定してもよい。機器画像を指定する場合、図8に示されているように、ユーザは、ストックエリア58から連携対象の機器に紐付く機器画像を選択し、その機器画像をユーザの発言内容の表示位置に移動させることで、その機器画像をユーザの発言内容として指定してもよい。同様に、機能画像を指定する場合、図27に示されているように、ユーザは、ストックエリア124から利用対象の機能に紐付く機能画像を選択し、その機能画像をユーザの発言内容の表示位置に移動させることで、その機能画像をユーザの発言内容として指定してもよい。
特定部28は、例えば図30に示されている連携機能管理テーブルを参照することで、ユーザが指定した機器と機能とを利用して実行可能な連携機能を特定する。上記の例では、複合機Bとパスワード機能が指定されているため、例えば、「複合機Bによるスキャンによって生成されたデータにパスワードを掛ける機能」等が、連携機能として特定される。
ユーザが機器と機能を連携対象として指定し、その機器と機能が連携対象として識別されると、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定された機器と機能の表示に切り替える。
なお、対話相手の表示が、汎用の自動応答AIの表示から機器と機能の表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答AIである。つまり、対話相手の発言内容は、端末装置10に搭載されている汎用の自動応答AIによって作成される。
上記の例では、複合機Bとパスワード機能が連携対象として指定されているため、制御部26は、自動応答AIに紐付く画像50に代えて、複合機Bに紐付く機器画像188とパスワード機能に紐付く機能画像238を、対話相手に紐付く画像として表示エリア48a内に表示させる。もちろん、制御部26は、機器画像188及び機能画像238に代えて、又は、機器画像188及び機能画像238と共に、複合機Bとパスワード機能を示す文字列を、対話相手を示す情報として表示エリア48a内に表示させてもよい。
また、制御部26は、「どの機能を利用したいですか?」といった発言内容266を、複合機Bとパスワード機能の発言内容として表示エリア48a内に表示させる。その発言内容266自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、複合機Bとパスワード機能がその発言内容266を発言しているかのように演出するために、その発言内容266を、複合機Bの機器画像188とパスワード機能の機能画像238とに紐付く発言内容として表示エリア48a内に表示させる。制御部26は、特定部28によって特定された連携機能の一覧を、複合機Bとパスワード機能の発言内容として表示エリア48a内に表示させてもよい。
上記の発言内容266に対して、ユーザは、実行したい連携機能をユーザの発言内容として端末装置10に入力する。図43に示す例では、「スキャンしたデータにパスワードを掛けたい。」といった連携機能を示す発言内容268が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容268を解析することで、ユーザが要求する連携機能を特定し、その連携機能を複合機Bとパスワード機能(パスワード設定ソフトウェア)に実行させる。例えば、制御部26は、複合機Bに対してスキャンジョブを送信し、複合機Bにスキャンを実行させる。これにより生成されたデータが、複合機Bから端末装置10に送信される。更に、制御部26は、パスワード設定ソフトウェアを起動させ、そのパスワード設定ソフトウェアによって、当該データにパスワードを設定する。
連携機能の実行が完了した場合、制御部26は、連携機能の実行が完了した旨を示す発言内容270を、複合機Bとパスワード機能の発言内容として表示エリア48a内に表示させる。このときも、制御部26は、複合機Bに紐付く機器画像188とパスワード機能に紐付く機能画像238を表示エリア48a内に表示させ、その発言内容270を、複合機Bの機器画像188とパスワード機能の機能画像238とに紐付く発言内容として表示エリア48a内に表示させる。なお、発言内容270自体は、汎用の自動応答AIによって作成された発言内容である。
連携機能の実行が完了した場合、制御部26は、複合機Bに紐付く機器画像188とパスワード機能に紐付く機能画像238に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容272を、自動応答AIの発言内容として表示エリア48a内に表示させる。
以上のように第7実施形態によれば、自動応答AIと対話する画面48上で、機器と機能の利用指示(利用要求)を自動応答AIに与えた場合(例えば、機器と機能の情報を自動応答AIに送った場合)、対話相手の表示がその機器と機能の表示に切り替えられる。こうすることで、ユーザは、当該機器と当該機能に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが機器と機能に指示を与えるために機器と機能の情報を自動応答AIに送った場合、その機器と機能に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が機器と機能に与えられているか否かを視覚的に確認することができる。
図43に示す例では、合計で2つの機器と機能の情報が自動応答AIに送られているが、合計で3つ以上の機器と機能の情報が自動応答AIに送られてもよい。この場合、自動応答AIに紐付く画像50に代えて、合計で3つ以上の機器画像と機器画像が、対話相手に紐付く画像として表示エリア48a内に表示される。
変形例10が第7実施形態に適用されてもよい。例えば、機器毎や機能毎に自動応答AIのプログラムが割り当てられている場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から機器と機能の表示に切り替えると共に、ユーザの対話相手としての自動応答AIを、汎用の自動応答AIから、当該機能や当該機能に割り当てられている自動応答AIに切り替えてもよい。
変形例11が第7実施形態に適用されてもよい。例えば、機器の部分の情報が、ユーザの発言内容として自動応答AIに送られた場合、その部分に紐付く画像が、対話相手に紐付く画像として表示されてもよい。また、機能画像内の部分毎に更に機能が割り当てられている場合において、その部分に紐付く画像が、ユーザの発言内容として自動応答AIに送られた場合、その部分に紐付く画像が、対話相手に紐付く画像として表示エリア48a内に表示されてもよい。
また、変形例13が第7実施形態に適用されてもよい。つまり、第7実施形態においても、図39及び図40に示されている表示例に従って機器画像や機能画像が表示されてもよい。
<第8実施形態>
以下、第8実施形態に係る機器システムについて説明する。第8実施形態では、ユーザが自動応答AIと対話しているインターフェース(例えば画面48)上で、ファイルの利用指示(利用要求)を自動応答AIに与えた場合(例えば、ファイルの情報を自動応答AIに送った場合)、応答中の対話相手の表示が、そのファイルの表示に切り替えられる。以下、第8実施形態について詳しく説明する。
図44には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
例えば、自動応答AIの発言内容として、「どうしましたか?」といった発言内容274が画面48に表示される。この発言内容274は自動応答AIの発言内容であるため、制御部26は、自動応答AIに紐付く画像50を表示エリア48a内に表示させ、発言内容274を自動応答AIの画像50に紐付く発言内容として表示エリア48a内に表示させる。なお、この自動応答AIは、機器に依存しない自動応答AIであり、汎用の自動応答AIともいえる。
この発言内容274に対して、ユーザが、ファイルを指定すると、特定部28(自動応答AIによって実現される特定部28)は、そのファイルを識別する。例えば、ユーザが、ファイルの利用指示(利用要求)を示す発言内容として「文書ファイルAを編集したい。」といった発言内容276を発したものとする。制御部26は、文書ファイルAの情報を含む発言内容276をユーザの発言内容として表示エリア48bに表示させ、その発言内容276を自動応答AIに送る。これにより、文書ファイルAの情報が自動応答AIに送られる。発言内容276は、ユーザの画像52に紐付く発言内容として表示エリア48b内に表示される。ユーザは、UI部20を操作することで、ファイルを示す文字列(例えばファイル名)をユーザの発言内容として端末装置10に入力してもよいし、上記の第4実施形態と同様に、ファイルに紐付くファイル画像(例えばアイコン等の画像)をユーザの発言内容として指定してもよい。ファイル画像を指定する場合、図34に示されているように、ユーザは、ストックエリア170から利用対象のファイルに紐付くファイル画像を選択し、そのファイル画像をユーザの発言内容の表示位置に移動させることで、そのファイル画像をユーザの発言内容として指定してもよい。
ユーザがファイルを指定してそのファイルが識別されると、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定されたファイルの表示に切り替える。
なお、対話相手の表示が、汎用の自動応答AIの表示からファイルの表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答AIである。つまり、対話相手の発言内容は、端末装置10に搭載されている汎用の自動応答AIによって作成される。
上記の例では、文書ファイルAが利用対象のファイルとして指定されているため、制御部26は、自動応答AIに紐付く画像50に代えて、文書ファイルAに紐付くファイル画像278を対話相手に紐付く画像として表示エリア48a内に表示させる。ファイル画像278は、例えばアイコンである。もちろん、制御部26は、ファイル画像278に代えて又はファイル画像278と共に、文書ファイルAを示す文字列(例えばファイル名)を、対話相手を示す情報として表示エリア48a内に表示させてもよい。
また、制御部26は、「文書アプリケーションを起動させますか?」といった発言内容280を、文書ファイルAの発言内容として表示エリア48a内に表示させる。その発言内容280自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、文書ファイルAがその発言内容280を発言しているかのように演出するために、その発言内容280を文書ファイルAのファイル画像278に紐付く発言内容として表示エリア48a内に表示させる。
上記の発言内容280に対して、ユーザが、発言内容282のように、文書アプリケーションの起動を指示した場合、制御部26は、その指示に従って、文書アプリケーションを起動させる。このとき、制御部26は、文書アプリケーションを起動して文書ファイルAを開く(文書ファイルAを編集可能に表示する)旨を示す発言内容284を、文書ファイルAの発言内容として表示エリア48a内に表示させる。このときも、制御部26は、文書ファイルAに紐付くファイル画像278を表示エリア48a内に表示させ、その発言内容284を文書ファイルAのファイル画像278に紐付く発言内容として表示エリア48a内に表示させる。なお、発言内容284自体は、汎用の自動応答AIによって作成された発言内容である。
以降、ユーザが文書アプリケーションを利用して文書ファイルAを編集する。その編集が完了した場合、制御部26は、文書ファイルAに紐付くファイル画像278に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。
以上のように第8実施形態によれば、自動応答AIと対話する画面48上で、ファイルの利用指示(利用要求)を自動応答AIに与えた場合(例えば、ファイルの情報を自動応答AIに送った場合)、対話相手の表示がそのファイルの表示に切り替えられる。こうすることで、ユーザは、当該ファイルに対して処理を実行できるか否かを視覚的に確認することができる。
また、ファイルを処理するためのソフトウェア(アプリケーション)に紐付く機能画像が、ファイルに紐付くファイル画像と共に、対話相手に紐付く画像として表示エリア48a内に表示されてもよい。上記の例では、文書アプリケーションに紐付く機能画像が、文書ファイルAに紐付くファイル画像278と共に表示エリア48a内に表示されてもよい。
変形例10が第8実施形態に適用されてもよい。例えば、ファイル毎に自動応答AIのプログラムが割り当てられて、各自動応答AIのプログラムが端末装置10にインストールされている場合、制御部26は、対話相手の表示を、汎用の自動応答AIの表示からファイルの表示に切り替えると共に、ユーザの対話相手としての自動応答AIを、汎用の自動応答AIから当該ファイルに割り当てられている自動応答AIに切り替えてもよい。
変形例12が第8実施形態に適用されてもよい。例えば、ユーザが複数のファイルの利用指示(利用要求)を自動応答AIに与えた場合(例えば、複数のファイルの情報を連携対象の情報として自動応答AIに送った場合)、応答中の対話相手の表示が、汎用の自動応答AIの表示から複数のファイルの表示に切り替えられる。以下、図45を参照して、第8実施形態に変形例12を適用した場合の処理について説明する。
図45には、画面48が示されている。画面48には、図8と同様に、自動応答AIに紐付く画像50、ユーザに紐付く画像52、及び、ユーザと自動応答AIとの間の対話を示す情報が表示されている。
図44に示す例と同様に、「どうしましたか?」といった発言内容286が自動応答AIの発言内容として表示エリア48a内に表示される。
この発言内容286に対して、ユーザが複数のファイルを連携対象のファイルとして指定すると、特定部28(自動応答AIによって実現される特定部28)は、当該複数のファイルを連携対象のファイルとして識別する。例えば、ユーザが、複数のファイルの利用指示(利用要求)を示す発言内容として「文書ファイルAと画像ファイルCを編集したい。」といった発言内容288を発したものとする。制御部26は、文書ファイルAと文書ファイルCの情報を含む発言内容288をユーザの発言内容として表示エリア48bに表示させ、その発言内容288を連携対象の情報として自動応答AIに送る。これにより、文書ファイルAと画像ファイルCの情報が、連携対象のファイルの情報として自動応答AIに送られる。ユーザは、UI部20を操作することで、複数のファイルを示す文字列(例えばファイル名)をユーザの発言内容として端末装置10に入力してもよいし、上記の第4実施形態と同様に、ファイルに紐付くファイル画像(例えばアイコン)をユーザの発言内容として指定してもよい。ファイル画像を指定する場合、図34に示されているように、ユーザは、ストックエリア170から複数のファイル画像を選択し、当該複数のファイル画像をユーザの発言内容の表示位置に移動させることで、当該複数のファイル画像をユーザの発言内容として指定してもよい。
特定部28は、例えば図33に示されている連携機能管理テーブルを参照することで、ユーザが指定した複数のファイルを利用して実行可能な連携機能を特定する。上記の例では、文書ファイルAと画像ファイルCが指定されているため、例えば、「画像を文書に挿入する機能」や「文書を画像に重畳する機能」等が、連携機能として特定される。
ユーザが複数のファイルを指定して当該複数のファイルが識別されると、制御部26は、対話相手の表示を、汎用の自動応答AIの表示から、ユーザによって指定された複数のファイルの表示に切り替える。
上記の例では、文書ファイルAと画像ファイルCが連携対象のファイルとして指定されているため、制御部26は、自動応答AIに紐付く画像50に代えて、文書ファイルAに紐付くファイル画像278と画像ファイルCに紐付くファイル画像290を、対話相手に紐付く画像として表示エリア48a内に表示させる。もちろん、制御部26は、ファイル画像278,290に代えて又はファイル画像278,290と共に、文書ファイルAと画像ファイルCを示す文字列(例えばファイル名)を、対話相手を示す情報として表示エリア48a内に表示させてもよい。
また、制御部26は、「どの機能を利用しますか?」といった発言内容292を、文書ファイルAと画像ファイルCの発言内容として表示エリア48a内に表示させる。その発言内容292自体は、汎用の自動応答AIによって作成された発言内容である。制御部26は、文書ファイルAと画像ファイルCがその発言内容292を発言しているかのように演出するために、その発言内容292を、文書ファイルAのファイル画像278と画像ファイルCのファイル画像290とに紐付く発言内容として表示エリア48a内に表示させる。制御部26は、特定部28によって特定された連携機能の一覧を、文書ファイルAと画像ファイルCの発言内容として表示エリア48a内に表示させてもよい。
上記の発言内容292に対して、ユーザは、実行したい連携機能をユーザの発言内容として端末装置10に入力する。図45に示す例では、「画像を文書に挿入したい。」といった連携機能を示す発言内容294が、ユーザの発言内容として端末装置10に入力されている。
制御部26は、ユーザの発言内容294を解析することで、ユーザが要求する連携機能を特定し、その連携機能の実行を制御する。上記の例では、制御部26は、文書アプリケーションと画像アプリケーションを起動させ、画像ファイルCを文書ファイルAに挿入する。
連携機能の実行が完了した場合、制御部26は、連携機能の実行が完了した旨を示す発言内容296を、文書ファイルAと画像ファイルCの発言内容として表示エリア48a内に表示させる。このときも、制御部26は、文書ファイルAに紐付くファイル画像278と画像ファイルCに紐付くファイル画像290を表示エリア48a内に表示させ、その発言内容296を、文書ファイルAのファイル画像278と画像ファイルCのファイル画像290とに紐付く発言内容として表示エリア48a内に表示させる。なお、発言内容296自体は、汎用の自動応答AIによって作成された発言内容である。
連携機能の実行が完了した場合、制御部26は、文書ファイルAに紐付くファイル画像278と画像ファイルCに紐付くファイル画像290に代えて、汎用の自動応答AIに紐付く画像50を対話相手に紐付く画像として表示エリア48a内に表示させる。また、制御部26は、「どうしましたか?」といった一般的な質問を示す発言内容298を、自動応答AIの発言内容として表示エリア48a内に表示させる。
なお、制御部26は、文書アプリケーションと画像アプリケーションを起動させることで、文書編集画面と画像編集画面をUI部20の表示部に表示させてもよい。上記の連携機能が実行されることで、文書編集画面には、画像ファイルCが挿入された状態の文書ファイルAが表示される。ユーザは、その文書編集画面上にて、文書ファイルAや画像ファイルCを編集してもよい。制御部26は、その編集が終了した時点、又は、その編集が開始した時点で、ファイル画像278,290に代えて、汎用の自動応答AIに紐付く画像50を、対話相手に紐付く画像として表示エリア48a内に表示させる。
また、ファイルを処理するためのソフトウェア(アプリケーション)に紐付く機能画像が、ファイルに紐付くファイル画像と共に、対話相手に紐付く画像として表示エリア48a内に表示されてもよい。上記の例では、文書アプリケーションに紐付く機能画像と画像アプリケーションに紐付く機能画像が、ファイル画像278,290と共に表示エリア48a内に表示されてもよい。
以上のように変形例12を第8実施形態に適用することで、自動応答AIと対話する画面48上で、連携対象の複数のファイルの利用指示(利用要求)を自動応答AIに与えた場合(例えば、連携対象の複数のファイルの情報を自動応答AIに送った場合)、対話相手の表示が当該複数のファイルの表示に切り替えられる。こうすることで、ユーザは、当該複数のファイルに対して処理を実行できるか否かを視覚的に確認することができる。
なお、複数のファイルが対話相手として表示された場合、ユーザの対話相手は、汎用の自動応答AIであってもよいし、その汎用の自動応答AIからファイル毎の自動応答AIに切り替えられてもよい。
図45に示す例では、2つのファイルの情報が自動応答AIに送られているが、3つ以上のファイルの情報(例えば、3つ以上のファイル画像や3つ以上のファイルを示す文字列)が自動応答AIに送られてもよい。この場合、自動応答AIに紐付く画像50に代えて、3つ以上のファイル画像が、対話相手に紐付く画像として表示エリア48a内に表示される。
また、変形例13が第8実施形態に適用されてもよい。つまり、第8実施形態においても、図39及び図40に示されている表示例に従って各機器画像が表示されてもよい。
なお、連携対象の組み合わせは、上記の第5実施形態から第8実施形態における組み合わせに限定されるものではない。例えば、機器、機能(機器によって実行される機能とソフトウェアによって実行される機能を含む)、ファイル、及び、ソフトウェアの中の少なくとも2つの組み合わせの情報が連携対象の情報として自動応答AIに送られた場合、汎用の自動応答AIの表示が、その組み合わせの表示に切り替えられてもよい。
例えば、機器とファイルの情報(例えば機器画像とファイル画像)がユーザの発言内容として自動応答AIに送られた場合、制御部26は、対話相手に紐付く画像を汎用の自動応答AIに紐付く画像50から機器画像とファイル画像に切り替える。具体例を挙げて説明すると、複合機Bと文書ファイルの情報がユーザの発言内容として自動応答AIに送られた場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像50から、複合機Bに紐付く機器画像と文書ファイルに紐付くファイル画像に切り替える。
同様に、ソフトウェアとファイルの情報(例えばソフトウェアに紐付く機能画像とファイル画像)がユーザの発言内容として自動応答AIに送られた場合、制御部26は、対話相手に紐付く画像を汎用の自動応答AIに紐付く画像50から機能画像とファイル画像に切り替える。具体例を挙げて説明すると、文書アプリケーションと文書ファイルの情報がユーザの発言内容として自動応答AIに送られた場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像50から、文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像に切り替える。
また、機器と機能とファイルの情報がユーザの発言内容として自動応答AIに送られた場合、制御部26は、対話相手に紐付く画像を汎用の自動応答AIから機器画像と機能画像とファイル画像に切り替える。具体例を挙げて説明すると、複合機Bと文書アプリケーションと文書ファイルの情報が、ユーザの発言内容として自動応答AIに送られた場合、制御部26は、対話相手に紐付く画像を、汎用の自動応答AIに紐付く画像50から、複合機Bに紐付く機器画像と文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像に切り替える。
上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル及びソフトウェアの組み合わせの情報が自動応答AIに送られた場合、汎用の自動応答AIの表示がその組み合わせの表示に切り替えられてもよい。
上記の端末装置10、機器12,14及びサーバ16のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置10、機器12,14及びサーバ16のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置10、機器12,14及びサーバ16のそれぞれの各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置10、機器12,14及びサーバ16のそれぞれの各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置10、機器12,14及びサーバ16のそれぞれの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。