JP2018007226A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザが利用するであろうと予測される連携機能の表示を制御する。
【解決手段】機器又は機能に紐付く画像が表示される。その画像内の部分画像が指定された場合、その指定された部分画像に対応する機能を利用する連携機能の表示が制御される。
【選択図】図１３

Description

本発明は、情報処理装置及びプログラムに関する。

装置本体とユーザインターフェースとが分離したシステムが利用される場合がある。例えば特許文献１には、装置本体と着脱可能で無線通信可能な操作パネルに、操作の案内を示す画像を表示する技術が開示されている。

特許文献２には、クライアント装置とサービスを提供するサービス提供装置との間でデータの中継を行う中継装置が開示されている。

特許文献３には、撮像手段によって撮像された撮像画像に画像形成装置の状態情報を含む付加情報を重畳させた拡張現実画像を生成する携帯端末が開示されている。

特許文献４には、複数のクラウドサーバと通信する通信システムにおいて、ユーザによる各クラウドサーバの利用状況を、当該ユーザがログインに際して操作した機器のディスプレイに表示する技術が開示されている。

特許第５７３７９０６号 特開２０１４−１０７６９号公報 特開２０１４−４８６７２号公報 特開２０１４−２３８７８６号公報

ところで、画像形成装置等の機器の利用環境に関して、一般的には、１つの機器を複数のユーザが利用するという利用環境が想定されている。これに対して、今後、複数の機器を複数のユーザが利用するという利用環境が想定される。また、機器からタッチパネル等のユーザインターフェースが取り除かれたり、ユーザの出先等で機器が一時的に利用されたりするという場面が想定される。このような利用環境下において、機器が有する機能を連携させて連携機能を実行する場合が想定される。しかし、その連携機能の候補の数が膨大になる場合があり、ユーザが利用するであろうと予測される連携機能が表示されるとは限らない。

本発明の目的は、ユーザが利用するであろうと予測される連携機能の表示を制御することにある。

請求項１に係る発明は、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、を有する情報処理装置である。

請求項２に係る発明は、機能に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、を有する情報処理装置である。

請求項３に係る発明は、部分画像毎に異なる機能が割り当てられている、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。

請求項４に係る発明は、複数の部分画像が指定された場合、前記制御手段は、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を制御する、ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置である。

請求項５に係る発明は、前記複数の部分画像を繋げる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する前記複数の機能を利用する前記連携機能の表示を制御する、ことを特徴とする請求項４に記載の情報処理装置である。

請求項６に係る発明は、前記制御手段は、前記部分画像同士を繋ぐ順番に応じて、前記連携機能の表示を切り替える、ことを特徴とする請求項５に記載の情報処理装置である。

請求項７に係る発明は、前記制御手段は、前記部分画像同士を繋ぐ順番に応じて、前記連携機能の表示の優先順位を変える、ことを特徴とする請求項６に記載の情報処理装置である。

請求項８に係る発明は、前記複数の部分画像を重ねる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する前記複数の機能を利用する前記連携機能の表示を制御する、ことを特徴とする請求項４に記載の情報処理装置である。

請求項９に係る発明は、前記制御手段は、前記部分画像同士を重ねる順番に応じて、前記連携機能の表示を切り替える、ことを特徴とする請求項８に記載の情報処理装置である。

請求項１０に係る発明は、前記制御手段は、前記部分画像同士を重ねる順番に応じて、前記連携機能の表示の優先順位を変える、ことを特徴とする請求項９に記載の情報処理装置である。

請求項１１に係る発明は、前記順番は、前記連携機能を実行する場合に利用する機能の順番である、ことを特徴とする請求項６、請求項７、請求項９又は請求項１０何れかに記載の情報処理装置である。

請求項１２に係る発明は、前記順番は、前記連携機能を実行する場合におけるデータの移動順番である、ことを特徴とする請求項６、請求項７、請求項９又は請求項１０何れかに記載の情報処理装置である。

請求項１３に係る発明は、前記複数の部分画像は、同一の画像内において指定された画像である、ことを特徴とする請求項４から請求項１２何れかに記載の情報処理装置である。

請求項１４に係る発明は、前記複数の部分画像は、互いに異なる複数の画像内において指定された画像である、ことを特徴とする請求項４から請求項１２何れかに記載の情報処理装置である。

請求項１５に係る発明は、前記制御手段は、更に、前記画像内において、前記連携機能に利用される機能に対応する位置に接触領域画像を重ねて表示させる、ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置である。

請求項１６に係る発明は、前記画像は、前記機器を撮影することで得られた画像である、ことを特徴とする請求項１に記載の情報処理装置である。

請求項１７に係る発明は、撮影で得られた前記画像に基づいて前記機器を識別する識別手段を更に有する、ことを特徴とする請求項１６に記載の情報処理装置である。

請求項１８に係る発明は、コンピュータを、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、として機能させるプログラムである。

請求項１９に係る発明は、コンピュータを、機能に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、として機能させるプログラムである。

請求項１−４，１８，１９に係る発明によると、ユーザが利用するであろうと予測される連携機能の表示が制御される。

請求項５に係る発明によると、画像を繋ぐ操作以外の特別な操作を行わずに、連携機能の表示が制御される。

請求項６に係る発明によると、画像を繋ぐ操作以外の特別な操作を行わずに、連携機能の表示が切り替えられる。

請求項７に係る発明によると、画像を繋ぐ操作以外の特別な操作を行わずに、ユーザが利用するであろうと予測される連携機能が優先的に表示される。

請求項８に係る発明によると、画像を重ねる操作以外の特別な操作を行わずに、連携機能の表示が制御される。

請求項９に係る発明によると、画像を重ねる操作以外の特別な操作を行わずに、連携機能の表示が切り替えられる。

請求項１０に係る発明によると、画像を重ねる操作以外の特別な操作を行わずに、ユーザ利用するであろうと予測される連携機能が優先的に表示される。

請求項１１に係る発明によると、特別な操作を行わずに、利用する機能の順番を指定することが可能となる。

請求項１２に係る発明によると、特別な操作を行わずに、データの移動順番を指定することが可能となる。

請求項１３に係る発明によると、同一画像内に割り当てられた複数の機能を利用する連携機能の表示が制御される。

請求項１４に係る発明によると、互いに異なる複数の画像内に割り当てられた複数の機能を利用する連携機能の表示が制御される。

請求項１５に係る発明によると、各位置に対応する機能を識別可能な状態で表示することが可能となる。

請求項１６に係る発明によると、撮影で得られた画像を連携機能の表示制御に利用することが可能となる。

請求項１７に係る発明によると、撮影以外の特別な操作を行わずに機器を識別することが可能となる。

本発明の第１実施形態に係る画像形成システムを示すブロック図である。 第１実施形態に係る画像形成装置を示すブロック図である。 第１実施形態に係るサーバを示すブロック図である。 第１実施形態に係る端末装置を示すブロック図である。 画像形成装置の外観を示す模式図である。 機器機能管理テーブルの一例を示す図である。 連携機能管理テーブルの一例を示す図である。 端末装置に表示される機能表示画面の一例を示す図である。 連携対象の機器を示す図である。 第１実施形態において端末装置に表示される画面の一例を示す図である。 第１実施形態において端末装置に表示される画面の一例を示す図である。 変形例１に係る機器機能管理テーブルの一例を示す図である。 変形例１において端末装置に表示される画面の一例を示す図である。 変形例１において端末装置に表示される画面の一例を示す図である。 変形例１において端末装置に表示される画面の一例を示す図である。 変形例２において端末装置に表示される画面の一例を示す図である。 変形例２において端末装置に表示される画面の一例を示す図である。 変形例２において端末装置に表示される画面の一例を示す図である。 変形例３において端末装置に表示される画面の一例を示す図である。 変形例４において端末装置に表示される画面の一例を示す図である。 第１実施形態に係る画像形成システムにおける接続処理を示すシーケンス図である。 第２実施形態に係るサーバを示すブロック図である。 連携機能管理テーブルの一例を示す図である。 第２実施形態において端末装置に表示される画面の一例を示す図である。 第２実施形態において端末装置に表示される画面の一例を示す図である。 変形例５において端末装置に表示される画面の一例を示す図である。 変形例５において端末装置に表示される画面の一例を示す図である。 変形例５において端末装置に表示される画面の一例を示す図である。 変形例６において端末装置に表示される画面の一例を示す図である。 変形例６において端末装置に表示される画面の一例を示す図である。 変形例６において端末装置に表示される画面の一例を示す図である。 変形例７において端末装置に表示される画面の一例を示す図である。 変形例８において端末装置に表示される画面の一例を示す図である。 変形例１０において端末装置に表示される画面の一例を示す図である。 端末装置に表示される画面の一例を示す図である。

［第１実施形態］
図１を参照して、本発明の第１実施形態に係る情報処理システムとしての画像形成システムについて説明する。図１には、第１実施形態に係る画像形成システムの一例が示されている。

第１実施形態に係る画像形成システムは、機器の一例としての画像形成装置１０と、機器の一例としての端末装置１２と、サーバ１４と、情報処理装置の一例としての端末装置１６と、を含む。画像形成装置１０、端末装置１２，１６及びサーバ１４は、ネットワーク等の通信経路Ｎを介して互いに接続されている。もちろん、画像形成装置１０、端末装置１２，１６及びサーバ１４は、それぞれ異なる通信経路を介して他の装置に接続されてもよい。図１に示す例では、２つの機器（画像形成装置１０と端末装置１２）が画像形成システムに含まれているが、１つ以上の機器が画像形成システムに含まれていればよい。また、複数のサーバ１４及び複数の端末装置１６が、画像形成システムに含まれていてもよい。

画像形成装置１０は画像形成機能を備えた装置である。具体的には、画像形成装置１０は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能を備えた装置である。また、画像形成装置１０は、他の装置との間でデータを送受信する機能を備えている。

端末装置１２，１６は、ＰＣ（パーソナルコンピュータ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を備えている。端末装置１６は、例えば、画像形成装置１０等の機器の利用時に、ユーザインターフェース部（ＵＩ部）として機能する。

サーバ１４は、各機器が有する機能を管理する装置である。例えば、サーバ１４は、複数の機能を連携させることによって実行される連携機能を管理する。また、サーバ１４は、他の装置との間でデータを送受信する機能を備えている。

図１に示す例では、機器の一例として、画像形成装置１０と端末装置１２が画像形成システムに含まれているが、これは一例に過ぎない。プロジェクタ等の表示装置、電話機、時計、監視カメラ、等の装置が、機器として画像形成システムに含まれていてもよい。もちろん、画像形成装置１０や端末装置１２が画像形成システムに含まれていなくてもよい。

なお、サーバ１４は、ユーザ毎に、ユーザによって利用可能な機能を管理してもよい。例えば、ユーザによって購入された機能が当該ユーザによって利用可能な機能であり、サーバ１４は、ユーザ毎に機能購入履歴を管理してもよい。もちろん、無料で利用できる機能、追加アップデータ機能、管理者によって特別に管理されている機能等もあるので、サーバ１４は、一概に購入の有無による機能を管理しているだけではない。機能の購入処理は、例えば、サーバ１４によって行われる。もちろん、別の装置によって購入処理が行われてもよい。

第１実施形態に係る画像形成システムにおいては、複数の機能を連携させることによって実行される連携機能が特定され、複数の連携機能に関する情報が優先順位に従って表示される。

以下、第１実施形態に係る画像形成システムに含まれる各装置について詳しく説明する。

まず、図２を参照して、画像形成装置１０の構成について詳しく説明する。図２には、画像形成装置１０の構成が示されている。

通信部１８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部１８は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。

画像形成部２０は画像形成に関する機能を実行する。具体的には、画像形成部２０は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能を実行する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を連携させた連携機能が実行されてもよい。例えば、スキャン機能と送信機能（転送機能）とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成され、そのスキャンデータが送信先（例えば端末装置１６等の外部装置）に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。

記憶部２２はハードディスクやＳＳＤ等の記憶装置である。記憶部２２には、例えば、画像形成の命令を示す情報（例えばジョブ情報等）、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、サーバ１４のアドレスを示すサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。

ＵＩ部２４はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。なお、画像形成装置１０はＵＩ部２４を備えていなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部（ハードウェアＵＩ部）を備えていてもよい。ハードウェアＵＩ部は、例えば、数字入力に特化したハードウェアキー（例えばテンキー）、方向の指示に特化したハードウェアキー（例えば方向指示キー）、等である。

制御部２６は、画像形成装置１０の各部の動作を制御する。

次に、図３を参照して、サーバ１４の構成について詳しく説明する。図３には、サーバ１４の構成が示されている。

通信部２８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部２８は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。

記憶部３０はハードディスクやＳＳＤ等の記憶装置である。記憶部３０には、例えば、機器機能情報３２、連携機能情報３４、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、サーバ１４のアドレスを示すサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。記憶部３０に記憶されている機器機能情報３２や連携機能情報３４が、定期的に又は指定されたタイミングで端末装置１６に提供され、これにより、端末装置１６に記憶されている情報が更新されてもよい。以下、機器機能情報３２と連携機能情報３４について説明する。

機器機能情報３２は、画像形成システムに含まれる各機器（例えば画像形成装置１０や端末装置１２）が有する機能を示す情報であり、例えば、機器を識別するための機器識別情報と、当該機器が有する機能を識別するための機能識別情報と、の対応付けを示す情報である。機器識別情報は、例えば、機器ＩＤ、機器名称、機器の種類を示す情報、型番号、位置情報、等である。機能識別情報は、例えば、機能ＩＤや機能名称等である。例えば、ある画像形成装置１０がスキャン機能、プリント機能、コピー機能及びスキャン転送機能を備えている場合、当該画像形成装置１０の機器識別情報には、スキャン機能を示す機能識別情報、プリント機能を示す機能識別情報、コピー機能を示す機能識別情報及びスキャン転送機能を示す機能識別情報が対応付けられている。機器機能情報３２を参照することにより、各機器が有する機能が特定（識別）される。

連携機能情報３４は、複数の機能を連携させることによって実行される連携機能を示す情報である。複数の機能を連携させることによって、１又は複数の連携機能が実行される。連携機能は、１つの機器（例えば画像形成装置１０又は端末装置１２）が有する複数の機能を連携させることによって実行されてもよいし、複数の機器（例えば画像形成装置１０と端末装置１２）が有する複数の機能を連携させることによって実行されてもよい。また、操作指示を出している端末装置（本実施形態では、端末装置１６）も識別対象の機器に含め、端末装置が有する機能を連携機能の一部として利用するようにしてもよい。

連携機能情報３４は、例えば、連携機能を実行するために連携される各機能を識別するための機能識別情報の組み合わせを示す情報と、当該連携機能を識別するための連携機能識別情報と、当該連携機能に利用される各機能を接続する順番を示す情報と、当該連携機能の表示の優先順位を示す情報と、の対応付けを示す情報である。連携機能識別情報は、例えば、連携機能ＩＤや連携機能名称等である。表示の優先順位は、端末装置１６において連携機能に関する情報（例えば連携機能識別情報）が表示される順位である。

複数の機器を連携させる場合、連携機能情報３４は、複数の機器が有する複数の機能を連携させることによって実行される連携機能を示す情報であり、連携機能を実行するために連携される各機器を識別するための機器識別情報の組み合わせを示す情報と、連携機能識別情報と、当該連携機能に利用される各機器を接続する順番を示す情報と、当該連携機能の表示の優先順位を示す情報と、の対応付けを示す情報である。

連携機能は、互いに異なる複数の機能を連携させることによって実行される機能であってもよいし、同一の機能を連携させることによって実行される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器（プリンタ）とスキャン機能を有する機器（スキャナ）を連携させることにより、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることにより、コピー機能が実現される。この場合、コピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能情報３４においては、例えば、連携機能としてのコピー機能を識別するための連携機能識別情報と、プリント機能を有する機器を識別するための機器識別情報及びスキャン機能を有する機器を識別するための機器識別情報の組み合わせと、が対応付けられる。

なお、記憶部３０には、機能購入履歴情報が記憶されていてもよい。機能購入履歴情報は、各ユーザによる機能の購入履歴を示す情報、つまり、各ユーザによって購入された機能を示す情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザによって購入された機能を示す機能識別情報と、の対応付けを示す情報である。ユーザ識別情報は、例えば、ユーザＩＤや氏名等のユーザアカウント情報である。ユーザによって購入された機能は、当該ユーザによって利用可能な機能である。機能購入履歴情報を参照することにより、各ユーザが購入した機能、つまり、各ユーザが利用可能な機能が特定される。機能購入履歴情報は、例えば、ユーザが機能を購入する度に更新される。

制御部３６は、サーバ１４の各部の動作を制御する。また、制御部３６は、特定部３８を含む。

特定部３８は、機器を識別するための機器識別情報を受け、記憶部３０に記憶されている機器機能情報３２において当該機器識別情報に対応付けられている機能の機能識別情報を特定する。これにより、機器が有する機能が特定される。例えば、端末装置１６からサーバ１４に機器識別情報が送信され、特定部３８によって、当該機器識別情報に対応付けられている機能の機能識別情報が特定される。機能に関する情報（例えば、機能識別情報や機能の説明情報等）は、例えばサーバ１４から端末装置１６に送信されて表示される。これにより、機器識別情報によって特定される機器が有する機能に関する情報が、端末装置１６に表示される。

また、特定部３８は、連携対象の各機器を識別するための機器識別情報を受け、記憶部３０に記憶されている連携機能情報３４において各機器識別情報の組み合わせに対応付けられている連携機能の連携機能識別情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行される連携機能が特定される。例えば、端末装置１６からサーバ１４に複数の機器識別情報が送信され、特定部３８によって、当該複数の機器識別情報に対応付けられている連携機能の連携機能識別情報が特定される。連携機能に関する情報（例えば、連携機能識別情報や連携機能の説明情報等）は、例えばサーバ１４から端末装置１６に送信されて表示される。これにより、複数の機器識別情報によって特定される複数の機器によって実行される連携機能に関する情報が、端末装置１６に表示される。

また、特定部３８は、連携機能情報３４を参照し、連携機能に利用される各機能の接続の順番に基づいて、連携機能に関する情報の表示の優先順位を決定する。例えば、複数の機能を連携させることによって複数の連携機能が実現される場合がある。この場合、各機能の接続順番に基づいて、複数の連携機能に含まれる各連携機能に関する情報の表示の優先順位が決定される。端末装置１６においては、その優先順位に従って連携機能に関する情報が表示される。例えば、機器に紐付いた画像が端末装置１６に表示され、画像同士がユーザによって繋がれる。複数の機器が有する複数の機能を連携させる場合、当該複数の機器に紐付いた複数の画像がユーザによって繋がれる。画像を繋ぐ順番が、機能の接続順番に相当する。特定部３８は、画像を繋ぐ順番に基づいて、連携機能に関する情報の表示の優先順位を特定する。

なお、機能の購入履歴が管理されている場合、特定部３８は、ユーザを識別するためのユーザ識別情報を受け、記憶部３０に記憶されている機能購入履歴情報において当該ユーザ識別情報に対応付けられている各機能の機能識別情報を特定してもよい。これにより、当該ユーザによって購入された機能群、つまり、当該ユーザによって利用可能な機能群が特定（識別）される。例えば、端末装置１６からサーバ１４にユーザ識別情報が送信され、特定部３８によって、当該ユーザ識別情報に対応付けられている各機能の機能識別情報が特定される。各機能の機能識別情報（例えば各機能の名称を示す情報）は、例えばサーバ１４から端末装置１６に送信されて表示される。これにより、ユーザ識別情報によって特定されるユーザが利用可能な機能を識別するための情報（機能識別情報）が、端末装置１６に表示される。例えば、特定部３８は、機器識別情報とユーザ識別情報を受け、機器機能情報３２において当該機器識別情報に対応付けられている機能の機能識別情報を特定し、また、機能購入履歴情報において当該ユーザ識別情報に対応付けられている機能の機能識別情報を特定する。これにより、当該機器識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。その機能を示す機能識別情報は、例えばサーバ１４から端末装置１６に送信されて表示される。

制御部３６は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部３６は、当該ユーザに対して課金処理を適用し、その購入の履歴を示す機能購入履歴情報を作成する。

次に、図４を参照して、端末装置１６の構成について詳しく説明する。図４には、端末装置１６の構成が示されている。

通信部４０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部４０は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。

撮影手段としてのカメラ４２は、撮影対象を撮影することにより画像データ（例えば静止画像データや動画像データ）を生成する。また、端末装置１６のカメラを利用するだけではなく、ネットワーク等の通信経路に繋がった外部のカメラで撮影された画像データを通信部４０で受け取り、ＵＩ部４６で画像データを表示し、画像データを操作できるようにしてもよい。

記憶部４４はハードディスクやＳＳＤ等の記憶装置であり、各種のプログラム、各種のデータ、サーバ１４のアドレス情報、各機器のアドレス情報（例えば各画像形成装置１０や端末装置１２のアドレス情報）、識別した連携対象の機器に関する情報、連携機能に関する情報、等を記憶する。

ＵＩ部４６はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えば、タッチパネル、キーボード、マウス、等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えばタッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示するものを含む）であってもよい。

制御部４８は、端末装置１６の各部の動作を制御する。制御部４８は、例えば表示制御手段（制御手段）として機能し、各種の情報をＵＩ部４６の表示部に表示させる。

ＵＩ部４６の表示部には、例えば、カメラ４２によって撮影された画像や、利用対象の機器（例えば連携対象の機器）として識別された機器に紐付いた画像、等が表示される。機器に紐付いた画像は、カメラ４２によって撮影された当該機器を表わす画像（静止画像又は動画像）であってもよいし、当該機器を模式的に表す画像（例えばアイコン）であってもよい。模式的に表す画像のデータは、例えば、サーバ１４に記憶されてサーバ１４から端末装置１６に提供されてもよいし、端末装置１６に予め記憶されていてもよい。例えば複数の機器を連携させて連携機能を実行する場合、複数の機器がカメラ４２によって撮影され、各機器を表わす画像がＵＩ部４６の表示部に表示される。ユーザが連携対象の各機器に紐付いた各画像を繋ぐことにより、連携対象の機器群によって実行される連携機能が特定され、その繋ぐ順番に応じた優先順位に従って、連携機能に関する情報がＵＩ部４６の表示部に表示される。

機器としての端末装置１２は、例えば上記の端末装置１６と同様の構成を備えている。端末装置１２はカメラ４２を備えていなくてもよい。

なお、上述した機器機能情報３２は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、機器機能情報３２は、サーバ１４の記憶部３０に記憶されていなくてもよい。同様に、上述した連携機能情報３４は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、連携機能情報３４は、サーバ１４の記憶部３０に記憶されていなくてもよい。また、端末装置１６の制御部４８は、上述した特定部３８を備え、機器識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を連携させることによって実行される連携機能を特定してもよい。この場合、サーバ１４は特定部３８を備えていなくてもよい。機能購入履歴情報が作成されている場合、その機能購入履歴情報は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、機能購入履歴情報は、サーバ１４の記憶部３０に記憶されていなくてもよい。また、端末装置１６の制御部４８は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ１４の制御部３６は、その管理機能を備えていなくてもよい。また、端末装置１６の制御部４８は、ユーザ識別情報に基づいて、ユーザによって利用可能な機能を特定してもよい。更に別の例として、画像形成装置１０や端末装置１２等の機器に、機器機能情報３２や連携機能情報３４が記憶されていてもよいし、画像形成装置１０や端末装置１２等の機器が特定部３８を備えていてもよい。つまり、サーバ１４の特定部３８による処理は、サーバ１４において行われてもよいし、端末装置１６において行われてもよいし、画像形成装置１０や端末装置１６等の機器において行われてもよい。

第１実施形態では、一例として、ＡＲ（Augmented Reality）技術（拡張現実技術）を適用することにより、機器識別情報が取得されて利用対象の機器が識別される。例えば、ＡＲ技術を適用することにより、連携対象の機器の機器識別情報が取得されて連携対象の機器が識別される。ＡＲ技術として公知のＡＲ技術が用いられる。例えば、２次元バーコード等のマーカを用いるマーカ型ＡＲ技術、画像認識技術を用いるマーカレス型ＡＲ技術、位置情報を用いる位置情報ＡＲ技術、等が用いられる。もちろん、ＡＲ技術を適用せずに機器識別情報が取得されて利用対象の機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、ＩＰアドレスに基づいて機器を識別してもよいし、機器ＩＤを読み出して機器を識別してもよい。

以下、図５を参照して、機器の機器識別情報の取得処理について詳しく説明する。一例として、画像形成装置１０の機器識別情報を取得する場合について説明する。図５には、画像形成装置１０の外観が模式的に示されている。ここでは、マーカ型ＡＲ技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置１０の筐体には、２次元バーコード等のマーカ５０が設けられている。マーカ５０は、画像形成装置１０の機器識別情報がコード化された情報である。ユーザは端末装置１６のカメラ４２を起動させ、利用対象の画像形成装置１０に設けられているマーカ５０をカメラ４２によって撮影する。これにより、マーカ５０を表す画像データが生成される。その画像データは、例えば、端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が、当該画像データに表されたマーカ像に対してデコード処理を適用することにより、機器識別情報を抽出する。これにより、利用対象の画像形成装置１０（撮影されたマーカ５０を有する画像形成装置１０）が識別される。サーバ１４の特定部３８は、機器機能情報３２において、抽出された機器識別情報に対応付けられている機能の機能識別情報を特定する。これにより、利用対象の画像形成装置１０が有する機能が特定される。

なお、端末装置１６の制御部４８が、マーカ５０を表す画像データにデコード処理を適用することにより、機器識別情報を抽出してもよい。この場合、抽出された機器識別情報は、端末装置１６からサーバ１４に送信される。サーバ１４の特定部３８は、機器機能情報３２において、端末装置１６から送信された機器識別情報に対応付けられている機能の機能識別情報を特定する。端末装置１６の記憶部４４に機器機能情報３２が記憶されている場合、端末装置１６の制御部４８が、その機器機能情報３２において、抽出された機器識別情報に対応付けられている機能の機能識別情報を特定してもよい。

マーカ５０には、画像形成装置１０が有する機能の機能識別情報がコード化されて含まれていてもよい。この場合、マーカ５０を表す画像データにデコード処理を適用することにより、当該画像形成装置１０の機能識別情報が抽出されるとともに、当該画像形成装置１０が有する機能の機能識別情報も抽出される。これにより、画像形成装置１０が特定されるとともに、当該画像形成装置１０が有する機能が特定される。このデコード処理は、サーバ１４によって行われてもよいし、端末装置１６によって行われてもよい。

複数の機器を連携させることによって連携機能を実行する場合、連携対象の各機器のマーカを撮影することにより各機器の機器識別情報が取得され、これにより、連携機能が特定される。

マーカレス型ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置１６のカメラ４２によって、利用対象の機器（例えば画像形成装置１０）の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称（例えば商品名）や型番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。その外観画像データは、例えば端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、サーバ１４の記憶部３０には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器の機器識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部３６は、例えば、端末装置１６から送信された外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器の機器識別情報を特定する。例えば、制御部３６は、端末装置１６から送信された外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられている機器識別情報を特定する。これにより、利用対象の機器（カメラ４２によって撮影された機器）が認識される。別の例として、機器の名称（例えば商品名）や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器を識別してもよい。サーバ１４の特定部３８は、機器機能情報３２において、特定された機器識別情報に対応付けられている各機能の機能識別情報を特定する。これにより、利用対象の機器（例えば画像形成装置１０）が有する機能が特定される。

なお、端末装置１６の制御部４８が、利用対象の機器（例えば画像形成装置１０）の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器の機器識別情報を特定してもよい。外観画像対応付け情報は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、端末装置１６の制御部４８は、端末装置１６の記憶部４４に記憶されている外観画像対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定する。または、端末装置１６の制御部４８は、サーバ１４から外観画像対応付け情報を取得し、当該外観画像対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定してもよい。

複数の機器を連携させることによって連携機能を実行する場合、連携対象の各機器の外観の全部又は一部を撮影することにより各機器の機器識別情報が取得され、これにより、連携機能が特定される。

位置情報ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ＧＰＳ（Global Positioning System）機能を利用することにより、機器（例えば画像形成装置１０）が設置されている位置を示す位置情報が取得される。例えば、各機器がＧＰＳ機能を備えており、機器自身の位置を示す機器位置情報を取得する。端末装置１６は、利用対象の機器に対して機器位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器の機器位置情報を受信する。その機器位置情報は、例えば、端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が、当該機器位置情報に基づいて利用対象の機器を識別する。例えば、サーバ１４の記憶部３０には、機器毎に、機器が設置されている位置を示す機器位置情報と、当該機器の機器識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部３６は、その位置対応付け情報において、端末装置１６から送信された機器位置情報に対応付けられている機器識別情報を特定する。これにより、利用対象の機器が認識される。サーバ１４の特定部３８は、機器機能情報３２において、特定された機器識別情報に対応付けられている各機能の機能識別情報を特定する。これにより、利用対象の機器（例えば画像形成装置１０）が有する機能が認識される。

なお、端末装置１６の制御部４８が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられている機器識別情報を特定してもよい。位置対応付け情報は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、端末装置１６の制御部４８は、端末装置１６の記憶部４４に記憶されている位置対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定する。別の例として、端末装置１６の制御部４８は、サーバ１４から位置対応付け情報を取得し、当該位置対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定してもよい。

複数の機器を連携させることによって連携機能を実行する場合、連携対象の各機器の機器位置情報が取得され、各機器位置情報に基づいて各機器の機器識別情報が特定される。これにより、連携機能が特定される。

以下、第１実施形態に係る画像形成システムについて詳しく説明する。

まず、図６を参照して、機器機能情報３２について詳しく説明する。図６には、機器機能情報３２としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器が有する機能を示す情報（機能識別情報）と、画像ＩＤと、が対応付けられている。機器ＩＤと機器名は機器識別情報の一例に相当する。画像ＩＤは、機器を模式的に表す画像（例えばアイコン）を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像ＩＤは含まれていなくてもよい。例えば、機器ＩＤが「Ｂ」の機器は、複合機（複数の画像形成機能を有する画像形成装置）であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器を模式的に表す画像を識別するための画像ＩＤが対応付けられている。機器を模式的に表す画像のデータは、例えば、サーバ１４の記憶部３０に記憶されている。

例えば、ＡＲ技術を適用することにより、利用対象の機器を識別するための機器ＩＤが取得される。サーバ１４の特定部３８は、機器機能管理テーブルを参照することにより、その機器ＩＤに対応付けられている機器名、機能及び画像ＩＤを特定する。これにより、利用対象の機器が識別される。例えば、機器名を示す情報、及び、機器を模式的に表す画像のデータが、サーバ１４から端末装置１６に送信され、それらが端末装置１６のＵＩ部４６に表示される。機器を模式的に表す画像は、当該機器に紐付いた画像として表示される。もちろん、機器を模式的に表す画像は表示されずに、カメラ４２によって撮影された画像そのものが端末装置１６のＵＩ部４６に表示されてもよい。また、端末装置１６のＵＩ部４６において、機器に紐付いた画像（例えば、カメラ４２によって撮影された画像や、機器を模式的に表す画像）がユーザによって指定されると、その機器が有する機能に関する情報（例えば、機能識別情報や機能の説明情報等）が、サーバ１４から端末装置１６に送信されて端末装置１６のＵＩ部４６に表示されてもよい。

次に、図７を参照して、連携機能情報３４について詳しく説明する。図７には、連携機能情報３４としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせを示す情報と、連携対象の機器名（例えば各機器の種類）を示す情報、連携機能を示す情報（連携機能識別情報）と、接続順番を示す情報と、優先順位を示す情報と、が対応付けられている。接続順番は、機器に紐付いた画像を繋ぐ順番に対応している。優先順位は、連携機能に関する情報の表示の優先順位である。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」と「印刷機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「印刷機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。例えば、複合機（Ｂ）からＰＣ（Ａ）に機器が接続された場合、つまり、複合機（Ｂ）に紐付いた画像からＰＣ（Ａ）に紐付いた画像へ画像が繋がれた場合、「スキャン転送機能」の優先順位が「１位」となり、「印刷機能」の優先順位は「２位」となる。この場合、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に表示される。これとは逆に、ＰＣ（Ａ）から複合機（Ｂ）に機器が接続された場合、つまり、ＰＣ（Ａ）に紐付いた画像から複合機（Ｂ）に紐付いた画像へ画像が繋がれた場合、「印刷機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位が「２位」となる。この場合、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。

次に、図８を参照して、端末装置１６のＵＩ部４６に表示される画面について詳しく説明する。図８には、機能表示画面の一例が示されている。機能表示画面は、単体の機器を利用する際に、端末装置１６のＵＩ部４６に表示される画面である。

例えば、上述したマーカ型ＡＲ技術、マーカレス型ＡＲ技術、又は、位置情報ＡＲ技術のいずれかの技術を用いることにより、利用対象の機器（例えば画像形成装置１０）の機器識別情報が取得されてその機器が識別され、その機器識別情報に対応付けられている各機能を示す機能識別情報、つまり、利用対象の機器（識別された機器）が有する各機能を示す機能識別情報が特定される。また、利用対象の機器を利用するユーザのユーザ識別情報に対応付けられている各機能を示す機能識別情報、つまり、当該ユーザによって利用可能な各機能を示す機能識別情報が特定されてもよい。それらの情報が、機能表示画面として端末装置１６のＵＩ部４６に表示される。また、利用対象の機器が有する機能が特定されるので、販売対象となっている機能群の中で利用対象の機器が有していない機能が特定されてもよい。利用対象の機器が有していない各機能を示す機能識別情報が、機能表示画面に表示されてもよい。

図８に示されている機能表示画面５２には、機能識別情報の一例として、機能Ａを表すボタン像５４、機能Ｂを表すボタン像５６、及び、機能Ｃを表すボタン像５８が、表示されている。機能Ａは、利用対象の機器（ＡＲ技術等によって識別された機器）が有している機能であって、ユーザによって利用可能な機能、つまり、当該ユーザによって購入された機能である。機能Ｂは、利用対象の機器が有している機能であって、ユーザによる利用が不可能な機能、つまり、当該ユーザによって購入されていない機能である。ユーザが機能Ｂを購入することにより、当該ユーザによる機能Ｂの利用が可能となる。機能Ｃは、利用対象の機器が有していない機能、つまり、利用対象の機器が対応していない機能である。端末装置１６の制御部４８は、ボタン像によって表されている機能が、利用対象の機器が有している機能であるか否かに応じて、当該ボタン像の表示態様を変えてもよい。また、制御部４８は、ボタン像によって表されている機能が、ユーザによって利用可能な機能であるか否かに応じて、当該ボタン像の表示態様を変えてもよい。例えば、制御部４８は、ボタン像の色や形状を変える。図８に示す例では、ボタン像５４，５６，５８はそれぞれ異なる色で表示されている。一例として、利用対象の機器が有している機能であってユーザによって利用可能な機能を表すボタン像（例えば機能Ａを表すボタン像５４）は、青色で表示される。利用対象の機器が有している機能であってユーザによる利用が不可能な機能を表すボタン像（機能Ｂを表すボタン像５６）は、黄色で表示される。利用対象の機器が有していない機能を表すボタン像（例えば機能Ｃを表すボタン像５８）は、灰色で表示される。別の例として、制御部４８は、ボタン像５４，５６，５８の形状を変えてもよいし、機能表示名のフォントを変えてもよい。もちろん、別の手法によって表示態様を変えてもよい。これにより、ユーザに視認性良く各機能の利用可否が伝えられる。

例えば、ユーザが端末装置１６を利用して機能Ａを表すボタン像５４を指定し、機能Ａの実行の指示を与えると、機能Ａの実行指示を示す実行指示情報が、端末装置１６から利用対象の機器に送信される。その実行指示情報には、機能Ａを実行するための制御データや、機能Ａによる処理が適用される画像データ等のデータ、等が含まれる。利用対象の機器は実行指示情報を受けると、その実行指示情報に従って機能Ａを実行する。例えば、利用対象の機器が画像形成装置１０の場合であって機能Ａがスキャン転送機能の場合、画像形成装置１０の画像形成部２０によってスキャン機能が実行され、これによりスキャンデータ（画像データ）が生成される。そのスキャンデータは、画像形成装置１０から設定された送信先（例えば端末装置１６）に送信される。

また、ユーザが端末装置１６を利用して機能Ｂを表すボタン像５６を指定し、機能Ｂの購入を指示した場合、購入処理が実行される。購入処理がサーバ１４によって行われる場合、端末装置１６はサーバ１４にアクセスする。これにより、ユーザによる機能Ｂの利用を可能にするための情報として、機能Ｂを購入するための画面（例えばＷｅｂサイト）が端末装置１６のＵＩ部４６に表示される。この画面上で購入手続きを行うことにより、ユーザによる機能Ｂの利用が許可される。例えば、端末装置１６にはＷｅｂブラウザのプログラムが記憶されており、そのＷｅｂブラウザを利用することにより、端末装置１６からサーバ１４へのアクセスが実現される。ユーザはＷｅｂブラウザを用いてサーバ１４にアクセスすると、端末装置１６のＵＩ部４６に、機能購入画面（例えばＷｅｂサイト）が表示され、そのＷｅｂサイトを介して機能が購入される。もちろん、サーバ１４以外のサーバ等によって購入処理が行われてもよい。別の例として、端末装置１６のＵＩ部４６には、ユーザによる機能Ｂの利用を可能にするための情報として、管理者等に機能Ｂの利用を依頼するための利用許可依頼画面（例えばＷｅｂサイト）が表示されてもよい。この利用許可依頼画面を介して機能Ｂの利用の許可を管理者等に依頼し、その許可が得られた場合、ユーザによる機能Ｂの利用が可能となる。

以下、ＡＲ技術を適用して複数の機能を連携させる方法について詳しく説明する。

図９を参照して、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術を適用して複数の機器を識別し、当該複数の機器が有する複数の機能を連携させる方法について説明する。図９には、連携対象の機器の一例が示されている。一例として、連携対象の機器として画像形成装置１０と端末装置１２が用いられるものとする。画像形成装置１０は例えば複合機であり、端末装置１２は例えばＰＣ（パーソナルコンピュータ）である。画像形成装置１０と端末装置１２は、現実空間に存在する機器である。端末装置１６は、複数の機能を連携させる際に利用される、現実空間に存在する機器である。端末装置１６は、例えばスマートフォンや携帯電話等の携帯端末装置である。

例えば、画像形成装置１０の筐体に２次元バーコード等のマーカ５０が設けられており、端末装置１２（ＰＣ）の筐体に２次元バーコード等のマーカ６０が設けられている。マーカ６０は、端末装置１２の機器識別情報がコード化された情報である。マーカ型ＡＲ技術又はマーカレス型ＡＲ技術が用いられる場合、ユーザは端末装置１６（例えばスマートフォン）のカメラ４２によって、連携対象の画像形成装置１０と端末装置１２を撮影する。図９に示す例では、カメラ４２の撮影領域に画像形成装置１０と端末装置１２の両方が含まれる状態で、画像形成装置１０と端末装置１２が一緒に撮影されている。これにより、マーカ５０，６０をそれぞれ表す画像データが生成され、端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６がその画像データにデコード処理を適用することにより、画像形成装置１０の機器識別情報と端末装置１２の機器識別情報を抽出し、これにより画像形成装置１０と端末装置１２を識別する。別の例として、画像形成装置１０と端末装置１２の両方の外観を表わす外観画像データが生成され、端末装置１６からサーバ１４に送信されてもよい。この場合、サーバ１４においては、制御部３６が、外観画像対応付け情報を参照することにより、画像形成装置１０の機器識別情報と端末装置１２の機器識別情報を特定する。これにより、画像形成装置１０と端末装置１２が識別される。もちろん、連携対象の機器を識別するための処理は、端末装置１６によって行われてもよい。

端末装置１６のＵＩ部４６の表示部には機器表示画面６２が表示され、その機器表示画面６２に、画像形成装置１０に紐付いた機器像６４と端末装置１２に紐付いた機器像６６が表示される。機器像６４，６６は、カメラ４２によって撮影された機器（画像形成装置１０と端末装置１２）の画像（撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい）であってもよいし、識別された機器に紐付く予め用意された画像データ（撮影で得られた画像そのものではなく模式的な画像（例えばアイコン））であってもよい。上述したように、外部のカメラで撮影された機器を表わす画像を利用するようにしてもよい。

例えば、機器を撮影することで得られた画像データを利用する場合、現在の機器そのものの外観（例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観）が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。

模式的な画像を利用する場合、模式的な画像のデータは、例えばサーバ１４から端末装置１６に送信される。例えば画像形成装置１０が識別されると、サーバ１４の特定部３８は、図６に示されている機器機能管理テーブル（機器機能情報３２）を参照することにより、画像形成装置１０に紐付く模式的な画像を特定する。その模式的な画像のデータはサーバ１４から端末装置１６に送信され、その模式的な画像は機器像６４として機器表示画面６２に表示される。端末装置１２に紐付いた機器像６６についても同様である。模式的な画像としての機器像６４，６６のデータが端末装置１６に予め記憶されていてもよい。この場合、画像形成装置１０が識別されると、端末装置１６に記憶されている機器像６４が機器表示画面６２に表示される。端末装置１２についても同様である。模式的な画像のデータは、サーバ１４や端末装置１６以外の装置に記憶されていてもよい。

また、機器が識別されると、その機器の名称を示す情報がサーバ１４から端末装置１６に送信され、端末装置１６において、機器表示画面６２に機器の名称が表示されてもよい。図９に示す例では、画像形成装置１０は複合機であり、その名称は「複合機（Ｂ）」である。端末装置１２はＰＣ（パーソナルコンピュータ）であり、その名称は「ＰＣ（Ａ）」である。

なお、ＡＲ技術等を適用しても撮影対象の機器が識別されない場合、その撮影対象の機器を表わす機器像は、機器表示画面６２に表示されなくてもよい。これにより、識別された機器の視認性が向上する。例えば、識別された機器と識別されない機器が混在し、それぞれがカメラ４２によって撮影された場合、識別されない機器を表わす機器像を非表示にする。これにより、識別された機器を表わす機器像が、識別されない機器を表わす機器像に埋もれずに表示されるので、識別された機器の視認性が向上する。また、識別された機器を表わす機器像（例えば機器像６４，６６）を強調して表示してもよい。例えば、識別された機器を表わす機器像を特定の色で表示してもよいし、機器像の縁を強調して表示してもよいし、機器像を拡大して表示してもよいし、機器像を３次元で表示してもよいし、機器像を振動させて表示してもよい。これにより、識別された機器の視認性が向上する。

ユーザが機器表示画面６２上にて機器像６４，６６を操作することにより、連携対象の機器として画像形成装置１０と端末装置１２が指定され、画像形成装置１０と端末装置１２を連携させることにより実行される連携機能が特定される。機器像を操作する順番に応じた優先順位に従って、連携機能に関する情報が端末装置１６のＵＩ部４６に表示される。

以下、図１０及び図１１を参照して、連携機能を特定するための操作について詳しく説明する。

図１０及び図１１には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。例えば、画像形成装置１０と端末装置１２が連携対象の機器として識別されているものとする。図１０（ａ）に示すように、端末装置１６のＵＩ部４６には機器表示画面６２が表示されており、その機器表示画面６２に機器像６４，６６が表示されている。この状態で、ユーザは指示子（例えばユーザの指、ペン、スタイラス等）を用いて連携対象の機器を表わす機器像を繋ぐ。端末装置１６の制御部４８は、機器表示画面６２への指示子の接触を検知し、機器表示画面６２上での指示子の移動を検知する。例えば、矢印６８で示すように、ユーザが操作子を用いて機器表示画面６２上で機器像６４をタッチして機器像６６まで操作する（例えば、機器表示画面６２上で操作子をなぞる）ことにより、機器像６４と機器像６６を繋ぐ。これにより、機器像６４に紐付いた画像形成装置１０（複合機（Ｂ））と機器像６６に紐付いた端末装置１２（ＰＣ（Ａ））が、連携対象の機器として指定されるとともに、接続の順番が指定される。機器像を繋ぐ順番が接続の順番に相当する。図１０（ａ）に示す例では、機器像６４から機器像６６へ画像を繋げているため、画像形成装置１０（複合機（Ｂ））から端末装置１２（ＰＣ（Ａ））へ機器が接続されている。機器の接続順番を示す情報は、端末装置１６からサーバ１４に送信される。なお、端末装置１６の制御部４８は、ユーザがなぞった軌跡を表わす画像を機器表示画面６２に表示させてもよいし、機器同士が接続された後は、その軌跡を予め設定された直線等に置き換えて機器表示画面６２に表示させてもよい。

上記のように、連携対象の機器（例えば画像形成装置１０と端末装置１２）が指定されると、サーバ１４の特定部３８は、図７に示されている連携機能管理テーブル（連携機能情報３４）において、ＰＣ（Ａ）と複合機（Ｂ）の組み合わせに対応付けられている連携機能を特定する。これにより、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実行される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、特定部３８は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。図７を参照して具体例を挙げて説明すると、ＰＣ（Ａ）と複合機（Ｂ）が連携対象の機器として指定されているため、それらによって実行される連携機能は「スキャン転送機能」と「印刷機能」である。また、複合機（Ｂ）からＰＣ（Ａ）へ機器が接続されているため（Ｂ→Ａ）、「スキャン転送機能」の優先順位は「１位」であり、「印刷機能」の優先順位は「２位」である。

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ１４から端末装置１６に送信される。端末装置１６の制御部４８は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてＵＩ部４６に表示させる。

例えば図１０（ｂ）に示すように、端末装置１６の制御部４８は、ＵＩ部４６に連携機能表示画面７０を表示させ、その連携機能表示画面７０に連携機能候補に関する情報を表示させる。「スキャン転送機能」の優先順位が「１位」であり、「印刷機能」の優先順位が「２位」であるため、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に（例えば上位に）表示されている。例えば、「スキャン転送機能」に関する情報として、「複合機（Ｂ）でスキャンしたデータをＰＣ（Ａ）に転送する。」という「スキャン転送機能」の説明文が表示される。また、「印刷機能」に関する情報として、「ＰＣ（Ａ）にあるデータを印刷する。」という「印刷機能」の説明文が表示される。

連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。例えば、「ＹＥＳ」ボタンがユーザによって押されると、その「ＹＥＳ」ボタンに紐付く連携機能が実行される。また、連携機能表示画面７０に「戻る」ボタンが表示されており、ユーザが「戻る」ボタンを押すことにより、機器の接続処理が中止される。

なお、連携機能の特定処理及び優先順位の特定処理は、端末装置１６にて行われてもよい。

機器像の間を操作子でなぞる以外の操作として、丸印を付けるような描画操作によって連携対象の機器を指定するとともに、接続順番を指定してもよい。例えば、描画操作の順番が接続順番に相当する。別の例として、ユーザの音声指示に従って連携対象の機器や接続順番が指定されてもよい。

図１１には別の操作の例が示されている。例えば図１１（ａ）に示すように、ユーザが操作子を用いて、機器表示画面６２上で機器像６６をタッチし、矢印７２で示す方向に機器像６４まで操作することにより、機器像６６と機器像６４を繋ぐ。これにより、機器像６６に紐付いた端末装置１２（ＰＣ（Ａ））と機器像６４に紐付いた画像形成装置１０（複合機（Ｂ））が、連携対象の機器として指定されるとともに、接続の順番が指定される。この例では、機器像６６から機器像６４へ画像を繋げているため、端末装置１２（ＰＣ（Ａ））から画像形成装置１０（複合機（Ｂ））へ機器が接続されている。図７に示されている連携機能管理テーブルを参照すると、「印刷機能」の優先順位が「１位」であり、「スキャン転送機能」の優先順位は「２位」である。この場合、図１１（ｂ）に示すように、連携機能表示画面７４において、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に（例えば上位に）表示される。

以上のように、第１実施形態によると、機器に紐付いた機器像同士を繋ぐことにより、機器が有する機能を利用する連携機能が特定される。また、画像を繋ぐ順番、つまり、機器を接続する順番に応じて、連携機能に関する情報の表示順位が変更される。機器の接続順番は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を接続する操作（つまり画像を繋ぐ操作）は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。例えば、複合機（Ｂ）からＰＣ（Ａ）へ画像が繋がれた場合、「ＰＣ（Ａ）よりも先に複合機（Ｂ）の機能を利用し、複合機（Ｂ）からＰＣ（Ａ）へデータを転送する」という連携機能がユーザによって利用されると予測される。また、ＰＣ（Ａ）から複合機（Ｂ）へ画像が繋がれた場合、「複合機（Ｂ）よりも先にＰＣ（Ａ）の機能を利用し、ＰＣ（Ａ）から複合機（Ｂ）へデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、画像を繋ぐ順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。また、機器像同士を繋ぐ操作以外の特別な操作を行わずに、利用する機能の順番やデータの移動順番が指定され、ユーザが利用するであろうと予測される連携機能に関する情報が表示される。

以下、第１実施形態の変形例について説明する。

（変形例１）
以下、変形例１について説明する。変形例１においては、機器に紐付いた機器像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっている。機器像内において特定の位置がユーザによって指定されると、その特定の位置に対応する機能を利用する連携機能に関する情報が優先的に表示される。以下、変形例１について詳しく説明する。

図１２には、変形例１に係る機器機能管理テーブルの一例が示されている。変形例１に係る機器機能管理テーブルのデータは、機器機能情報３２としてサーバ１４に記憶されている。変形例１に係る機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、画像内位置を示す情報と、その画像内位置に対応する機能を示す情報（機能識別情報）と、画像ＩＤと、が対応付けられている。画像内位置は、機器に紐付いた機器像内の特定の位置（特定の部位）であり、例えば、機器を模式的に表す機器像内の特定の位置や、カメラによって撮影された機器像内の特定の位置である。画像内の特定の位置毎に、異なる機能が対応付けられている。

図１３には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。例えば、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が連携対象の機器として識別されているものとする。図１３（ａ）に示すように、端末装置１６のＵＩ部４６には機器表示画面６２が表示されており、その機器表示画面６２に機器像６４，６６が表示されている。例えば、機器像６４において複合機（Ｂ）の本体部分に対応する特定の位置（部分像７６）には、「プリント機能」が対応付けられている。機器像６４において複合機（Ｂ）の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する特定の位置（部分像７８）には、「スキャン機能」が対応付けられている。機器像６４において後処理装置に対応する特定の位置（部分像８０）には、「ステープル止め機能」が対応付けられている。「ステープル止め機能」は、出力された用紙をステープルによって止める機能である。また、機器像６６においてＰＣ（Ａ）の本体部分に対応する特定の位置（部分像８２）には、「データ保存機能」が対応付けられている。機器像６６においてＰＣ（Ａ）の表示部に対応する特定の位置（部分像８４）には、「画面表示機能」が対応付けられている。「データ保存機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて表示する機能である。

なお、端末装置１６の制御部４８は、機器像内の特定の位置に対応付けられている機能の名称（例えば印刷やスキャン等）を機器表示画面６２に表示させてもよい。これにより、特定の位置にどのような機能が対応しているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。

変形例１では、機器像において機能が対応付けられている位置がユーザによって指定されると、その指定された位置に対応付けられている機能が連携対象の機能として指定される。ユーザは指示子を用いて、連携対象の機器を表わす機器像において機能が対応付けられている特定の位置（部分像）を繋ぐ。例えば、矢印８６で示すように、ユーザが操作子を用いて、機器表示画面６２上で部分像７８をタッチして部分像８４まで操作することにより、部分像７８と部分像８４を繋ぐ。これにより、部分像７８を含む機器像６４に紐付いた複合機（Ｂ）と部分像８４を含む機器像６６に紐付いたＰＣ（Ａ）が、連携対象の機器として指定されるとともに、部分像７８に対応する「スキャン機能」と部分像８４に対応する「画面表示機能」が指定され、さらに、接続の順番が指定される。部分像を繋ぐ順番が接続の順番に相当する。図１３（ａ）に示す例では、部分像７８から部分像８４へ画像を繋げているため、複合機（Ｂ）からＰＣ（Ａ）へ機器が接続されている。また、連携機能に利用する機能として「スキャン機能」と「画面表示機能」が指定されている。機器の接続順番を示す情報と、機器像内においてユーザによって指定された特定の位置を示す情報が、端末装置１６からサーバ１４に送信される。

連携対象の機器（例えばＰＣ（Ａ）と複合機（Ｂ））が識別されると、サーバ１４の特定部３８は、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実現される連携機能を特定する。また、特定部３８は、図１２に示されている機器機能管理テーブルを参照することにより、機器像内においてユーザによって指定された特定に位置に対応付けられている機能を特定する。そして、特定部３８は、ＰＣ（Ａ）と複合機（Ｂ）とを連携させることによって実現される連携機能群の中で、ユーザによって指定された位置に対応付けられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ１４から端末装置１６に送信される。端末装置１６の制御部４８は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてＵＩ部４６に表示させる。

例えば図１３（ｂ）に示すように、端末装置１６の制御部４８は、ＵＩ部４６の表示部に連携機能表示画面８８を表示させ、その連携機能表示画面８８に連携機能候補に関する情報を表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」を連携させることによって実行される連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に（例えば上位に）表示される。例えば、「スキャン機能」と「データ保存機能」を連携させることによって実行される連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、スキャン転送表示機能は、複合機（Ｂ）によるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）の画面に表示する機能である。スキャン転送保存機能は、複合機（Ｂ）によるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）に保存する機能である。図１３（ｂ）に示す例では、各連携機能に関する情報として、各連携機能の説明文が表示されている。

変形例１によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。

図１４には、変形例１の別の例が示されている。図１４は、端末装置１６のＵＩ部４６に表示される画面の一例を示す図である。端末装置１６の制御部４８は、機能像内において、特定の機能が割り当てられている特定の位置（部分像）に、識別可能な接触領域像を重ねて表示させる。図１４（ａ）に示す例では、部分像７６に接触領域像９０が重畳して表示されており、部分像７８に接触領域像９２が重畳して表示されており、部分像８０に接触領域像９４が重畳して表示されている。また、部分像８２に接触領域像９６が重畳して表示されており、部分像８４に接触領域像９８が重畳して表示されている。各接触領域像は、例えば、半透明又は不透明の画像であり、円形、楕円形、矩形等の形状を有する。特定の機能が割り当てられている位置に接触領域像を表示することにより、その位置が強調されるので、ユーザにとって、どの位置に機能が割り当てられているのかが分かり易くなる。つまり、どの位置が連携機能に利用される機能として反応する位置であるのかが分かり易くなる。

また、端末装置１６の制御部４８は、連携機能として利用される機能に対応する接触領域像や、ユーザによって指定された接触領域像が、他の接触領域像から識別されるように接触領域像の表示態様（例えば色及び形状の中の少なくとも１つ）を変えてもよい。例えば図１４（ｂ）に示すように、矢印１００で示す操作によって、部分像７８と部分像８４が繋がれた場合、部分像７８に対応する接触領域像９２と部分像８４に対応する接触領域像９８の色が、他の接触領域像とは異なる色で表示される。

図１５には、変形例１の更に別の例が示されている。図１５は、端末装置１６のＵＩ部４６に表示される画面の一例を示す図である。識別された機器が複数の機能を有している場合、同一機器が有する複数の機能が指定されることにより、当該複数の機能を連携することによって実行される連携機能が指定される。例えば図１５（ａ）に示すように、ユーザが、矢印１０２，１０４，１０６が示す方向に画像を繋いだとする。この場合、部分像７８，８４，８２，７６が、その順番で繋がれる。サーバ１４の特定部３８は、部分像７８，８４，８２，７６に割り当てられている機能（スキャン機能、画面表示機能、データ保存機能、及び、プリント機能）を特定し、接続の順番に従って各機能を利用する連携機能を特定し、その連携機能の優先順位を上げる。これにより、その連携機能に関する情報が、他の連携機能に関する情報よりも優先的に表示される。図１５（ｂ）には、連携機能表示画面１０８が示されており、その連携機能表示画面１０８に、その連携機能に関する情報が優先的に表示されている。優先的な連携機能は、例えば、「複合機（Ｂ）によるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）の画面に表示し、ＰＣ（Ａ）にて色味調整を行った後、そのデータをＰＣ（Ａ）に保存するとともに複合機（Ｂ）に転送して複合機（Ｂ）にて印刷する」機能である。

（変形例２）
以下、図１６及び図１７を参照して、変形例２について説明する。図１６及び図１７には、端末装置１６に表示される画面の一例が示されている。変形例２においては、予め設定された時間以上の間、機器像が押し続けられた場合に、複数機能選択モード（複数の機能を指定するモード）に移行する。

変形例２においても、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が、連携対象の機器として識別されており、図１６（ａ）に示すように、端末装置１６において、機器表示画面６２に機器像６４，６６が表示されている。例えば、ユーザが操作子を用いて、機器像６４を予め設定された時間以上の間、指定し続けたものとする。つまり、機器像６４が長押しされたものとする。図１６（ａ）に示す例では、符号１１０で示す箇所が長押しされている。この場合、図１６（ｂ）に示すように、端末装置１６のＵＩ部４６に機能選択画面１１２が表示され、その機能選択画面１１２に、複合機（Ｂ）が有する機能の一覧が表示される。図１６（ｂ）に示す例では、各機能の名称（スキャン、印刷、ステープラ止め、ＦＡＸ送信）が表示されている。例えば、ユーザによって機器像６４が指定されると、機器像６４に紐付いた複合機（Ｂ）の機器識別情報が端末装置１６からサーバ１４に送信される。サーバ１４においては、機器機能管理テーブルを参照することにより、複合機（Ｂ）が有する機能が特定される。その機能に関する情報（例えば機器識別情報）がサーバ１４から端末装置１６に送信されて表示される。もちろん、端末装置１６にて、複合機（Ｂ）が有する機能が特定されてもよい。なお、端末装置１６のユーザインターフェースが、ユーザの操作時の接触力を複数段階に分けて検知できる場合、その接触力が強くなったことを検知して（例えば、予め設定された接触力を検知した場合）、機能選択画面１１２を表示するようにしてもよい。

図１６（ｂ）に示されている機能選択画面１１２において、連携機能に利用する複数の機能がユーザによって選択される。例えば、（１）スキャン機能と（４）ＦＡＸ送信機能が選択されたものとする。この場合、図１６（ｃ）に示すように、端末装置１６のＵＩ部４６には確認画面１１４が表示される。確認画面１１４には、ユーザによって選択された機能を示す情報が表示される。そして、確認画面１１４において、ユーザが連携の順番（利用の順番）を指定すると、図１７（ａ）に示すように、端末装置１６のＵＩ部４６には、別の確認画面１１６が表示される。図１７（ａ）に示す例では、（１）スキャン機能の順番が「１番」であり、（４）ＦＡＸ送信機能の順番が「２番」である。なお、図１６（ｂ）に示されている機能選択画面１１２において、連携の順番に従って、連携機能に利用する複数の機能がユーザによって選択されてもよい。この場合、図１６（ｃ）に示されている確認画面１１４の表示が省略されて、図１７（ａ）に示されている確認画面１１６が端末装置１６のＵＩ部４６に表示される。

次に、図１７（ａ）に示されている確認画面１１６において、ユーザによって「ＹＥＳ」ボタンが押されると、連携機能に利用される複合機（Ｂ）の機能が確定され、図１７（ｂ）に示すように、画面は機器表示画面６２に遷移する。この機器表示画面６２において、矢印１１８で示すように、ユーザが機器像６４と機器像６６を繋ぐ。これにより、連携機能に利用される機器としてＰＣ（Ａ）が指定されるとともに、連携の順番（利用の順番）が指定される。サーバ１４の特定部３８は、連携の順番に従って各機能を利用する連携機能を特定し、その連携機能の優先順位を上げる。これにより、その連携機能に関する情報が、他の連携機能に関する情報よりも優先的に表示される。連携機能に関する情報は、サーバ１４から端末装置１６に送信されて表示される。例えば図１７（ｃ）に示すように、連携機能表示画面１２０が端末装置１６のＵＩ部４６に表示され、連携機能表示画面１２０に、連携機能に関する情報が表示される。連携の順番に従って各機能を利用する連携機能に関する情報は優先的に表示される。優先的な連携機能は、例えば、「複合機（Ｂ）によるスキャンによって生成された画像をＦＡＸ送信し、そのＦＡＸ送信したデータの写しをＰＣ（Ａ）に転送する」機能である。

なお、図１７（ａ）に示されている確認画面１１６において、ユーザによって「ＮＯ」ボタンが押されると、連携機能に利用される複合機（Ｂ）の機能の選択が解除され、画面は機能選択画面１１２に戻る。また、機能選択画面１１２には「キャンセル」ボタンが表示されており、ユーザによって「キャンセル」ボタンが押されると、画面は機器表示画面６２に戻る。

変形例２によると、指定された機器が有する機能の一覧が表示されるので、当該機器がどのような機能を有しているのかがユーザにとって分かり易くなる。

図１８には、変形例２の別の例が示されている。変形例２においては、機器表示画面６２に、複数の機能を選択するためのボタン像１２２が表示されている。ユーザが機能像を押しながらボタン像１２２を押すと、モードは複数機能選択モードに移行する。図１８に示す例では、符号１２４で示すように、複合機（Ｂ）に紐付いた機器像６４がユーザによって押された状態で、ボタン像１２２が押されている。この場合、画面は、図１６（ｂ）に示されている機能選択画面１１２に遷移する。それ以降、図１６及び図１７を参照して説明した処理が行われる。

（変形例３）
以下、図１９を参照して、変形例３について説明する。図１９には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。

変形例３においても、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が、連携対象の機器として識別されており、図１９（ａ）に示すように、端末装置１６において、機器表示画面６２に機器像６４，６６が表示されている。また、矢印１２６，１２８，１３０で示すように、部分像７８，８４，８２，７６が、その順番で繋がれているものとする。つまり、スキャン機能、画面表示機能、データ保存機能、及び、プリント機能が、その順番で指定されている。

変形例３においては、解除対象の画像の１つ前に繋がれた画像が指定されると、解除対象の画像に紐付いた機能が連携機能から解除される。つまり、解除対象の機能が連携対象の機能から除外される。例えば、解除対象の画像の１つ前に繋がれた画像が指定されると、その指定を示す情報が端末装置１６からサーバ１４に送信され、サーバ１４の特定部３８は、解除対象の画像に紐付いた機能を連携対象の機能から除外する。

図１９（ａ）に示す例で説明すると、破線の矢印１３２で示すように、部分像７６から部分像８２へ画像が繋がれている。つまり、部分像７６の１つ前に繋がれた部分像８２が指定されている。この場合、部分像７６に紐付いた機能（プリント機能）が連携対象の機能から除外される。

その後、図１９（ｂ）に示すように、矢印１３４で示す方向に、ユーザによって、部分像８２から部分像８０へ画像が繋がれた場合、部分像８０に紐付いた機能（ステープラ止め機能）が連携対象の機能として選択され、部分像８０に紐付いた機能を利用する連携機能が優先的に選択される。

変形例３によると、画像を繋ぐ操作以外の特別な操作を行わずに、解除対象の機能が連携対象の機能から除外され、解除対象の機能を利用する連携機能が解除される。例えば、連携対象の機能を間違って指定した場合、その機能に紐付いた画像よりも１つ前に繋いだ画像を指定することにより、それ以外の特別な操作を行わずに、間違って指定された機能が解除される。これにより、解除ボタン等を用いて機能を連携対象の機能から除外する場合と比べて、簡単な操作で解除対象の機能が除外される。

なお、解除用の操作の軌跡（例えば矢印１３２の軌跡）が、機器表示画面６２に表示されてもよい。この場合、接続用の操作の軌跡（例えば矢印１２６，１２８，１３０の軌跡）とは異なる表示態様（例えば異なる色や異なる線の種類）で、解除用の操作の軌跡が表示されてもよい。

別の例として、連携を解除する場合、ユーザが機器表示画面６２上で解除対象の機器に紐付いた機器像や部分像を指定してもよいし、連携解除ボタンを押してもよい。また、連携対象ではない機器が機器表示画面６２に写り込んでいる場合、ユーザが機器表示画面６２上でその機器に紐付いた機器像を指定することにより、その機器を連携対象の機器から除外してもよい。解除対象の機器に紐付いた機器像にバツ印等を付けるような予め設定された操作が行われた場合に、その機器が連携対象の機器から除外されてもよい。

（変形例４）
以下、図２０を参照して、変形例４について説明する。図２０には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。

変形例４においても、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が、連携対象の機器として識別されており、図２０（ａ）に示すように、端末装置１６において、機器表示画面６２に機器像６４，６６が表示されている。また、矢印１３６で示すように、部分像７８，８４（接触領域像９２，９８）が、その順番で繋がれているものとする。つまり、スキャン機能及び画面表示機能が、その順番で指定されている。

変形例４においては、端末装置１６の制御部４８は、最後に連携した機器を表わす機器像を機器表示画面６２に残して表示させつつ、カメラ４２の撮影領域を変更して機器表示画面６２に表示させる。この場合、既に連携された機器（例えば複合機（Ｂ）とＰＣ（Ａ））の識別情報は端末装置１６又はサーバ１４の記憶部に記憶される。

図２０（ａ）に示す例では、端末装置１２（ＰＣ（Ａ））が最後に連携した機器であるため、その機器像６６が機器表示画面６２に残って表示される。ユーザが端末装置１６のカメラ４２の撮影領域を変えた場合、端末装置１６の制御部４８は、機器像６６を機器表示画面６２に表示させた状態で、カメラ４２によって撮影された画像を機器表示画面６２に表示させる。例えば、図２０（ａ）に示す環境では撮影しきれないプロジェクタ（Ｃ）を連携対象の機器として用いる場合、図２０（ｂ）に示すように、機器像６６が機器表示画面６２に表示されている状態で、ユーザは、カメラ４２の撮影領域にプロジェクタ（Ｃ）が含まれるようにカメラ４２の向きを変えてプロジェクタ（Ｃ）を撮影する。これにより、プロジェクタ（Ｃ）がカメラ４２によって撮影され、プロジェクタ（Ｃ）に紐付いた機器像１３８が機器表示画面６２に表示される。上述したように、プロジェクタ（Ｃ）が識別され、例えば、プロジェクタ（Ｃ）が有する機能の名称（例えば「投影する」）が機器表示画面６２に表示される。また、プロジェクタ（Ｃ）を表わす機器像１３８に重畳して接触領域像１４０が表示されている。矢印１４２で示すように、ユーザによって、部分像８４（接触領域像９８）から機器像１３８（接触領域像１４０）へ画像が繋がれた場合、機器像１３８に紐付いた機器が有する機能（例えば投影機能）が連携対象の機能として選択され、機器像１３８に紐付いた機能を利用する連携機能が優先的に表示される。

変形例４によると、連携対象となる複数の機器を一度に撮影しきれない場合であっても、複数の機器を別々に撮影して連携させることが可能となる。つまり、連携対象の機器が必ずしも互いに近い位置に配置されているとは限らない。変形例４によると、そのような場合であっても、複数の機器を別々に撮影して連携させることが可能となる。もちろん、カメラ４２の撮影領域のアングルを変えたり、撮影領域を拡大又は縮小することによって対応することも可能であるが、そのような操作で対応しきれない場合、撮影を複数回に分けることで各機器が識別される。

なお、上記の例では、最後に連携した機器に紐付いた機器像を機器表示画面６２に残して表示しているが、別の例として、ユーザによって指定された機器像や、最初に撮影された機器に紐付いた機器像や、予め設定された基本機器に紐付いた機器像を、機器表示画面６２に残して表示してもよい。この場合も、複数の機器を別々に撮影して連携させることが可能となる。

上述した第１実施形態及び変形例１−４において、識別された機器を表わす機器像、接触領域像、接続用の操作の軌跡（例えば、なぞった線の軌跡）、及び、解除用の操作の軌跡は、背景画像に埋もれないように３次元で表示されてもよい。つまり、それらの画像は３次元画像として表示されてもよい。例えば、背景画像が２次元で表示され、機器像、接触領域像及び操作の軌跡が３次元で表示される。これにより、機器像、接触領域像及び操作の軌跡の視認性が向上する。別の例として、識別されない機器に紐付いた機器像や背景画像は、機器表示画面６２に表示されずに、識別された機器に紐付いた機器像のみが機器表示画面６２に表示されてもよい。

上記のように、機器に紐付いた画像が繋がれて連携機能が特定されると、端末装置１６から連携対象の機器に対して接続要求が送信され、端末装置１６と連携対象の機器とが接続される。以下、図２１を参照して、その接続処理について説明する。図２１は、その処理を示すシーケンス図である。

まず、ユーザは、端末装置１６を利用して、連携機能実行用のアプリケーション（プログラム）の起動を指示する。端末装置１６の制御部４８は、その指示に応じて当該アプリケーションを起動させる（Ｓ０１）。なお、そのアプリケーションは、端末装置１６の記憶部４４に予め記憶されていてもよいし、サーバ１４等からダウンロードされてもよい。

次に、マーカ型ＡＲ技術、マーカレス型ＡＲ技術又は位置情報ＡＲ技術を適用することにより、連携対象の機器が識別される（Ｓ０２）。もちろん、ＡＲ技術以外の技術によって連携対象の機器が識別されてもよい。マーカ型ＡＲ技術又はマーカレス型ＡＲ技術を適用する場合、ユーザは、端末装置１６のカメラ４２によって連携対象の機器を撮影する。一例として、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が連携機器として用いられる場合、ユーザは、カメラ４２によって画像形成装置１０と端末装置１２を撮影する。画像形成装置１０と端末装置１２のそれぞれの機器識別情報が取得され、画像形成装置１０と端末装置１２が連携対象の機器として識別される。位置情報ＡＲ技術を適用する場合、画像形成装置１０と端末装置１２のそれぞれの位置情報が取得され、その位置情報に基づいて、画像形成装置１０と端末装置１２のそれぞれの機器識別情報が特定され、画像形成装置１０と端末装置１２が識別される。

端末装置１６において、ユーザが、連携対象となる複数の機器に紐付いた複数の機器像を互いに繋ぐことにより、連携機能が特定されるとともに、各連携機能の優先順位が特定される。端末装置１６のＵＩ部４６には、その優先順位に従って連携機能に関する情報が表示される（Ｓ０３）。連携機能の特定処理及び優先順位の特定処理は、サーバ１４によって行われてもよいし、端末装置１６によって行われてもよい。

次に、端末装置１６において、ユーザによって実行対象の連携機能が指定されると、端末装置１６は、その連携機能を実行する連携対象の機器（例えば画像形成装置１０と端末装置１２）に接続要求を示す情報を送信する（Ｓ０４）。例えば、連携対象の機器のアドレスを示すアドレス情報が、サーバ１４に記憶されている場合、端末装置１６は、連携対象の機器のアドレス情報をサーバ１４から取得する。機器識別情報にアドレス情報が含まれている場合、端末装置１６は、連携対象の機器の機器識別情報からそれぞれのアドレス情報を取得してもよい。別の例として、端末装置１６に、連携対象の機器のアドレス情報が記憶されていてもよい。もちろん、端末装置１６は、別の手法によって連携対象の機器のアドレス情報を取得してもよい。端末装置１６は、連携対象の機器（例えば画像形成装置１０と端末装置１２）のアドレス情報を用いて、連携対象の機器（例えば画像形成装置１０と端末装置１２）に接続要求を示す情報を送信する。

接続要求を示す情報を受けた画像形成装置１０と端末装置１２は、端末装置１６との接続を許可する、又は、許可しない（Ｓ０５）。例えば、画像形成装置１０と端末装置１２が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置１６からの接続が許可された場合、画像形成装置１０と端末装置１６の固有の設定情報が端末装置１６から変更されないように、その変更操作を禁止してもよい。例えば、画像形成装置１０の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。

接続の許可又は不許可を示す結果情報が、画像形成装置１０と端末装置１２から端末装置１６に送信される（Ｓ０６）。画像形成装置１０と端末装置１２への接続が許可された場合、端末装置１６と、画像形成装置１０及び端末装置１２と、の間で通信が確立される。

次に、ユーザは端末装置１６を利用して連携機能の実行を指示する（Ｓ０７）。この指示に応じて、連携機能の実行指示を示す実行指示情報が、端末装置１６から画像形成装置１０と端末装置１２に送信される（Ｓ０８）。画像形成装置１０に送信される実行指示情報には、画像形成装置１０にて実行される処理を示す情報（例えばジョブ情報）が含まれ、端末装置１２に送信される実行指示情報には、端末装置１２にて実行される処理を示す情報（例えばジョブ情報）が含まれる。

実行指示情報を受けた画像形成装置１０と端末装置１２は、実行指示情報に従って機能を実行する（Ｓ０９）。例えば、画像形成装置１０（複合機（Ｂ））から端末装置１２（ＰＣ（Ａ））へスキャンデータを転送するスキャン転送機能のように、連携機能に、画像形成装置１０と端末装置１２との間でデータの送受信が行われる処理が含まれている場合、画像形成装置１０と端末装置１２との間で通信が確立される。この場合、例えば、画像形成装置１０に送信される実行指示情報には端末装置１２のアドレス情報が含まれ、端末装置１２に送信される実行指示情報には画像形成装置１０のアドレス情報が含まれ、それらのアドレス情報を用いて画像形成装置１０と端末装置１２との間で通信が確立される。

連携機能の実行が終了すると、連携機能の実行完了を示す情報が、画像形成装置１０と端末装置１２から端末装置１６に送信される（Ｓ１０）。端末装置１６のＵＩ部４６には、連携機能の実行が完了したことを示す情報が表示される（Ｓ１１）。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置１６の制御部４８は、エラーを示す情報をＵＩ部４６に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、画像形成装置１０と端末装置１２に送信してもよい。

次に、ユーザは、画像形成装置１０と端末装置１２の連携状態を解除するか否かを確認し（Ｓ１２）、解除の有無に応じた処理が実行される（Ｓ１３）。連携状態を解除する場合、ユーザは、端末装置１６を利用して解除の指示を与える。これにより、端末装置１６と、画像形成装置１０及び端末装置１２と、の間の通信が解除される。同様に、画像形成装置１０と端末装置１２との間の通信も解除される。連携状態を解除しない場合、継続して実行指示を与えてもよい。

また、連携対象の機器を増やしてもよい。例えば３台目の機器の機器識別情報が取得され、画像形成装置１０と端末装置１２を含む３台の機器を連携させることによって実行される連携機能が特定されてもよい。なお、画像形成装置１０と端末装置１２が既に連携機能として識別されていることを示す情報は、サーバ１４や端末装置１６に記憶される。

連携対象の機器を示す機器識別情報や、実行された連携機能を示す連携機能識別情報は、端末装置１６やサーバ１４等に記憶されてもよい。例えば、端末装置１６を利用するユーザのユーザアカウント情報（ユーザ識別情報）が取得され、そのユーザアカウント情報と、連携対象の機器を示す機器識別情報と、実行された連携機能を示す連携機能識別情報と、の対応付けを示す履歴情報が作成され、端末装置１６やサーバ１４等に記憶されてもよい。履歴情報は、端末装置１６によって作成されてもよいし、サーバ１４によって作成されてもよい。履歴情報を参照することにより、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。

なお、連携対象の機器（例えば画像形成装置１０と端末装置１２）は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置１６を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することにより、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、サーバ１４や端末装置１６に記憶されてもよいし、別の装置に記憶されてもよい。

ユーザアカウント情報は、例えば、端末装置１６の記憶部４４に予め記憶されており、端末装置１６の制御部４８は、ユーザ識別手段の一例として機能し、記憶部４４からユーザのユーザアカウント情報を読み込んで、端末装置１６を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部４４に記憶されている場合、ユーザは端末装置１６を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置１６の制御部４８は、端末装置１６にログインしているユーザのユーザアカウント情報を読み込むことにより、ユーザを識別してもよい。更に別の例として、同一の端末装置１６に、１つのユーザアカウント情報のみが記憶されている場合、端末装置１６の制御部４８は、そのユーザアカウント情報を読み込むことによりユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。

ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカウント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置１６のＵＩ部４６に表示されてもよい。その利用履歴を示す情報は、端末装置１６に記憶されていてもよいし、サーバ１４に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。

［第２実施形態］
以下、本発明の第２実施形態に係る情報処理システムとしての画像形成システムについて説明する。図２２には、第２実施形態に係るサーバ１４Ａが示されている。第２実施形態に係る画像形成システムは、第１実施形態に係るサーバ１４の代りにサーバ１４Ａを含む。サーバ１４Ａ以外の構成は、図１に示されている第１実施形態に係る画像形成システムの構成と同じである。

サーバ１４Ａは、第１実施形態に係るサーバ１４と同様に、複数の機能を連携させることによって実行される連携機能を管理する。以下、図２２を参照して、サーバ１４Ａの構成について詳しく説明する。

サーバ１４Ａは、通信部２８、記憶部３０Ａ及び制御部３６Ａを含む。通信部２８は、第１実施形態に係る通信部２８と同じ構成を備えている。

記憶部３０ＡはハードディスクやＳＳＤ等の記憶装置である。記憶部３０Ａには、例えば、機器機能情報３２、連携機能情報１４４、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。記憶部３０Ａに記憶されている機器機能情報３２や連携機能情報１４４が、定期的に又は指定されたタイミングで端末装置１６に提供され、これにより、端末装置１６に記憶されている情報が更新されてもよい。

機器機能情報３２は、第１実施形態に係る機器機能情報３２と同じ情報である。

連携機能情報１４４は、複数の機能を連携させることによって実行される連携機能を示す情報であり、例えば、連携機能を実行するために連携される機能を識別するための機能識別情報の組み合わせを示す情報と、当該連携機能を識別するための連携機能識別情報と、の対応付けを示す情報である。複数の機器を連携させる場合、連携機能情報１４４は、複数の機器が有する複数の機能を連携させることによって実行される連携機能を示す情報であり、連携機能を実行するために連携される機器を識別するための機器識別情報の組み合わせを示す情報と、連携機能識別情報と、の対応付けを示す情報である。

制御部３６Ａは、サーバ１４Ａの各部の動作を制御する。また、制御部３６Ａは、特定部３８と連携機能登録部１４６を含む。

特定部３８は、第１実施形態に係る特定部３８と同様に、機器識別情報に基づいて機器を識別し、当該機器が有する機能を特定する。また、特定部３８は、連携対象の機器が有する機能を連携させることによって実行される連携機能を特定する。第２実施形態においても、ＡＲ技術を適用することにより、機器識別情報が取得されて機器が識別される。もちろん、ＡＲ技術以外の技術によって機器識別情報が取得されて機器が識別されてもよい。

第２実施形態においては、連携対象の機器に紐付いた機器像が端末装置１６のＵＩ部４６に表示され、機器像同士を重ね合わせることにより連携機能が特定されて、その連携機能に関する情報が端末装置１６のＵＩ部４６に表示される。

連携機能登録部１４６は、連携機能を登録する機能を備えており、例えば、登録対象の連携機能の登録内容を示す情報と、連携機能を実行するときに表示される画像（例えばショートカット用の画像）と、を対応付ける。その画像は、例えば、機器像の重ね合わせによって生成された画像や、重ね合わせの対象となった機器を模式的に表わす画像である。

以下、第２実施形態に係る画像形成システムについて詳しく説明する。

まず、図２３を参照して、連携機能情報１４４について詳しく説明する。図２３には、連携機能情報１４４としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせを示す情報と、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能識別情報）と、が対応付けられている。図７に示されている第１実施形態に係る連携機能管理テーブルとは異なり、第２実施形態に係る連携機能管理テーブルには、接続順番を示す情報と優先順位を示す情報は含まれていない。

以下、図２４及び図２５を参照して、連携機能を特定するための操作について詳しく説明する。図２４及び図２５には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。

例えば、第１実施形態と同様に、ＵＲ技術等を適用することにより、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が連携対象の機器として識別されているものとする。図２４（ａ）に示すように、端末装置１６のＵＩ部４６には機器表示画面６２が表示されており、その機器表示画面６２に、識別された機器（画像形成装置１０と端末装置１２）に紐付く機器像６４，６６が表示されている。この状態で、ユーザが指示子（例えばユーザの指、ペン、スタイラス等）を用いて連携対象の機器に紐付いた機器像を、他の連携対象の機器に紐付いた機器像に重ね合わせる。例えば、図２４（ｂ）に示すように、ユーザが操作子を用いて機器像６４を指定し、矢印１４８で示すように、その機器像６４を機器像６６に重ね合わせる。例えば、ドラッグ＆ドロップ操作によって機器像同士を重ね合わせる。つまり、ユーザは機器像６４をドラッグ操作し、機器像６６に重なる位置で機器像６４をドロップ操作する。このドラッグ＆ドロップ操作自体は、例えば公知の技術である。なお、ユーザの音声指示に従って、重ね合わせる機器像（連携させるべき機器に紐付いた画像）が指定されてもよい。例えば、ユーザの音声指示に従って、機器像６４，６６が重ね合わせ対象の機器像として指定され、それらが重ねられてもよい。

機器像６４，６６を互いに重ね合わせることにより、機器像６４に紐付いた画像形成装置１０（複合機（Ｂ））と機器像６６に紐付いた端末装置１２（ＰＣ（Ａ））が、連携対象の機器として指定される。なお、図２４（ｂ）に示す例では、機器像６４を機器像６６に重ね合わせているが、機器像６６を機器像６４に重ね合わせてもよい。

なお、端末装置１６の制御部４８は、ドラッグ操作中の機器像を識別可能な表示態様でＵＩ部４６に表示させてもよい。例えば、ドラッグ操作中の機器像を半透明に表示したり、特定の色で表示したりしてもよい。

機器像６４が機器像６６に重ねて表示されると、図２４（ｃ）に示すように、端末装置１６のＵＩ部４６に確認画面１５０が表示される。確認画面１５０は、連携対象の機器として指定された機器群を連携させるか否かを確認するための画面である。確認画面１５０において、連携指示がユーザによって与えられると（例えば「ＹＥＳ」ボタンがユーザによって押されると）、連携機能に関する情報が端末装置１６のＵＩ部４６に表示される。具体的には、連携対象の機器（例えば画像形成装置１０と端末装置１２）が指定されて連携指示が与えられると、サーバ１４Ａの特定部３８は、図２３に示されている連携機能管理テーブル（連携機能情報１４４）において、ＰＣ（Ａ）と複合機（Ｂ）の組み合わせに対応付けられている連携機能を特定する。これにより、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実行される連携機能が特定される。このようにして特定された連携機能に関する情報は、サーバ１４から端末装置１６に送信され、連携機能候補に関する情報として端末装置１６のＵＩ部４６に表示される。

例えば図２５（ａ）に示すように、端末装置１６の制御部４８は、ＵＩ部４６に連携機能表示画面１５２を表示させ、その連携機能表示画面１５２に連携機能候補に関する情報を表示させる。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、例えば、「スキャン転送機能」と「印刷機能」が実現されるため、連携機能表示画面１５２には、「スキャン転送機能」に関する情報と「印刷機能」に関する情報が表示される。

連携機能がユーザによって指定されて実行指示が与えられると、端末装置１６から連携対象の機器に対して接続要求が行われる。図２５（ｂ）に示すように、その接続要求の間、端末装置１６のＵＩ部４６には待機画面１５４が表示される。端末装置１６と連携対象の機器との接続が成功すると、指定された連携機能が実行される。

以上のように、第２実施形態によると、機器に紐付いた機器像同士を重ね合わせることにより、機器が有する機能を利用する連携機能が特定される。それ故、画像操作以外の特別な操作を行わずに、機能を連携させることが可能となり、簡易な操作で機能が連携される。

以下、第２実施形態の変形例について説明する。

（変形例５）
以下、図２６及び図２７を参照して、変形例５について説明する。図２６及び図２７には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。変形例５においては、複数の機器像が重ねられた後、その重ねた状態を示す新たな画像が生成されて表示される。以下、変形例５について詳しく説明する。

変形例５においても、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が、連携対象の機器として識別されており、図２６（ａ）に示すように、端末装置１６において、機器表示画面６２に機器像６４，６６が表示されているものとする。例えば、ユーザが操作子を用いて、矢印１５６で示すように、機器像６４を機器像６６に重ね合わせたものとする。機器像６４，６６を重ね合わせることにより、機器像６４に紐付いた画像形成装置１０（複合機（Ｂ））と機器像６６に紐付いた端末装置１２（ＰＣ（Ａ））が、連携対象の機器として指定される。

機器像６４が機器像６６に重ねて表示されると、図２６（ｂ）に示すように、端末装置１６のＵＩ部４６に確認画面１５８が表示される。確認画面１５８は、連携対象の機器として指定された機器群を連携させるか否かを確認するための画面であるとともに、更に連携させる機器が存在するか否かを確認するための画面である。複合機（Ｂ）をＰＣ（Ａ）に連携させる指示がユーザによって与えられると（例えば、複合機（Ｂ）をＰＣ（Ａ）に連携させるための「ＹＥＳ」ボタンがユーザによって押されると）、複合機（Ｂ）とＰＣ（Ａ）が連携させられる。他に連携させる機器が存在する場合（例えば、他の機器を連携させるための「ＹＥＳ」ボタンがユーザによって押されると）、図２６（ｃ）に示すように、機器表示画面６２が表示される。この機器表示画面６２には、重ねられた機器像６４，６６をグルーピングすることにより生成された新たな機器像１６０が表示される。新たな機器像１６０は、例えば端末装置１６の制御部４８によって生成されてもよいし、サーバ１４Ａの制御部３６Ａによって生成されてもよい。機器像１６０は、機器像６４上に機器像６６が重ねられた状態を表わす画像である。

変形例５においては、端末装置１６の制御部４８は、新たに生成された機器像１６０を機器表示画面６２に残して表示させる。ユーザが端末装置１６のカメラ４２の撮影領域を変えた場合、端末装置１６の制御部４８は、機器像１６０を機器表示画面６２に表示させた状態で、カメラ４２によって撮影された画像を機器表示画面６２に表示させる。この場合、既に連携された機器（例えば複合機（Ｂ）とＰＣ（Ａ））の識別情報は端末装置１６又はサーバ１４Ａの記憶部に記憶される。

例えば、図２６（ａ）に示す環境では撮影しきれないプロジェクタ（Ｃ）を連携対象の機器として用いる場合、図２６（ｃ）に示すように、機器像１６０が機器表示画面６２に表示されている状態で、ユーザは、カメラ４２の撮影領域にプロジェクタ（Ｃ）が含まれるようにカメラ４２の向きを変えてプロジェクタ（Ｃ）を撮影する。これにより、プロジェクタ（Ｃ）がカメラ４２によって撮影され、プロジェクタ（Ｃ）に紐付いた機器像１３８が機器表示画面６２に表示され、プロジェクタ（Ｃ）が識別される。矢印１６２で示すように、ユーザが、新たな機器像１６０を機器像１３８に重ね合わせることにより、機器像１３８に紐付いた機器が連携対象の機器として選択される。更に連携させる機器が存在しない場合、既に指定された連携対象の機器群を連携させることによって実行される連携機能がサーバ１４において特定され、その連携機能に関する情報がサーバ１４から端末装置１６に送信されて端末装置１６のＵＩ部４６に表示される。例えば、図２６（ｂ）に示されている確認画面１５８において、更に連携させる機器が存在しないことを指示するための「ＮＯ」ボタンがユーザによって押されると、連携機能に関する情報が端末装置１６のＵＩ部４６に表示される。

以上のように、変形例５によると、機器像を重ね合わせることにより生成された新たな機器像を、次の連携候補の機器に紐付いた機器像に重ね合わせることにより、連携させる機器を増加させることができる。また、新たな機器像は、連携対象の機器に紐付いた機器像が重ねられた状態を表わしているため、新たな機器像を表示することにより、どのような機器が連携対象の機器として指定されているのかが視覚的に分かり易くなる。

なお、確認画面１５８の表示は省略されてもよい。この場合、機器像同士を重ね合わせた後に、連携機能の表示指示がユーザによって与えられると、その重ね合わせによって指定された連携対象の機器によって実行される連携機能に関する情報が、端末装置１６のＵＩ部４６に表示される。

変形例５においては、互いに重ねられた機器像群をグルーピングすることにより新たな機器像が生成されるが、互いに重ねられた機器像群を別の画像に代えて機器表示画面６２に表示してもよい。例えば、図２７に示すように、機器表示画面６２には、グルーピングによって生成された機器像１６０の代りに、新たな機器像１６４が表示されており、その新たな機器像１６４が矢印１６６で示すように操作されている。機器像１６４は、複合機（Ｂ）とＰＣ（Ａ）とを模式的に表す画像や、複合機（Ｂ）が有する機能とＰＣ（Ａ）とが有する機能の内容を表わす画像等である。機器像１６４は、端末装置１６の制御部４８によって生成されてもよいし、サーバ１４Ａの制御部３６Ａによって生成されてもよい。機能の内容を表わす画像を新たな機器像として表示することにより、どのような機能が連携対象の機能として指定されているのかが視覚的に分かり易くなる。

図２７に示す例では、元の機器像１６０が新たな機器像１６４に自動的に置き換えられて表示されているが、この置き換えの際に確認画面が端末装置１６のＵＩ部４６に表示されてもよい。図２８には、その確認画面の一例が示されている。複数の機能像が重ねられた後、確認画面１６８が端末装置１６のＵＩ部４６に表示される。この確認画面１６８には、複数の機器像をグルーピングすることによって生成された元の機器像１６０と、模式的な機器像１６４が表示されている。ユーザによって画像の置き換えが指示された場合（例えば「ＹＥＳ」ボタンがユーザによって押された場合）、元の機器像１６０から模式的な機器像１６４に置き換えられ、図２７に示すように、模式的な機器像１６４が機器表示画面６２に表示される。

（変形例６）
以下、図２９から図３１を参照して、変形例６について説明する。図２９から図３１には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。変形例６においては、最後に連携したときに生成された機器像が、次回以降に連携機能を実行する際のショートカットボタン用の画像として用いられる。以下、変形例６について詳しく説明する。

変形例６においては、変形例５と同様に、機器像６４，６６が重ねられて、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が、連携対象の機器として識別されており、機器像６４，６６をグルーピングすることにより新たな機器像１６０が生成されているものとする。

ユーザが端末装置１６を用いて、新たな機器像１６０をショートカットボタン用の画像として登録する指示を与えると、図２９（ａ）に示すように、端末装置１６のＵＩ部４６に連携機能登録画面１７０が表示される。この連携機能登録画面１７０には、新たな機器像１６０が表示されるとともに、複合機（Ｂ）とＰＣ（Ａ）とを連携させることによって実行される連携機能の登録内容を示す情報が表示される。例えば、連携機能名、連携機能の概要、及び、連携に必要な機器を示す情報が、登録内容を示す情報として表示されている。ユーザは端末装置１６を用いて、登録内容（例えば、連携機能名、連携機能の概要等）を編集してもよい。

連携機能登録画面１７０において、連携機能のショートカット機能を登録しない指示がユーザによって与えられた場合（例えば「ＮＯ」ボタンがユーザによって押された場合）、図２９（ｂ）に示すように、端末装置１６のＵＩ部４６に確認画面１７２が表示される。確認画面１７２において、終了指示がユーザによって与えられると（例えば、登録終了に関する「ＹＥＳ」ボタンがユーザによって押されると）、連携機能登録処理は終了する。一部の編集指示がユーザによって与えられると（例えば、一部編集に関する「ＹＥＳ」ボタンがユーザによって押されると）、画面は連携機能登録画面１７０に戻る。

一方、連携機能登録画面１７０において、連携機能のショートカット機能を登録する指示がユーザによって与えられた場合（例えば「ＹＥＳ」ボタンがユーザによって押された場合）、図３０（ａ）に示すように、端末装置１６のＵＩ部４６に確認画面１７４が表示される。この確認画面１７４において、ショートカットボタンの作成指示がユーザによって与えられた場合（例えば「ＹＥＳ」ボタンがユーザによって押された場合）、連携機能を実行するためのショートカットボタンを表わす画像（ショートカットボタン像）が生成される。ショートカットボタン像は、端末装置１６によって作成されてもよいしサーバ１４Ａによって作成されてもよい。例えば図３０（ｂ）に示すように、端末装置１６のＵＩ部４６の画面１７６（例えばデスクトップ画面）には、そのショートカットボタン像１７８が表示される。ショートカットボタン像１７８には、機器像１６０が含まれている。例えば、サーバ１４Ａの連携機能登録部１４６は、登録対象の連携機能の登録内容を示す情報と、ショートカットボタン像１７８と、を対応付ける。もちろん、端末装置１６によって、その対応付けが行われてもよい。複数のショートカットボタン像が生成されて登録されると、画面１７６にはショートカットボタン像の一覧が表示される。連携機能の登録内容を示す情報とショートカットボタン像は、例えば端末装置１６に記憶される。別の例として、連携機能の登録内容を示す情報とショートカットボタン像は、ユーザアカウント情報に対応付けられてサーバ１４に記憶されてもよい。この場合、ユーザアカウント情報が端末装置１６からサーバ１４に送信されると、そのユーザアカウント情報に対応付けられている情報（連携機能の登録内容を示す情報とショートカットボタン像）が、サーバ１４から端末装置１６に送信されて表示される。

ショートカットボタン像１７８には、ステータス像１８０，１８２が含まれている。ステータス像は、連携対象の機器のステータスを表わす画像、つまり、連携対象の機器が連携機能を実行できる状態にあるか否かを表わす画像である。例えば、ステータス像１８０は、画像形成装置１０（複合機（Ｂ））のステータスを表わす画像であり、ステータス像１８２は、端末装置１２（ＰＣ（Ａ））のステータスを表わす画像である。連携対象の機器が連携機能を実行できる状態の場合、その旨を象徴する特定の色（例えば緑色や青色等）でステータス像が表示され、連携対象の機器が連携機能を実行できる状態ではない場合、その旨を象徴する別の特定の色（例えば白色や赤色等）でステータス像が表示される。図３０（ｂ）に示す例では、ステータス像１８０が緑色で表示されており、ステータス像１８２が白色で表示されている。それ故、画像形成装置１０（複合機（Ｂ））は連携機能を実行できる状態にあるが、端末装置１２（ＰＣ（Ａ））は連携機能を実行できる状態にない。もちろん、色以外の情報によって、連携対象の機器のステータスを表わしてもよい。例えば、ステータスに応じた形状を有するステータス像を表示してもよいし、ステータスを示す文字列を表示してもよい。

連携機能を実行できる状態とは、例えば、現在、他のユーザによって使用されていない状態、故障が発生していない状態、等である。連携機能を実行できない状態とは、例えば、現在、他のユーザによって使用されている状態、故障が発生している状態、等である。例えば、端末装置１６が、連携対象の機器のステータスを示す情報を連携対象の機器から取得し、その情報に基づいてステータス像を特定の色で表示させる。別の例として、サーバ１４が、ステータスを示す情報を連携対象の機器から取得し、端末装置１６は、サーバ１４からその情報を取得してもよい。

以上のように、連携機能とショートカットボタン像とを紐付けて管理することにより、次回以降、連携機能を実行するための操作が軽減される。

図３１には、連携機能の閲覧編集画面の一例が示されている。ユーザが端末装置１６を使用して、連携機能の登録情報の閲覧指示を与えると、図３１（ａ）に示すように、端末装置１６のＵＩ部４６に閲覧編集画面１８４が表示される。閲覧編集画面１８４には、表示画像としてのショートカット像や、連携機能の登録内容（例えば、連携機能名、機能概要、接続機器名）等が表示される。例えば、閲覧編集画面１８４において、ユーザが、編集対象の連携機能についての項目（例えば、表示画像、連携機能名、機能概要、接続機器名）を指定すると、図３１（ｂ）に示すように、端末装置１６のＵＩ部４６に確認画面１８６が表示される。例えば、ある連携機能の連携機能名がユーザによって指定されると、連携機能名の編集を確認するための確認画面１８６が表示される。その確認画面１８６において「ＹＥＳ」ボタンがユーザによって押されると、図３１（ｃ）に示すように、端末装置１６のＵＩ部４６に編集画面１８８が表示される。この編集画面１８８において、連携機能名がユーザによって編集され、編集画面１８８には、編集前の連携機能名と編集後の連携機能名が表示される。編集内容を反映させる指示がユーザによって与えられると（例えば「ＹＥＳ」ボタンがユーザによって押されると）、その編集内容が反映される。例えば、編集後の連携機能名が、ショートカット像とともに端末装置１６のＵＩ部４６のデスクトップ画面に表示される。連携機能名以外の項目についても、同様の方法によって編集される。

（変形例７）
以下、図３２を参照して、変形例７について説明する。図３２には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。変形例７においては、重ね合わせ対象の機器像が選択された後、機器表示画面６２上において機器像が表示されていない領域で、その選択が解除された場合、連携機能が解除される。

例えば、図３２（ａ）に示すように、機器像６６が機器像６４に重ねられ、新たな機器像１６０が生成されて表示されたものとする。このとき、ユーザが機器像１６０を選択し、矢印１９０で示すように、機器表示画面６２上において機器像が表示されていない領域で機器像１６０の選択を解除すると、複合機（Ｂ）とＰＣ（Ａ）とを連携させることによって実行される連携機能が解除される。つまり、機器像１６０を、機器像が表示されていない領域までドラッグ操作し、その領域でドロップ操作することにより、連携機能が解除されて、機器が連携される前の状態に戻る。例えば、そのドラッグ操作及びドロップ操作を示す情報が端末装置１６からサーバ１４に送信され、サーバ１４の特定部３８は、連携機能を解除する。もちろん、端末装置１６が連携機能を解除してもよい。

図３２（ｂ）には、連携機能が解除された後の機器表示画面６２が示されている。機器が連携される前においては、機器像６４，６６，１３８が重ねられずに別々に表示されている。

以上のように、変形例７によると、重ね合わせ対象の機器像の選択を解除することにより、それ以外の特別な操作を行わずに連携機能が解除されるので、連携機能の解除のために選択解除以外の特別な操作が必要になる場合と比べて、連携機能が簡単に解除される。

別の例として、連携を解除する場合、ユーザが機器表示画面６２上で解除対象の機器に紐付いた機器像を指定してもよいし、連携解除ボタンを押してもよい。また、連携対象ではない機器が機器表示画面６２に写り込んでいる場合、ユーザが機器表示画面６２上でその機器に紐付いた機器像を指定することにより、その機器を連携対象の機器から除外してもよい。解除対象の機器に紐付いた機器像にバツ印等を付けるような予め設定された操作が行われた場合に、その機器が連携対象の機器から除外されてもよい。

（変形例８）
以下、図３３を参照して、変形例８について説明する。図３３には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。

変形例８においても、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が、連携対象の機器として識別されており、図３３（ａ）に示すように、端末装置１６において、機器表示画面６２に機器像６４，６６が表示されている。また、矢印１９２で示すように、機器像６４が機器像６６に重ねられており、これにより、新たな機器像１６０が生成されて表示されている。画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が、連携対象の機器として指定されている。

変形例８においては、端末装置１６の制御部４８は、最後に重ね合わせて生成された機器像を機器表示画面６２に残して表示させつつ、カメラ４２の撮影領域を変更して機器表示画面６２に表示させる。この場合、連携された機器（重ねられた機器像に紐付いた機器）の識別情報は端末装置１６又はサーバ１４に記憶される。

図３３（ａ）に示す例では、機器像６４が機器像６６に重ね合わされて新たな機器像１６０が生成されて表示されているため、その機器像１６０が機器表示画面６２に残って表示される。例えば、図３３（ａ）に示す環境では撮影しきれないプロジェクタ（Ｃ）を連携対象の機器として用いる場合、図３３（ｂ）に示すように、機器像１６０が機器表示画面６２に表示されている状態で、ユーザは、カメラ４２の撮影領域にプロジェクタ（Ｃ）が含まれるようにカメラ４２の向きを変えてプロジェクタ（Ｃ）を撮影する。これにより、プロジェクタ（Ｃ）がカメラ４２によって撮影され、プロジェクタ（Ｃ）に紐付いた機器像１３８が機器表示画面６２に表示される。機器像１６０を機器像１３８に重ね合わせることにより、プロジェクタ（Ｃ）が連携対象の機器として指定される。

変形例８によると、連携対象となる複数の機器を一度に撮影しきれない場合であっても、複数の機器を別々に撮影して連携させることが可能となる。

なお、上記の例では、最後に重ね合わせて生成された機器像を機器表示画面６２に残して表示しているが、別の例として、ユーザによって指定された機器像や、最初に撮影された機器に紐付いた機器像や、予め設定された基本機器に紐付いた機器像を、機器表示画面６２に残して表示してもよい。この場合も、複数の機器を別々に撮影して連携させることが可能となる。

（変形例９）
以下、変形例９について説明する。変形例９においては、第１実施形態に係る処理が適用される。つまり、機器像を重ね合わせる順番に応じて、連携機能に関する情報の表示の優先順位が決定される。例えば、図２４（ｂ）に示すように、機器像６４が選択され、その機器像６４が操作されて機器像６６に重ねられた場合、機器像６４から機器像６６へ画像が繋がれたことになる。これにより、機器像６４に紐付いた画像形成装置１０（複合機（Ｂ））と機器像６６に紐付いた端末装置１２（ＰＣ（Ａ））が、連携対象の機器として指定されるとともに、接続の順番が指定される。機器像を重ねる順番が接続の順番に相当する。図２４（ｂ）に示す例では、画像形成装置１０（複合機（Ｂ））から端末装置１２（ＰＣ（Ａ））へ機器が接続されている。

変形例９においては、サーバ１４Ａには、第１実施形態に係る連携機能情報３４（図７に示されている連携機能管理テーブル）が記憶されている。上記のように、連携対象の機器（例えば画像形成装置１０と端末装置１２）が指定されると、サーバ１４Ａの特定部３８は、図７に示されている連携機能管理テーブル（連携機能情報３４）において、ＰＣ（Ａ）と複合機（Ｂ）の組み合わせに対応付けられている連携機能を特定する。これにより、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実現される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、特定部３８は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ１４Ａから端末装置１６に送信される。端末装置１６の制御部４８は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてＵＩ部４６に表示させる。

以上のように、変形例９によると、機器像を重ね合わせることにより、機器が有する機能を利用する連携機能が特定される。また、機器像を重ねる順番、つまり、機器を接続する順番を変えることにより、連携機能に関する情報の表示順位が変更される。それ故、機器像同士を重ねる操作以外の特別な操作を行わずに、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。

（変形例１０）
以下、図３４を参照して、変形例１０について説明する。図３４には、端末装置１６のＵＩ部４６に表示される画面の一例が示されている。

変形例１０においては、第１実施形態の変形例１と同様に、機器に紐付いた機器像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっている。機器像内の特定の部分像を、他の機器像内の特定の部分像に重ね合わせることにより、その特定の部分像に紐付いた機能を利用する連携機能が特定される。以下、変形例１０について詳しく説明する。

変形例１０においても、画像形成装置１０（複合機（Ｂ））と端末装置１２（ＰＣ（Ａ））が識別されているものとする。図３４（ａ）に示すように、端末装置１６のＵＩ部４６には機器表示画面６２が表示されており、その機器表示画面６２に機器像６４，６６が表示されている。第１実施形態の変形例１と同様に、機器像６４内の部分像７６には「プリント機能」が対応付けられており、機器像６４内の部分像７８には「スキャン機能」が対応付けられており、機器像６４内の部分像８０には「ステープル止め機能」が対応付けられている。また、機器像６６内の部分像８２には「データ保存機能」が対応付けられており、機器像６６内の部分像８４には「画面表示機能」が対応付けられている。変形例１０においては、部分像は他の部分像から分離して個別的に移動可能な画像として表示されている。

なお、第１実施形態の変形例１と同様に、各機能の名称（例えば印刷やスキャン等）が機器表示画面６２に表示されてもよいし、接触領域像９０−９８が機器表示画面６２に表示されてもよい。この場合、ユーザによって指定された部分像に対応する接触領域像の色や、重ねられた部分像に対応する接触領域像の色が変更されてもよい。もちろん、機能の名称や接触領域像は表示されなくてもよい。

変形例１０においては、部分像がユーザによって指定されて、その部分像が他の部分像に重ねられると、重ねられた部分像に紐付いた機能を利用する連携機能が特定され、その連携機能に関する情報が端末装置１６のＵＩ部４６に表示される。この特定処理は、サーバ１４の特定部３８によって行われてもよいし、端末装置１６によって行われてもよい。

例えば、図３４（ｂ）中の矢印１９４で示すように、ユーザが操作子を用いて、部分像７８をドラッグ操作して部分像８４に重ねてドロップ操作を行った場合、部分像７８を含む機器像６４に紐付いた複合機（Ｂ）と部分像８４を含む機器像６６に紐付いたＰＣ（Ａ）が、連携対象の機器として指定されるとともに、部分像７８に対応する「スキャン機能」と部分像８２に対応する「画面表示機能」が連携対象の機能として指定される。

サーバ１４Ａにおいては、部分像に対応する機能が管理されている。例えば、部分像を識別するための識別情報と、部分像に対応付けられている機能を示す機能識別情報と、機能を連携させることによって実行される連携機能を示す連携機能識別情報と、が対応付けられてサーバ１４Ａに記憶されている。機器表示画面６２上で部分像が選択されて他の部分像に重ねられると、重ねられた部分像を示す識別情報が、端末装置１６からサーバ１４Ａに送信される。図３４（ｂ）に示す例では、部分像７８，８４をそれぞれ示す識別情報が端末装置１６からサーバ１４Ａに送信される。サーバ１４Ａの特定部３８は、その識別情報に基づいて、重ねられた部分像７８，８４のそれぞれに対応する機能を特定し、その機能を利用する連携機能を特定する。その連携機能に関する情報は、サーバ１４Ａから端末装置１６に送信されて表示される。

以上のように、変形例１０によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、この指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。

変形例１０においても、第１実施形態と同様に、部分像を重ね合わせる順番に応じて、連携機能の表示の優先順位が変更されてもよい。この場合、重ねられた部分像に紐付いた機能を利用する連携機能に関する情報が優先的に表示される。

（変形例１１）
以下、変形例１１について説明する。変形例１１においては、変形例１０と同様に、機器に紐付いた機器像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっているが、変形例１０と異なり、部分像は他の部分像から分離して個別的に移動可能になっていない。変形例１１では、図２４（ｂ）に示す例と同様に、ユーザによって機器像の全体が移動させられ、他の機器像に重ねられる。このとき、重ねられた位置に応じて連携機能が変更される。この点について、図３４（ａ）を参照して具体例を挙げて説明する。例えば、複合機（Ｂ）に紐付いた機器像６４の全体がユーザによって操作されて、ＰＣ（Ａ）に紐付いた機器像６６に重ねられたものとする。このとき、機器像６４内の部分像７８（スキャン機能に紐付いた部分像）と、機器像６６内の部分像８４（画面表示機能に紐付いた部分像）と、が重ねられた場合、スキャン機能と画面表示機能とを利用する連携機能に関する情報が優先的に表示される。

上述した第２実施形態及び変形例５−１１においても、第１実施形態と同様に、図２１に示されているシーケンスに従って、連携対象の機器が接続される。

また、上述した第２実施形態及び変形例５−１１において、識別された機器に紐付いた機器像、及び、重ねられた機器像は、背景画像に埋もれないように３次元で表示されてもよい。つまり、それらの画像が３次元画像として表示されてもよい。例えば、背景画像が２次元で表示され、機器像が３次元で表示される。これより、機器像の視認性が向上する。また、ユーザによって指定された機器像が他の機器像から識別されるように、指定された機器像の色を変えたり、指定された機器像を振動させたりしてもよい。

上述した第１実施形態、第２実施形態及び変形例１−１１においては、機器等のハードウェアを識別して連携機能を実現しているが、ソフトウェア（アプリケーションプログラム）を識別して、各ソフトウェアの機能を連携させてもよい。例えば、スマートフォンのホーム画面やパーソナルコンピュータのデスクトップ画面に表示されている機能に関するアイコン等の画像（機能に紐付いた画像の一例に相当する）を繋いだり重ねたりすることで、連携機能が特定され、その連携機能に関する情報が表示されてもよい。この場合において、画像を繋げる順番や重ねる順番に応じて、連携機能の表示の優先順位が変更されてもよい。

また、上述した第１実施形態、第２実施形態及び変形例１−１１によると、ＡＲ技術を適用することにより、連携対象の機器が有する機能を利用する連携機能が特定され、その連携機能に関する情報が表示される。これにより、連携対象の機器によってどのような連携機能が実行可能であるのかその外観からでは分からない場合であっても、その連携機能に関する情報がユーザに提供される。また、個々の機器が単独では実行できない機能が、複数の機器を連携させることによって実行できるようになり、便利である。また、ＡＲ技術を適用して連携対象の機器を識別するだけで連携機能の利用が可能となるため、連携機能を実行するための設定等をユーザがマニュアル操作で行う場合と比べて、簡単な操作で連携機能の利用が可能となり、ユーザの手間が軽減される。

また、複数の機器を複数のユーザが利用するという環境において、連携機能に関する情報が各ユーザの端末装置１６に表示される。例えば、機器からタッチパネル等のユーザインターフェースが取り除かれた場合であっても、端末装置１６がユーザインターフェースとして機能し、連携機能に関する情報が各ユーザの端末装置１６に表示される。別の場面として、例えば、ユーザの出先等で複数の機器が一時的に利用される場合に、当該ユーザに適したユーザインターフェース、つまり、当該ユーザによって指定された連携対象の機器が有する機能を利用する連携機能に関する情報を表わすユーザインターフェースが表示される。

上述した第１実施形態、第２実施形態及び変形例１−１１の連携機能実行動作の過程で、予め機器を撮影する、他のユーザが機器を識別して取得した機器識別情報及び機器の画像を譲り受ける等して、既に機器を識別している場合、その機器識別情報及び機器の画像をサーバ１４や端末装置１６等の記憶部に記憶しておき、後で連携機能を実行するための編集画面を起動して、その記憶した機器識別情報及び機器の画像を記憶部から読み出し、編集画面上で、上述したように機器の画像を繋げたり、重ね合わせることで、連携機能を実行するようにしてもよい。ここで、図３５を参照して、具体例を挙げて説明する。図３５には、端末装置１６に表示される編集画面１９６が示されている。この編集画面には、一例として、ＰＣ（Ａ）に紐付いた機器像６６、複合機（Ｂ）に紐付いた機器像６４、プロジェクタ（Ｃ）に紐付いた機器像１３８、及び、カメラ（Ｄ）に紐付いた機器像１９８が、表示されている。これらの画像は、上述したように、過去において既に取得された画像であり、サーバ１４や端末装置１６等の記憶部に記憶されている。連携機能を実行するときに、これらの画像が記憶部から読み出されて編集画面１９６に表示される。この編集画面１９６上において、上述したように、画像を繋げたり重ね合わせたりすることで、連携機能が実行される。このような処理を行うことにより、過去に識別したことのある機器を連携機能を実行する度に撮影する必要がなくなり、効率的に連携機能を実行することができる。また、カメラの撮影画像に写り込む機器以外の画像がなくなるため、操作すべき機器の視認性も向上する。

上記の画像形成装置１０、端末装置１２，１６及びサーバ１４，１４Ａのそれぞれは、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、画像形成装置１０、端末装置１２，１６及びサーバ１４，１４Ａのそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像形成装置１０、端末装置１２，１６及びサーバ１４，１４Ａの各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像形成装置１０、端末装置１２，１６及びサーバ１４，１４Ａのそれぞれの各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像形成装置１０、端末装置１２，１６及びサーバ１４，１４Ａのそれぞれの各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。

１０ 画像形成装置、１２，１６ 端末装置、１４，１４Ａ サーバ、１８，２８，４０ 通信部、２０ 画像形成部、２２，３０，３０Ａ，４４ 記憶部、２４，４６ ＵＩ部、２６，３６，３６Ａ，４８ 制御部、３２ 機器機能情報、３４，１４４ 連携機能情報、３８ 特定部、４２ カメラ、１４６ 連携機能登録部。

請求項１に係る発明は、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段を有し、複数の部分画像を繋げる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を制御する、を有する情報処理装置である。

請求項２に係る発明は、機能に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段を有し、複数の部分画像を繋げる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を制御する、を有する情報処理装置である。

請求項４に係る発明は、前記制御手段は、前記部分画像同士を繋ぐ順番に応じて、前記連携機能の表示を切り替える、ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置である。

請求項５に係る発明は、前記制御手段は、前記部分画像同士を繋ぐ順番に応じて、前記連携機能の表示の優先順位を変える、ことを特徴とする請求項４に記載の情報処理装置である。

請求項６に係る発明は、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段を有し、複数の部分画像を重ねる操作が行われた場合、前記制御手段は、前記部分画像同士を重ねる順番に応じて、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を切り替える、情報処理装置である。

請求項７に係る発明は、前記制御手段は、前記部分画像同士を重ねる順番に応じて、前記連携機能の表示の優先順位を変える、ことを特徴とする請求項６に記載の情報処理装置である。

請求項８に係る発明は、前記順番は、前記連携機能を実行する場合に利用する機能の順番である、ことを特徴とする請求項４、請求項５、請求項６又は請求項７何れかに記載の情報処理装置である。

請求項９に係る発明は、前記順番は、前記連携機能を実行する場合におけるデータの移動順番である、ことを特徴とする請求項４、請求項５、請求項６又は請求項７何れかに記載の情報処理装置である。

請求項１０に係る発明は、前記複数の部分画像は、同一の画像内において指定された画像である、ことを特徴とする請求項１から請求項９何れかに記載の情報処理装置である。

請求項１１に係る発明は、前記複数の部分画像は、互いに異なる複数の画像内において指定された画像である、ことを特徴とする請求項１から請求項９何れかに記載の情報処理装置である。

請求項１２に係る発明は、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段を有し、前記制御手段は、更に、前記画像内において、前記連携機能に利用される機能に対応する位置に接触領域画像を重ねて表示させる、情報処理装置である。

請求項１３に係る発明は、前記画像は、前記機器を撮影することで得られた画像である、ことを特徴とする請求項１に記載の情報処理装置である。

請求項１４に係る発明は、撮影で得られた前記画像に基づいて前記機器を識別する識別手段を更に有する、ことを特徴とする請求項１３に記載の情報処理装置である。

請求項１５に係る発明は、コンピュータを、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、として機能させ、複数の部分画像を繋げる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を制御する、である。

請求項１６に係る発明は、コンピュータを、機能に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、として機能させ、複数の部分画像を繋げる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を制御する、プログラムである。
請求項１７に係る発明は、コンピュータを、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、として機能させ、複数の部分画像を重ねる操作が行われた場合、前記制御手段は、前記部分画像同士を重ねる順番に応じて、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を切り替える、プログラムである。
請求項１８に係る発明は、コンピュータを、機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、として機能させ、前記制御手段は、更に、前記画像内において、前記連携機能に利用される機能に対応する位置に接触領域画像を重ねて表示させる、プログラムである。

請求項１−３，１５，１６に係る発明によると、ユーザが利用するであろうと予測される連携機能の表示が制御される。

請求項４に係る発明によると、画像を繋ぐ操作によって、連携機能の表示が切り替えられる。

請求項５に係る発明によると、画像を繋ぐ操作によって、ユーザが利用するであろうと予測される連携機能が優先的に表示される。

請求項６，１７に係る発明によると、画像を重ねる操作によって、連携機能の表示が切り替えられる。

請求項７に係る発明によると、画像を重ねる操作によって、ユーザ利用するであろうと予測される連携機能が優先的に表示される。

請求項８に係る発明によると、利用する機能の順番を指定することが可能となる。

請求項９に係る発明によると、データの移動順番を指定することが可能となる。

請求項１０に係る発明によると、同一画像内に割り当てられた複数の機能を利用する連携機能の表示が制御される。

請求項１１に係る発明によると、互いに異なる複数の画像内に割り当てられた複数の機能を利用する連携機能の表示が制御される。

請求項１２，１８に係る発明によると、各位置に対応する機能を識別可能な状態で表示することが可能となる。

請求項１３に係る発明によると、撮影で得られた画像を連携機能の表示制御に利用することが可能となる。

請求項１４に係る発明によると、撮影によって機器を識別することが可能となる。

Claims (19)

1. 機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、
   を有する情報処理装置。
2. 機能に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、
   を有する情報処理装置。
3. 部分画像毎に異なる機能が割り当てられている、
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 複数の部分画像が指定された場合、前記制御手段は、前記複数の部分画像に対応する複数の機能を利用する前記連携機能の表示を制御する、
   ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置。
5. 前記複数の部分画像を繋げる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する前記複数の機能を利用する前記連携機能の表示を制御する、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記制御手段は、前記部分画像同士を繋ぐ順番に応じて、前記連携機能の表示を切り替える、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、前記部分画像同士を繋ぐ順番に応じて、前記連携機能の表示の優先順位を変える、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記複数の部分画像を重ねる操作が行われた場合、前記制御手段は、前記複数の部分画像に対応する前記複数の機能を利用する前記連携機能の表示を制御する、
   ことを特徴とする請求項４に記載の情報処理装置。
9. 前記制御手段は、前記部分画像同士を重ねる順番に応じて、前記連携機能の表示を切り替える、
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記制御手段は、前記部分画像同士を重ねる順番に応じて、前記連携機能の表示の優先順位を変える、
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記順番は、前記連携機能を実行する場合に利用する機能の順番である、
    ことを特徴とする請求項６、請求項７、請求項９又は請求項１０何れかに記載の情報処理装置。
12. 前記順番は、前記連携機能を実行する場合におけるデータの移動順番である、
    ことを特徴とする請求項６、請求項７、請求項９又は請求項１０何れかに記載の情報処理装置。
13. 前記複数の部分画像は、同一の画像内において指定された画像である、
    ことを特徴とする請求項４から請求項１２何れかに記載の情報処理装置。
14. 前記複数の部分画像は、互いに異なる複数の画像内において指定された画像である、
    ことを特徴とする請求項４から請求項１２何れかに記載の情報処理装置。
15. 前記制御手段は、更に、前記画像内において、前記連携機能に利用される機能に対応する位置に接触領域画像を重ねて表示させる、
    ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置。
16. 前記画像は、前記機器を撮影することで得られた画像である、
    ことを特徴とする請求項１に記載の情報処理装置。
17. 撮影で得られた前記画像に基づいて前記機器を識別する識別手段を更に有する、
    ことを特徴とする請求項１６に記載の情報処理装置。
18. コンピュータを、
    機器に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、
    として機能させるプログラム。
19. コンピュータを、
    機能に紐付く画像内の部分画像が指定された場合、指定された前記部分画像に対応する機能を利用する連携機能の表示を制御する制御手段、
    として機能させるプログラム。