CN107346220B - 信息处理设备和信息处理方法 - Google Patents

Abstract

本申请涉及信息处理设备和信息处理方法。具体地，该信息处理设备包括控制器。如果与已经被识别的装置有关的图像彼此叠加，则该控制器使得显示与使用装置的功能的一个或多个协作功能有关的信息。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及信息处理设备和信息处理方法。

背景技术

可以使用设备主体和用户接口彼此分开的系统。例如，日本第5737906号专利公开了一种用于在可从设备主体拆卸且能够执行无线通信的操作面板上显示操作引导图像的技术。

日本未审查专利申请第2014-10769号公报公开了一种中继设备，其在客户端设备与提供服务器的服务提供设备之间中继数据。

日本未审查专利申请第2014-48672号公报公开了一种生成增强现实图像的移动终端，在增强现实图像中，包括关于图像形成设备的状态信息的附加信息叠加在由图像拍摄单元拍摄的图像上。

日本未审查专利申请第2014-238786号公报公开了一种用于在用于与多个云服务器通信的通信系统中，在由用户操作以登陆的装置的显示器上显示用户进行的各个云服务器的使用状态的技术。

关于诸如图像形成设备这样的装置的使用环境，通常假定一个装置由多个用户使用。另一方面，将来，可以假定多个装置由多个用户使用的环境。而且，诸如触控面板的用户接口可以从装置去除，并且用户可以在出差地点(the go)临时使用装置。在这种环境下，可以借助装置的功能之间的协作来执行协作功能。然而，在这种情况下，用户使功能彼此协作不总是容易的。

发明内容

因此，本发明的目的是，借助由用户执行的简单操作使功能彼此协作。

根据本发明的第一方面，提供了一种包括控制器的信息处理设备。如果与已经被识别的装置有关的图像彼此叠加，则控制器使得显示与使用装置的功能的一个或多个协作功能有关的信息。

根据本发明的第二方面，所述信息处理设备还包括：接收器，其接收所拍摄的所述装置的图像。

根据本发明的第三方面，所述信息处理设备还包括：图像拍摄单元，其拍摄所述装置的图像。

根据本发明的第四方面，与所述装置有关的图像是由所述图像拍摄单元拍摄的图像。

根据本发明的第五方面，所述信息处理设备还包括：识别单元，其基于由所述图像拍摄单元拍摄的图像来识别所述装置。

根据本发明的第六方面，所述信息处理设备还包括：存储器，其存储所拍摄的图像。

根据本发明的第七方面，所述控制器读取在所述存储器中存储的所述图像，并且使得显示编辑画面，所述编辑画面用于彼此叠加所述图像。

根据本发明的第八方面，提供了一种包括控制器的信息处理设备。如果与已经被识别的功能有关的图像彼此叠加，则所述控制器使得显示与使用所述功能的一个或多个协作功能有关的信息。

根据本发明的第九方面，所述控制器使得以可识别状态来显示所述图像。

根据本发明的第十方面，所述控制器使得三维地显示所述图像。

根据本发明的第十一方面，如果所述图像彼此叠加，则所述控制器使得显示新图像。

根据本发明的第十二方面，所述新图像与彼此叠加的所述图像有关。

根据本发明的第十三方面，所述新图像是彼此叠加的所述图像的组合。

根据本发明的第十四方面，所述控制器使得在使得显示借助最后叠加而生成的新图像的同时，改变图像拍摄单元的视野，并且使得显示改变后的视野。

根据本发明的第十五方面，在执行所述一个或多个协作功能中的一个协作功能的情况下，所述控制器使得显示所述新图像，作为用于提供执行所述协作功能的指示的显示图像。

根据本发明的第十六方面，所述新图像用作：要在与要链接的下一个对象装置有关的图像上叠加的图像。

根据本发明的第十七方面，所述控制器使得显示提示登记与所述新图像对应的协作功能的画面，并且使得在所述画面上显示与对应于所述新图像的所述协作功能有关的信息。

根据本发明的第十八方面，所述控制器使得在用于提供执行所述协作功能的指示的所述显示图像附近，显示指示所述协作功能是否可用的信息。

根据本发明的第十九方面，与所述协作功能有关的信息是根据由用户提供的指示而可校正的信息。

根据本发明的第二十方面，在选择了要彼此叠加的所述图像之后，如果在所述图像不显示在由所述控制器显示的画面上的区域中取消对所述图像的选择，则取消所述一个或多个协作功能中的对应一个协作功能。

根据本发明的第二十一方面，分配给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的位置而变化。

根据本发明的第二十二方面，所述控制器根据所述图像彼此叠加的顺序来改变显示所述一个或多个协作功能的优先次序。

根据本发明的第二十三方面，根据由用户提供的语音指示来指定要彼此叠加的所述图像。

根据本发明的第二十四方面，如果所述图像的一部分彼此叠加，则所述控制器使得显示如下信息，该信息与使用了对应于所述图像的所述部分的功能的所述一个或多个协作功能有关。

根据本发明的第二十五方面，提供了一种信息处理方法，该信息处理方法包括如下步骤：如果与已经被识别的装置有关的图像彼此叠加，则使得显示与使用所述装置的功能的一个或多个协作功能有关的信息。

根据本发明的第二十六方面，提供了一种信息处理方法，该信息处理方法包括如下步骤：如果与已经被识别的功能有关的图像彼此叠加，则使得显示与使用所述功能的一个或多个协作功能有关的信息。

根据本发明的第一、第八、第二十五或第二十六方面，可以借助由用户提供的简单操作指示而使功能彼此协作。

根据本发明的第二方面，可以通过使用所接收的图像来显示协作功能。

根据本发明的第三方面，可以显示使用其图像被拍摄的装置的功能的协作功能。

根据本发明的第四方面，从视点的角度容易识别其图像被拍摄的装置与相同类型的另一个装置之间的区别。

根据本发明的第五方面，在不执行除了图像拍摄之外的操作的情况下，识别装置。

根据本发明的第六方面或第七方面，可以通过使用存储器中存储的图像来显示协作功能。

根据本发明的第九方面，以提高的可见性来显示装置。

根据本发明的第十方面，与二维地显示与装置有关的图像的情况相比，与装置有关的图像的可见性提高。

根据本发明的第十一方面、第十二方面、第十三方面或第十六方面，容易确定被指定为彼此协作的对象的装置或功能。

根据本发明的第十四方面，可以拍摄不在与另一个装置相同的视野内的装置的图像。

根据本发明的第十五方面，简化了提供执行协作功能的指示的操作。

根据本发明的第十七或第十九方面，与不登记新图像的情况相比，简化了提供执行下次的协作功能的指示的操作。

根据本发明的第十八方面，可以确定协作功能是否可用于用户。

根据本发明的第二十方面，可以取消特定协作功能，而不执行除了在未显示图像的区域中取消图像的选择的操作之外的特殊操作。

根据本发明的第二十一方面或第二十四方面，可以在多个功能之中个别指定要用于协作功能的功能。

根据本发明的第二十二方面，优选地显示用户期望使用的协作功能。

根据本发明的第二十三方面，可以在不执行手动输入操作的情况下，彼此叠加图像。

附图说明

将基于以下附图详细描述本发明的示例性实施方式，附图中：

图1是例示了根据本发明的第一示例性实施方式的图像形成系统的框图；

图2是例示了根据第一示例性实施方式的图像形成设备的框图；

图3是例示了根据第一示例性实施方式的服务器的框图；

图4是例示了根据第一示例性实施方式的终端设备的框图；

图5是例示了图像形成设备的外观的示意图；

图6是例示了装置功能管理表的示例的图；

图7是例示了协作功能管理表的示例的图；

图8是例示了终端设备上显示的功能显示画面的示例的图；

图9是例示了彼此协作的对象装置的图；

图10A和图10B是例示了根据第一示例性实施方式的终端设备上显示的画面的示例的图；

图11A和图11B是例示了根据第一示例性实施方式的终端设备上显示的画面的示例的图；

图12是例示了根据第一修改例的装置功能管理表的示例的图；

图13A和图13B是例示了根据第一修改例的终端设备上显示的画面的示例的图；

图14A和图14B是例示了根据第一修改例的终端设备上显示的画面的示例的图；

图15A和图15B是例示了根据第一修改例的终端设备上显示的画面的示例的图；

图16A至图16C是例示了根据第二修改例的终端设备上显示的画面的示例的图；

图17A至图17C是例示了根据第二修改例的终端设备上显示的画面的示例的图；

图18是例示了根据第二修改例的终端设备上显示的画面的示例的图；

图19A和图19B是例示了根据第三修改例的终端设备上显示的画面的示例的图；

图20A和图20B是例示了根据第四修改例的终端设备上显示的画面的示例的图；

图21是例示了根据第一示例性实施方式的图像形成系统中执行的连接处理的序列图；

图22是例示了根据第二示例性实施方式的服务器的框图；

图23是例示了协作功能管理表的示例的图；

图24的(A)至(C)是例示了根据第二示例性实施方式的终端设备上显示的画面的示例的图；

图25A和图25B是例示了根据第二示例性实施方式的终端设备上显示的画面的示例的图；

图26A至图26C是例示了根据第五修改例的终端设备上显示的画面的示例的图；

图27是例示了根据第五修改例的终端设备上显示的画面的示例的图；

图28是例示了根据第五修改例的终端设备上显示的画面的示例的图；

图29A和图29B是例示了根据第六修改例的终端设备上显示的画面的示例的图；

图30A和图30B是例示了根据第六修改例的终端设备上显示的画面的示例的图；

图31A至图31C是例示了根据第六修改例的终端设备上显示的画面的示例的图；

图32A和图32B是例示了根据第七修改例的终端设备上显示的画面的示例的图；

图33A和图33B是例示了根据第八修改例的终端设备上显示的画面的示例的图；

图34A和图34B是例示了根据第十修改例的终端设备上显示的画面的示例的图；以及

图35是例示了终端设备上显示的画面的示例的图。

具体实施方式

第一示例性实施方式

将参照图1来描述充当根据本发明的第一示例性实施方式的信息处理系统的图像形成系统。图1例示了根据第一示例性实施方式的图像形成系统的示例。

根据第一示例性实施方式的图像形成系统包括图像形成设备10，其是装置的示例；终端设备12，其是装置的示例；服务器14；以及终端设备16，其是信息处理设备的示例。图像形成设备10、服务器14以及终端设备12和16借助诸如网络的通信路径N彼此连接。当然，图像形成设备10、终端设备12和16以及服务器14可以借助不同的通信路径连接到其他设备。在图1例示的示例中，两个装置(图像形成设备10和终端设备12)包括在图像形成系统中。图像形成系统可以包括一个或更多个装置。而且，图像形成系统可以包括多个服务器14和多个终端设备16。

图像形成设备10是具有图像形成功能的设备。具体地，图像形成设备10是具有扫描功能、打印功能、复印功能和传真功能中的至少一种功能的设备。图像形成设备10还具有向和从另一个设备发送和接收数据的功能。

终端设备12和16中的每一个是诸如个人计算机(PC)、平板电脑PC、智能电话或移动电话这样的设备，并且具有向和从另一个设备发送和接收数据的功能。当使用诸如图像形成设备10这样的装置时，终端设备16充当例如用户接口单元(UI单元)。

服务器14是管理各个装置的功能的设备。例如，服务器14管理借助多个功能之间的协作而执行的协作功能。服务器14还具有向和从另一个设备发送和接收数据的功能。

在图1例示的示例中，图像形成设备10和终端设备12作为装置的示例而包括在图像形成系统中，但这仅是示例。其他设备(例如，诸如投影仪这样的显示设备、电话、手表和监视照相机)可以作为装置而包括在图像形成系统中。当然，图像形成设备10和终端设备12不必包括在图像形成系统中。

服务器14可以针对各个用户来管理对于用户可用的功能。例如，由用户购买的功能是对于用户可用的功能，并且服务器14针对各个用户管理功能购买历史。当然，服务器14不仅可以管理已购买或未购买的功能，还可以管理可免费使用的功能、附加更新功能和由管理者管理的特殊功能。功能购买处理由例如服务器14执行。当然，功能购买处理可以由另一个设备执行。

在根据第一示例性实施方式的图像形成系统中，指定要借助多个功能之间的协作执行的多个协作功能，并且根据优先次序而显示与多个协作功能有关的信息。

下文中，将详细描述根据第一示例性实施方式的图像形成系统中包括的各个装置。

首先，将参照图2详细描述图像形成设备10的构造。图2例示了图像形成设备10的构造。

通信单元18是通信接口，并且具有向另一个设备发送数据的功能和从另一个设备接收数据的功能。通信单元18可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。

图像形成单元20执行与图像形成有关的功能。具体地，图像形成单元20执行扫描功能、打印功能、复印功能和传真功能中的至少一种功能。当执行扫描功能时，读取原稿并生成扫描数据(图像数据)。当执行打印功能时，在诸如纸张这样的记录介质上打印图像。当执行复印功能时，读取原稿并在记录介质上打印原稿。当执行传真功能时，图像数据经由传真发送或接收。而且，可以执行包括多个功能的协作功能。例如，可以执行扫描与传送功能，其是扫描功能和发送(传送)功能的组合。当执行扫描与传送功能时，读取原稿，生成扫描数据(图像数据)，并且向目的地(例如，诸如终端设备16的外部设备)发送扫描数据。当然，该协作功能仅是示例，并且可以执行另一个协作功能。

存储器22是诸如硬盘或固态驱动器(SSD)这样的储存设备。存储器22存储例如代表图像形成指示的信息(例如，作业信息)、要打印的图像数据、通过执行扫描功能而生成的扫描数据、代表另一个装置的地址的装置地址信息、代表服务器14的地址的服务器地址信息、各种控制数据、各种程序等。当然，这些信息和数据可以存储在不同储存设备中，或存储在一个储存设备中。

UI单元24是用户接口单元，并且包括显示器和操作单元。显示器是诸如液晶显示器这样的显示设备。操作单元是诸如触控面板或键盘这样的输入设备。图像形成设备10不必包括UI单元24，并且可以包括充当硬件的硬件用户接口单元(硬件UI单元)，而不是显示器。硬件UI单元是例如专用于输入数字的硬件键区(例如，数字键区)或专用于指示方向的硬件键区(例如，方向指示键区)。

控制器26控制图像形成设备10的各个单元的操作。

接着，将参照图3详细描述服务器14的构造。图3例示了服务器14的构造。

通信单元28是通信接口，并且具有向另一个设备发送数据的功能和从另一个设备接收数据的功能。通信单元28可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。

存储器30是诸如硬盘或SSD这样的储存设备。存储器30存储例如装置功能信息30、协作功能信息34、各种数据、各种程序、代表各个装置的地址的装置地址信息、以及代表服务器14的地址的服务器地址信息。当然，这些信息和数据可以存储在不同储存设备中或存储在一个储存设备中。存储器30中存储的装置功能信息32和协作功能信息34可以周期性地或在指定时刻提供给终端设备16，因此可以更新终端设备16中存储的信息。下文中，将描述装置功能信息32和协作功能信息34。

装置功能信息32是代表图像形成系统中所包括的各个装置(例如，图像形成设备10和终端设备12)的功能的信息。例如，装置功能信息32是代表用于识别装置的装置识别信息与用于识别装置的一个或多个功能的功能识别信息之间的对应的信息。装置识别信息包括：例如装置ID、装置的名称、代表装置的类型的信息、型号和位置信息。功能识别信息包括：例如功能ID和功能的名称。例如，如果特定图像形成设备10具有扫描功能、打印功能、复印功能和扫描及传送功能，则图像形成设备10的装置识别信息与代表扫描功能的功能识别信息、代表打印功能的功能识别信息、代表复印功能的功能识别信息以及代表扫描及传送功能的功能识别信息关联。各个装置的功能通过参照装置功能信息32来指定(识别)。

协作功能信息34是代表协作功能的信息，各个协作功能借助多个功能之间的协作来执行。一个或多个协作功能借助多个功能之间的协作而执行。各个协作功能可以借助一个装置(例如，图像形成设备10或终端设备12)的多个功能之间的协作来执行，或者可以借助多个装置(例如，图像形成设备10和终端设备12)的多个功能之间的协作来执行。提供操作指示的终端设备(在该示例性实施方式中，是终端设备16)可以包括在要识别的装置中，并且终端设备的功能可以用作协作功能的一部分。

协作功能信息34是例如代表以下信息之间的对应的信息：代表功能识别信息(用于识别彼此协作以执行一个或多个协作功能的各个功能)的组合的信息、用于识别一个或多个协作功能的协作功能识别信息、代表链接用于一个或多个协作功能的各个功能的顺序的信息、以及代表一个或多个协作功能的显示的优先次序的信息。协作功能识别信息包括：例如协作功能ID和协作功能的名称。显示的优先次序是与一个或多个协作功能有关的信息(例如，协作功能识别信息)显示在终端设备16上的顺序。

在使多个装置彼此协作的情况下，协作功能信息34是代表要借助多个装置的多个功能之间的协作而执行的一个或多个协作功能的信息，并且是代表以下信息之间的对应的信息：代表装置识别信息(用于识别彼此协作以执行一个或多个协作功能的各个功能)的组合的信息、协作功能识别信息、代表链接用于一个或多个协作功能的各个装置的顺序的信息、以及代表一个或多个协作功能的显示的优先次序的信息。

协作功能可以是借助多个不同功能之间的协作执行的功能，或可以是借助相同功能之间的协作执行的功能。协作功能可以是无协作不可用的功能。无协作不可用的功能可以是：通过组合彼此协作的对象装置的功能中的相同功能或不同功能而可用的功能。例如，具有打印功能的装置(打印机)与具有扫描功能的装置(扫描仪)之间的协作实施复印功能，作为协作功能。即，打印功能与扫描功能之间的协作实施复印功能。在这种情况下，复印功能与打印功能和扫描功能的组合关联。在协作功能信息34中，例如，用于将复印功能识别为协作功能的协作功能识别信息，与用于识别具有打印功能的装置的装置识别信息和用于识别具有扫描功能的装置的装置识别信息的组合关联。

存储器30可以存储功能购买历史信息。功能购买历史信息是代表各个用户的功能购买历史的信息，即，代表由各个用户购买的功能的信息。例如，功能购买历史信息是：代表用于识别用户的用户识别信息与代表由用户购买的功能的功能识别信息之间的对应的信息。用户识别信息是：例如诸如用户ID和用户名这样的用户账户信息。由用户购买的功能是对于用户可用的功能。由各个用户购买的功能(即，各个对于用户可用的功能)通过参照功能购买历史信息来指定。功能购买历史信息例如每当用户购买功能时更新。

控制器36控制服务器14的各个单元的操作。控制器36包括指定单元38。

指定单元38接收用于识别装置的装置识别信息，并且在存储器30中存储的装置功能信息32中指定与装置识别信息关联的一个或多个功能的一个或多个功能识别信息。因此，指定装置的一个或多个功能。例如，装置识别信息从终端设备16向服务器14发送，然后指定单元38指定与装置识别信息关联的一个或多个功能的一个或多个功能识别信息。与一个或多个功能有关的信息(例如，功能识别信息和功能说明信息)例如从服务器14向终端设备16发送，并且显示在终端设备16上。因此，与由装置识别信息指定的装置的一个或多个功能的有关信息显示在终端设备16上。

而且，指定单元38接收用于识别彼此协作的对象装置的装置识别信息，并且在存储器30中存储的协作功能信息34中指定与装置识别信息的组合关联的一个或多个协作功能的一个或多个协作功能识别信息。因此，指定要借助彼此协作的对象装置的功能之间的协作而执行的一个或多个协作功能。例如，多个装置识别信息从终端设备16向服务器14发送，然后指定单元38指定与多个装置识别信息关联的一个或多个协作功能的一个或多个协作功能识别信息。与一个或多个协作功能有关的信息(例如，协作功能识别信息和协作功能说明信息)例如从服务器14向终端设备16发送并且显示在终端设备16上。因此，关于要由多个装置识别信息所识别的多个装置执行的一个或多个协作功能的信息显示在终端设备16上。

而且，指定单元38参照协作功能信息34，并且基于链接用于协作功能的各个功能的顺序，来确定显示与协作功能有关的信息的优先次序。例如，多个协作功能可以通过使多个功能彼此协作来实施。在这种情况下，显示与各个协作功能有关的信息的优先次序基于链接各个功能的顺序来确定。与协作功能有关的信息根据优先次序而显示在终端设备16上。例如，与装置有关的图像显示在终端设备16上，并且图像由用户彼此链接。在使多个装置的多个功能彼此协作的情况下，与多个装置有关的多个图像由用户彼此链接。链接图像的顺序对应于功能的链接顺序。指定单元38基于链接图像的顺序，指定显示与协作功能有关的信息的优先次序。

在管理功能购买历史的情况下，指定单元38可以接收用于识别用户的用户识别信息，并且可以在与存储器30中存储的功能购买历史信息中，指定与用户识别信息关联的各个功能的功能识别信息。因此，指定(识别)由用户购买的功能组(即，对于用户可用的功能组)。例如，装置识别信息从终端设备16向服务器14发送，并且与用户识别信息关联的各个功能的功能识别信息由指定单元38来指定。各个功能的功能识别信息(例如，代表功能的名称的信息)例如从服务器14向终端设备16发送，并且显示在终端设备16上。因此，用于识别由用户识别信息指定的对于用户可用的功能的信息(功能识别信息)显示在终端设备16上。例如，指定单元38接收装置识别信息和用户识别信息，在装置功能信息32中指定与装置识别信息关联的一个或多个功能的一个或多个功能识别信息，并且在功能购买历史信息中还指定与用户识别信息关联的一个或多个功能的一个或多个功能识别信息。因此，指定由装置识别信息指定的装置具有的、且由用户识别信息指定的用户可用的一个或多个功能。代表一个或多个功能的一个或多个功能识别信息例如从服务器14向终端设备16发送，并且显示在终端设备16上。

控制器36可以执行功能购买处理并且可以管理购买的历史。例如，如果支付功能由用户购买，则控制器36将收费处理应用于用户，并且创建代表购买的历史的功能购买历史信息。

接着，将参照图4来详细描述终端设备16的构造。图4例示了终端设备16的构造。

通信单元40是通信接口，并且具有向另一个设备发送数据的功能和从另一个设备接收数据的功能。通信单元40可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。

充当图像拍摄单元的照相机42拍摄一对象的图像，从而生成图像数据(例如，静止图像数据或移动图像数据)。另选地，代替使用终端设备16的照相机42，由连接到诸如网络这样的通信路径的外部照相机拍摄的图像数据可以由通信单元40接收，并且可以显示在UI单元46上，使得可以操作图像数据。

存储器44是诸如硬盘或SSD这样的储存设备。存储器44存储各种程序、各种数据、服务器14的地址信息、各个装置的地址信息(例如，图像形成设备10和终端设备12的地址信息)、与彼此协作的识别后的对象装置有关的信息、以及与协作功能有关的信息。

UI单元46是用户接口单元，并且包括显示器和操作单元。显示器是诸如液晶显示器这样的显示设备。操作单元是诸如触控面板、键盘或鼠标的这样输入设备。当然，可以使用充当显示器和操作单元这两者的用户接口(例如，触摸显示器或上面显示电子键盘等的显示器)。

控制器48控制终端设备16的各个单元的操作。控制器48充当例如显示控制器(控制器)，并且使UI单元46的显示器显示各种信息。

UI单元46的显示器显示：例如，由照相机42拍摄的图像、与被识别为要使用的对象装置的装置(例如，协作的对象装置)有关的图像等。与装置有关的图像可以是：代表由照相机42拍摄的装置的图像(静止图像或移动图像)，或者可以是示意性地代表装置的图像(例如，图标)。示意性地代表装置的图像的数据可以存储在服务器14中，并且从服务器14向终端设备16提供，或者可以提前存储在终端设备16中。例如，在借助多个装置之间的协作执行协作功能的情况下，多个装置的图像由照相机42拍摄，并且装置的图像显示在UI单元46的显示器上。当用户链接与彼此协作的对象装置有关的图像时，指定要由对象装置执行的一个或多个协作功能，并且与协作功能有关的信息根据基于链接顺序的优先次序而显示在UI单元46的显示器上。

充当装置的终端设备12具有例如类似于终端设备16的构造。终端设备12不必包括照相机42。

上述装置功能信息32可以存储在终端设备16的存储器44中。在这种情况下，装置功能信息32不必存储在服务器14的存储器30中。而且，上述协作功能信息34可以存储在终端设备16的存储器44中。在这种情况下，协作功能信息34不必存储在服务器14的存储器30中。终端设备16的控制器48可以包括上述指定单元38(指定单元38可以通过基于装置识别信息识别装置，来指定装置的功能)，并且可以指定要借助多个功能之间的协作而执行的协作功能。在这种情况下，服务器14不必包括指定单元38。在创建功能购买历史信息的情况下，功能购买历史信息可以存储在终端设备16的存储器44中。在这种情况下，装置购买历史信息不必存储在服务器14的存储器30中。终端设备16的控制器48可以改变用户的功能购买历史。在这种情况下，服务器14的控制器36不必具有用于其的管理功能。终端设备16的控制器48可以基于用户识别信息来指定对于用户可用的功能。另选地，装置功能信息32和协作功能信息34可以存储在诸如图像形成设备10和终端设备12这样的装置中，并且诸如图像形成设备10和终端设备12这样的装置可以包括指定单元38。即，由服务器14的指定单元38进行的处理可以在服务器14中执行，可以在终端设备16中执行，或者可以在诸如图像形成设备10和终端设备12这样的装置中执行。

在第一示例性实施方式中，例如，应用增强现实(AR：augmented reality)技术，以获得装置识别信息并识别要使用的对象装置。例如，应用AR技术，以获得彼此协作的对象装置的装置识别信息并识别对象装置。使用根据现有技术的AR技术。例如，使用基于标记的AR技术(其中，使用诸如二维条形码的这样标记)、无标记AR技术(其中，使用图像识别技术)、位置信息AR技术(其中，使用位置信息)等。当然，可以在不应用AR技术的情况下获得装置识别信息，并且可以指定要使用的对象装置。例如，在连接到网络的装置的情况下，可以基于其IP地址或通过读取其装置ID来识别装置。

下文中，将参照图5来详细描述获得装置的装置识别信息的处理。作为示例，将给出获得图像形成设备10的装置识别信息的情况的描述。图5示意性地例示了图像形成设备10的外观。这里，将给出通过应用基于标记的AR技术获得装置识别信息的处理的描述。图像形成设备10的壳体附有标记50，诸如二维条形码。标记50是：通过对图像形成设备10的装置识别信息进行编码而获得的信息。用户启动终端设备16的照相机42，并且用照相机42拍摄附到要使用的图像形成设备10的标记50的图像。因此，生成代表标记50的图像数据。例如，从终端设备16向服务器14发送该图像数据。在服务器14中，控制器36对由图像数据代表的标记图像执行解码处理，从而提取装置识别信息。因此，识别要使用的图像形成设备10(附有已经拍摄了图像的标记50的图像形成设备10)。服务器14的指定单元38在装置功能信息32中，指定与所提取的装置识别信息关联的功能的功能识别信息。因此，指定要使用的图像形成设备10的功能。

另选地，终端设备16的控制器48可以对代表标记50的图像数据执行解码处理，以提取装置识别信息。在这种情况下，所提取的装置识别信息从终端设备16向服务器14发送。服务器14的指定单元38在装置功能信息32中，指定与从终端设备16发送的装置识别信息关联的各个功能的功能识别信息。在装置功能信息32存储在终端设备16的存储器44中的情况下，终端设备16的控制器48可以在装置功能信息32中，指定与所提取的装置识别信息关联的功能的功能识别信息。

标记50可以包括：图像形成设备10的功能的编码后的功能识别信息。在这种情况下，提取图像形成设备10的装置识别功能，并且通过对代表标记50的图像数据执行解码处理而提取图像形成设备10的功能的功能识别信息。因此，指定图像形成设备10，并且还指定图像形成设备10的功能。解码处理可以由服务器14或终端设备16执行。

在借助多个装置之间的协作执行协作功能的情况下，拍摄装置的标记的图像，以获得装置的装置识别信息，从而指定协作功能。

在通过应用无标记AR技术获得装置识别信息的情况下，例如，用户通过使用终端设备16的照相机42，拍摄要使用的装置(例如，图像形成设备10)的整个外观或一部分的图像。当然，通过拍摄装置的外观的图像，获得用于指定要使用的装置的信息(诸如装置的名称(例如，商品名)或型号)是有益的。作为拍摄的结果，生成代表要使用的装置的整个外观或一部分的外观图像数据。例如，从终端设备16向服务器14发送外观图像数据。在服务器14中，控制器36基于外观图像数据来识别要使用的装置。例如，服务器14的存储器30针对各个装置，存储代表外观图像数据(代表装置的整个外观或一部分)与装置的装置识别信息之间的对应的外观图像对应信息。控制器36对例如从终端设备16接收的外观图像数据与外观图像对应信息中包括的各个外观图像数据进行比较，并且基于比较结果指定要使用的装置的装置识别信息。例如，控制器36从终端设备16接收的外观图像数据提取要使用的装置的外观的特征，在外观图像对应信息中包括的外观图像数据组中指定代表与外观的特征相同或类似的特征的外观图像数据，并且指定与外观图像数据关联的装置识别信息。因此，识别要使用的装置(图像已经由照相机42拍摄的装置)。另选地，在拍摄示出了装置的名称(例如，商品名)或型号的图像，并且生成代表名称或型号的外观图像数据的情况下，可以基于由外观图像数据生成的名称或型号来识别要使用的装置。服务器14的指定单元38在装置功能信息32中，指定与所指定的装置识别信息关联的各个功能的功能识别信息。因此，指定要使用的装置(例如，图像形成设备10)的功能。

另选地，终端设备16的控制器48可以对代表要使用的装置(例如，图像形成设备10)的整个外观或一部分的外观图像数据与外观图像对应信息中包括的各个外观图像数据进行比较，并且可以基于比较结果来指定要使用的装置的装置识别信息。外观图像对应信息可以存储在终端设备16的存储器44中。在这种情况下，终端设备16的控制器48参照终端设备16的存储器44中存储的外观图像对应信息，从而指定要使用的装置的装置识别信息。另选地，终端设备16的控制器48可以从服务器14获得外观图像对应信息，并且可以参照外观图像对应信息，以便指定要使用的装置的装置识别信息。

在借助多个装置之间的协作执行协作功能的情况下，通过拍摄彼此协作的各个装置的整个外观或一部分外观的图像而获得各个装置的装置识别信息，从而指定协作功能。

在通过应用位置信息AR技术获得装置识别信息的情况下，例如，通过使用全球定位系统(GPS)功能获得代表装置(例如，图像形成设备10)的位置的位置信息。例如，各个装置具有GPS功能并且获得代表装置的位置的装置位置信息。终端设备16向要使用的装置输出代表用于获得装置位置信息的请求的信息，并且从装置接收装置的装置位置信息，作为对请求的响应。例如，从终端设备16向服务器14发送装置位置信息。在服务器14中，控制器36基于装置位置信息来识别要使用的装置。例如，服务器14的存储器30针对各个装置，存储代表装置位置信息(代表装置的位置)与装置的装置识别信息之间的对应的位置对应信息。控制器36在位置对应信息中，指定与从终端设备16接收的装置位置信息关联的装置识别信息。因此，识别要使用的装置。服务器14的指定单元38在装置功能信息32中指定与所指定的装置识别信息关联的各个功能的功能识别信息。因此，识别了要使用的装置(例如，图像形成设备10)的功能。

终端设备16的控制器48可以在位置对应信息中指定与要使用的装置的位置信息关联的装置识别信息。位置对应信息可以存储在终端设备16的存储器44中。在这种情况下，终端设备16的控制器48参照终端设备16的存储器44中存储的位置对应信息，从而指定要使用的装置的装置识别信息。另选地，终端设备16的控制器48可以从服务器14获得位置对应信息，并且参照位置对应信息，以便指定要使用的装置的装置识别信息。

在借助多个装置之间的协作而执行协作功能的情况下，获得装置的装置位置信息，并且基于装置位置信息来指定装置的装置识别信息。因此，指定协作功能。

下文中，将详细描述根据第一示例性实施方式的图像形成系统。

首先，将参照图6详细描述装置功能信息32。图6例示了装置功能管理表(其是装置功能信息32)的示例。在装置功能管理表中，例如，装置ID、代表装置的名称的信息(例如，装置的类型)、代表装置的一个或多个功能的信息(功能识别信息)以及图像ID彼此关联。装置ID和装置的名称对应于装置识别信息的示例。图像ID是用于识别示意性地代表装置的图像(例如，图标)的图像识别信息的示例。装置功能管理表不必包括图像ID。例如，具有装置ID“B”的装置是多功能外围设备(MFP：multifunction peripheral，具有多个图像形成功能的图像形成设备)，并且具有打印功能、扫描功能等。用于识别示意性地代表装置的图像的图像ID与装置关联。示意性地代表装置的图像的数据存储在例如服务器14的存储器30中。

例如，凭借AR技术的使用，获得用于识别要使用的装置的装置ID。服务器14的指定单元38通过参照装置功能管理表，来指定装置的名称、一个或多个功能、以及与装置ID关联的图像ID。因此，识别要使用的装置。例如，代表装置的名称的信息和示意性地代表装置的图像的数据从服务器14向终端设备16发送，然后显示在终端设备16的UI单元46上。示意性地代表装置的图像显示为与装置有关的图像。当然，不是示意性地代表装置的图像，而是由照相机42拍摄的图像可以显示在终端设备16的UI单元46上。如果与装置有关的图像(例如，由照相机42拍摄的图像或示意性地代表装置的图像)由用户在终端设备16的UI单元46上指定，则与装置的功能有关的信息(例如，功能识别信息或功能说明信息)可以从服务器14向终端设备16发送，并且可以显示在终端设备16的UI单元46上。

接着，将参照图7详细描述协作功能信息34。图7例示了协作功能管理表(其是协作功能信息34)的示例。在协作功能管理表中，例如，代表装置ID的组合的信息、代表彼此协作的对象装置的名称(类型)的信息、代表一个或多个协作功能的信息(协作功能识别信息)、代表链接顺序的信息、以及代表优先次序的信息彼此关联。链接顺序对应于链接与装置有关的图像的顺序。该优先次序是：显示与协作功能有关的信息的优先次序。例如，具有装置ID“A”的装置是个人计算机(PC)，并且具有装置ID“B”的装置是MFP。PC(A)与MFP(B)之间的协作实施例如扫描和传送功能以及打印功能，作为协作功能。扫描和传送功能是：由MFP(B)向PC(A)传送借助扫描生成的图像数据的功能。打印功能是：向MFP(B)发送PC(A)中存储的数据(例如，图像数据或文档数据)，并由MFP(B)打印数据的功能。例如，如果从MFP(B)向PC(A)进行链接(即，如果从与MFP(B)有关的图像向与PC(A)有关的图像进行链接)，则扫描和传送功能的优先次序是“1”，并且打印功能的优先次序是“2”。在这种情况下，与扫描和传送功能有关的信息以优于与打印功能有关的信息的优先级来显示。另一方面，如果从PC(A)向MFP(B)进行链接(即，如果从与PC(A)有关的图像向与MFP(B)有关的图像进行链接，则打印功能的优先次序是“1”，并且扫描和传送功能的优先次序是“2”。在这种情况下，与打印功能有关的信息以优于关于扫描与传送功能的信息的优先级来显示。

接着，将参照图8详细描述终端设备16的UI单元46上显示的画面。图8例示了功能显示画面的示例。功能显示画面是：在使用单个装置的情况下显示在终端设备16的UI单元46上的画面。

例如，凭借使用上述基于标记的AR技术、无标记AR技术和位置信息AR技术中的任意技术，获得要使用的装置(例如，图像形成设备10)的装置识别信息且识别该装置，并且指定代表与装置识别信息关联的各个功能的功能识别信息，即，代表要使用的装置(已识别的装置)的各个功能的功能识别信息。另选地，可以指定代表与使用装置的用户的用户识别信息关联的各个功能的功能识别信息(即，代表对于用户可用的各个功能的功能识别信息)。这些信息作为功能显示画面而显示在终端设备16的UI单元46的显示器上。另选地，因为指定要使用的装置的功能，所以可以指定出售的功能中的、要使用的装置不具有的功能。可以在功能显示画面上显示代表要使用的装置不具有的各个功能的功能识别信息。

在图8例示的功能显示画面52上，代表功能A的按钮图像54、代表功能B的按钮图像56、以及代表功能C的按钮图像58作为功能识别信息的示例来显示。功能A是：要使用的装置(通过使用AR技术等识别的装置)具有的功能，并且是对于用户可用的功能，即，由用户购买的功能。功能B是：要使用的装置具有的功能，并且是对于用户不可用的功能，即，未由用户购买的功能。用户能够通过进行购买来使用功能B。功能C是：要使用的装置不具有的功能，即，与要使用的装置不兼容的功能。根据由按钮图像代表的功能是否是要使用的装置的功能，终端设备16的控制器48可以改变按钮图像的显示形式。而且，根据由按钮图像代表的功能是否是对于用户可用的功能，控制器48可以改变按钮图像的显示形式。例如，控制器48可以改变各个按钮图像的颜色或形状。在图8中例示的示例中，按钮图像54、56和58以不同颜色显示。例如，代表要使用的装置具有的、且对于用户可用的功能的按钮图像(例如，代表功能A的按钮图像54)以蓝色显示。代表要使用的装置具有的、且对于用户不可用的功能的按钮图像(例如，代表功能B的按钮图像56)以黄色显示。代表要使用的装置不具有的功能的按钮图像(例如，代表功能C的按钮图像58)以灰色显示。另选地，控制器48可以改变按钮图像54、56和58的形状，或者可以改变功能显示名称的字体。当然，显示形式可以用另一个方法改变。因此，用户可以能够可视性提高地识别各个功能的可用性。

例如，如果用户通过使用终端设备16而指定代表功能A的按钮图像54，并且提供执行功能A的指示，则代表执行功能A的指示的执行指示信息从终端设备16向对象装置发送。执行指示信息包括：用于执行功能A的控制数据、要经过由功能A进行的处理的图像数据等。响应于执行指示信息的接收，对象装置根据执行指示信息来执行功能A。例如，如果对象装置是图像形成设备10，并且如果功能A是扫描与传送功能，则图像形成设备10的图像形成单元20执行扫描功能，以生成扫描数据(图像数据)。扫描数据然后从图像形成设备10向所设置的目的地(例如，终端设备16)发送。

如果用户通过使用终端设备16指定代表功能B的按钮图像56，并且提供购买功能B的指示，则执行购买处理。如果由服务器14执行购买处理，则终端设备16访问服务器14。因此，用于购买功能B的画面(例如，网站)(其是使用户能够使用功能B的信息)显示在终端设备16的UI单元46上。通过在画面上进行购买处理，允许用户使用功能B。例如，终端设备16存储网络浏览器的程序。凭借网络浏览器的使用，用户能够从终端设备16访问服务器14。当用户通过使用网络浏览器来访问服务器14时，功能购买画面(例如，网站)显示在终端设备16的UI单元46上，并且用户能够借助网站购买功能。当然，购买处理可以由与服务器14不同的服务器来执行。另选地，作为使用户能够使用功能B的信息，用于向管理者等请求使用功能B的使用许可请求画面(例如，网页)可以显示在终端设备16的UI单元46上。如果用户借助使用许可请求画面向管理者等请求允许使用功能B，并且如果获得许可，则用户能够使用功能B。

下文中，将给出用于通过应用AR技术使多个装置彼此协作的方法的详细描述。

参照图9，将给出用于通过应用基于标记的AR技术或无标记AR技术，并且使多个装置的多个功能彼此协作来识别多个装置的方法的描述。图9例示了彼此协作的对象装置的示例。例如，假定图像形成设备10和终端设备12用作对象装置。例如，图像形成设备10是多功能外围设备(MFP)，并且终端设备12是个人计算机(PC)。图像形成设备10和终端设备12是存在于真实空间中的装置。终端设备16是存在于真实空间中，且用于使多个功能彼此协作的设备。例如，终端设备16是诸如智能电话或移动电话这样的移动终端设备。

例如，诸如二维条形码的标记50附到图像形成设备10的壳体，并且诸如二维条形码这样的标记60附到终端设备12(PC)的壳体。标记60是通过对终端设备12的装置识别信息进行编码而获得的信息。在使用基于标记的AR技术或无标记的AR技术的情况下，用户通过使用终端设备16(例如，智能电话)的照相机42来拍摄作为彼此协作的对象装置的图像形成设备10和终端设备12的图像。在图9中例示的示例中，在图像形成设备10和终端设备12这两者在照相机42的视野内的状态下，拍摄图像形成设备10和终端设备12这两者的图像。因此，生成代表标记50和60的图像数据，并且从终端设备16向服务器14发送该图像数据。在服务器14中，控制器36对图像数据执行解码处理，以提取图像形成设备10的装置识别信息和终端设备12的装置识别信息，从而识别图像形成设备10和终端设备12。另选地，可以生成代表图像形成设备10和终端设备12这两者的外观的外观图像数据，并且外观图像数据可以从终端设备16向服务器14发送。在这种情况下，在服务器14中，控制器36通过参照外观图像对应信息，来指定图像形成设备10的装置识别信息和终端设备12的装置识别信息。因此，识别了图像形成设备10和终端设备12。当然，可以由终端设备16执行用于识别彼此协作的对象装置的处理。

装置显示画面62显示在终端设备16的UI单元46的显示器上，并且与图像形成设备10有关的装置图像64和与终端设备12有关的装置图像66显示在装置显示画面62上。装置图像64和66可以是由照相机42拍摄的装置(图像形成设备10和终端设备12)的图像(具有拍摄时的原始尺寸、增大的尺寸或减小的尺寸)，或者可以是与已识别的装置有关的、且提前准备的图像数据(不是借助拍摄获得的图像，而是示意性图像(例如，图标))。如上所述，可以使用代表由外部照相机拍摄的装置的图像。

例如，在使用通过拍摄装置的图像获得的图像数据的情况下，当前状态下的装置的外观(例如，包括划痕、备注或附到装置的贴纸等的外观)反映在图像中，由此，用户可以能够可视地更清楚地识别与相同类型的另一个装置的区别。

例如，在使用示意性图像的情况下，示意性图像的数据从服务器14向终端设备16发送。例如，当识别图像形成设备10时，服务器14的指定单元38通过参照图6中例示的装置功能管理表(装置功能信息32)，来指定与图像形成设备10有关的示意性图像。示意性图像的数据从服务器14向终端设备16发送，并且示意性图像作为装置图像64而显示在装置显示画面62上。上述情况也适用于与终端设备12有关的装置图像66。作为示意性图像的装置图像64和66的数据可以提前存储在终端设备16中。在这种情况下，当识别图像形成设备10时，终端设备16中存储的装置图像64显示在装置显示画面62上。上述情况也适用于终端设备12。示意性图像的数据可以存储在除了服务器14和终端设备16之外的设备中。

当识别装置时，代表装置的名称的信息可以从服务器14向终端设备16发送，并且装置的名称可以显示在终端设备16的装置显示画面62上。在图9例示的示例中，图像形成设备10是MFP，并且其名称是“MFP(B)”。终端设备12是PC，并且其名称是“PC(A)”。

如果即使应用AR技术等，也未识别作为图像拍摄的对象的装置，则代表对象装置的装置图像不必显示在装置显示画面62上。因此，已识别装置的可见性可以提高。例如，如果有已识别装置和未识别的装置并且如果各个装置的图像由照相机42拍摄，则不显示代表未识别的装置的装置图像。因此，代表已识别装置的装置图像在与代表未识别的装置的装置图像进行区分的同时显示，由此可以提高已识别装置的可见性。另选地，代表已识别装置的装置图像(例如，装置图像64和66)可以以高亮方式显示。例如，代表已识别装置的装置图像可以以特定颜色显示，可以通过高亮装置图像的边缘显示，可以通过放大装置图像来显示，可以三维地显示，或者可以通过使装置图像闪烁来显示。因此，已识别装置的可见性可以提高。

凭借装置显示画面62上装置图像64和66的用户操作，图像形成设备10和终端设备12被指定为彼此协作的对象装置，并且指定要借助图像形成设备10与终端设备12之间的协作执行的协作功能。与协作功能有关的信息根据与操作装置图像的顺序对应的优先次序，而显示在终端设备16的UI单元46上。

下文中，将参照图10A至图11B详细描述用于指定协作功能的操作。

图10A至图11B例示了终端设备16的UI单元46上显示的画面的示例。例如，假定图像形成设备10和终端设备12被识别为彼此协作的对象装置。如图10A例示，装置显示画面62显示在终端设备16的UI单元46上，并且装置图像64和66显示在装置显示画面62上。在该状态下，用户通过使用指示符(例如，用户的手指、笔或铁笔)将代表对象装置的装置图像彼此链接。终端设备16的控制器48检测装置显示画面62上指示符的触摸，并且检测装置显示画面62上的指示符的移动。例如，如由箭头68所指示的，用户通过使用操作器(operator)在装置显示画面62上触摸装置图像64，并且使操作器移动到装置显示画面62上的装置图像66，从而将装置图像64链接到装置图像66。因此，与装置图像64有关的图像形成设备10(MFP(B))和与装置图像66有关的终端设备12(PC(A))被指定为彼此协作的对象装置，并且指定链接顺序。链接装置图像的顺序对应于链接顺序。在图10A中例示的示例中，从装置图像64向装置图像66进行链接，即，从图像形成设备10(MFP(B))向终端设备12(PC(A))。代表装置的链接顺序的信息从终端设备16向服务器14发送。终端设备16的控制器48可以使代表由用户执行的操作器的移动的轨迹的图像显示在装置显示画面62上。在装置彼此链接之后，终端设备16的控制器48可以使代表轨迹的预设直线等显示在装置显示画面62上。

当以上述方式指定彼此协作的对象装置(例如，图像形成设备10和终端设备12)时，服务器14的指定单元38在图7中例示的协作功能管理表(协作功能信息34)中指定与PC(A)和MFP(B)的组合关联的协作功能。因此，指定要借助PC(A)与MFP(B)之间的协作执行的协作功能。当装置的链接顺序由用户指定时，指定单元38在协作功能管理表中指定与链接顺序关联的优先次序。具体地，参照图7，因为PC(A)和MFP(B)被指定为彼此协作的对象装置，所以要由这些装置执行的协作功能是扫描与传送功能和打印功能。而且，因为从MFP(B)向PC(A)进行链接(B→A)，所以扫描与传送功能的优先次序是“1”，并且打印功能的优先次序是“2”。

与已指定的协作功能有关的信息和与已指定的优先次序有关的信息从服务器14向终端设备16发送。终端设备16的控制器48根据优先次序使UI单元46显示与协作功能有关的信息，作为与候选协作功能有关的信息。

例如，如图10B例示，终端设备16的控制器48使UI单元46显示协作功能显示画面70，并在协作功能显示画面70上显示与候选协作功能有关的信息。因为扫描与传送功能的优先次序是“1”，并且打印功能的优先次序是“2”，所以与扫描与传送功能有关的信息以优于(例如，高于)与打印功能有关的信息的优先级来显示。例如，作为与扫描与传送功能有关的信息，显示扫描与传送功能的说明“向PC(A)传送由MFP(B)扫描的数据”。而且，作为与打印功能有关的信息，显示打印功能的说明“打印PC(A)中的数据”。

如果协作功能由用户指定，并且提供执行指示，则执行所指定的协作功能。例如，如果用户按压了“是”按钮，则执行与“是”按钮有关的协作功能。而且，“返回”按钮显示在协作功能显示画面70上。如果“返回”按钮由用户按压，则停止连接装置的处理。

另选地，指定协作功能的处理和指定优先次序的处理可以由终端设备16执行。

可以指定彼此协作的对象装置，并且其链接顺序可以通过在装置图像周围画圆，而不是在装置图像之间移动操作器来指定。例如，描画操作的顺序对应于链接顺序。另选地，可以根据由用户提供的语音指示来指定彼此协作的对象装置及其链接顺序。

图11A和图11B例示了另一个操作的示例。例如，如图11A中例示的，用户通过使用操作器在装置显示画面62上触摸装置图像66，并且使操作器沿由箭头72指示的方向移动到装置图像64，从而将装置图像66链接到装置图像64。因此，与装置图像66有关的终端设备12(PC(A))和与装置图像64有关的图像形成设备10(MFP(B))被指定为彼此协作的对象装置，并且还指定链接顺序。在该示例中，从装置图像66向装置图像64进行链接，即，从终端设备12(PC(A))向图像形成设备10(MFP(B))。参照图7例示的协作功能管理表，打印功能的优先次序是“1”，并且扫描与传送功能的优先次序是“2”。在这种情况下，如图11B例示，与打印功能有关的信息以优于(例如，高于)与扫描与传送功能有关的信息的优先级显示在协作功能显示画面74上。

如上所述，根据第一示例性实施方式，与装置有关的装置图像彼此链接，从而指定使用装置的功能的协作功能。根据链接图像的顺序(即，链接装置的顺序)，改变与协作功能有关的信息的显示顺序。装置的链接顺序还被称为要在各个装置中使用的功能的顺序或彼此协作的装置之间的数据的移动的顺序。链接装置的操作(链接图像的操作)还被称为指定功能的顺序或数据的移动顺序的操作。由此，由于根据链接顺序改变与协作功能有关的信息的显示顺序，优选地显示关于用户期望使用的协作功能的信息。换言之，优选地显示关于更有可能由用户使用的协作功能的信息。例如，如果从MFP(B)向PC(A)进行链接，则期望用户将使用“首先使用MFP(B)的功能，然后从MFP(B)向PC(A)传送数据”的协作功能。另一方面，如果从PC(A)向MFP(B)进行链接，则期望用户将使用“首先使用PC(A)的功能，然后从PC(A)向MFP(B)传送数据”的协作功能。由此，由于根据图像的链接顺序改变与协作功能有关的信息的显示顺序，优选地显示关于用户更有可能使用的协作功能的信息。而且，指定要使用的功能的顺序和数据的移动顺序，而没有除了链接装置图像的操作之外的特殊操作，并且显示与用户期望使用的协作功能有关的信息。

下文中，将描述第一示例性实施方式的修改例。

第一修改例

下文中，将描述第一修改例。在第一修改例中，分配给协作功能的装置的功能根据与装置有关的装置图像中的位置变化。当装置图像中的特定位置由用户指定时，优选地显示与使用对应于特定位置的功能的协作功能有关的信息。下文中，将详细描述第一修改例。

图12例示了根据第一修改例的装置功能管理表的示例。根据第一修改例的装置功能管理表的数据作为装置功能信息32存储在服务器14中。在根据第一修改例的装置功能管理表中，例如，装置ID、代表装置的名称(例如，装置的类型)的信息、代表图像中的位置的信息、代表对应于位置的功能的信息(功能识别信息)和图像ID彼此关联。图像中的位置是与装置有关的装置图像中的特定位置(特定部)，例如，示意性地代表装置的装置图像中的特定位置或由照相机拍摄的装置图像中的特定位置。不同功能与图像中的各个特定位置关联。

图13A和图13B例示了终端设备16的UI单元46上显示的画面的示例。例如，假定图像形成设备10(MFP(B))和终端设备12(PC(A))被识别为彼此协作的对象装置。如图13A例示，装置显示画面62显示在终端设备16的UI单元46上，并且装置图像64和66显示在装置显示画面62上。例如，在装置图像64中，打印功能与对应于MFP(B)的主体部的特定位置(部分图像76)关联。在装置图像64中，扫描功能与特定位置(部分图像78)关联，特定位置对应于MFP(B)的原稿盖、原稿玻璃和自动原稿馈送器。在装置图像64中，装订功能与对应于后处理器的特定位置(部分图像80)关联。装订功能是装订输出片材的功能。在装置图像66中，数据储存功能与对应于PC(A)的主体部的特定位置(部分图像82)关联。在装置图像66中，画面显示功能与对应于PC(A)的显示器的特定位置(部分图像84)关联。数据储存功能是在PC(A)中存储从另一个设备接收的数据的功能。画面显示功能是在PC(A)中显示从另一个设备接收的数据的功能。

终端设备16的控制器48可以使与装置图像中的特定位置关联的功能的名称(例如，打印、扫描等)显示在装置显示画面62上。因此，向用户提供清楚地代表特定位置与功能之间的对应的信息。当然，不必显示功能的名称。

在第一修改例中，如果与装置图像中的功能关联的位置由用户指定，则与所指定的位置关联的功能被指定为彼此关联的对象功能。用户通过使用指示符，来链接与代表彼此协作的对象装置的装置图像中的功能关联的特定位置(部分图像)。例如，如由箭头86指示的，用户通过使用操作器来触摸装置显示画面62上的部分图像78，并且使操作器移动到部分图像84，从而将部分图像78链接到部分图像84。因此，与包括部分图像78的装置图像64有关的MFP(B)和与包括部分图像84的装置图像66有关的PC(A)被指定为彼此协作的对象装置，指定对应于部分图像78的扫描功能和对应于部分图像84的画面显示功能，并且指定其链接顺序。链接部分图像的顺序对应于链接顺序。在图13A中例示的示例中，从部分图像78向部分图像84链接，即，从MFP(B)向PC(A)。扫描功能和画面显示功能被指定为用于协作功能的功能。代表装置的链接顺序的信息和代表由用户在装置图像中指定的特定位置的信息从终端设备16向服务器14发送。

当识别彼此协作的对象装置(例如，PC(A)和MFP(B))时，服务器14的指定单元38在图7中例示的协作功能管理表中，指定借助PC(A)与MFP(B)之间的协作实施的协作功能。而且，指定单元38通过用户参照图12中例示的装置功能管理表，来指定与装置图像中指定的特定位置关联的功能。而且，在借助PC(A)与MFP(B)之间的协作实施的协作功能之中，指定单元38将更高的优先级，分配给使用与由用户指定的位置关联的功能的协作功能，并且将更低的优先级分配给不使用这些功能的协作功能。

与以上述方式指定的协作功能有关的信息和代表优先次序的信息从服务器14向终端设备16发送。终端设备16的控制器48根据优先次序使UI单元46显示与协作功能有关的信息，作为关于候选协作功能的信息。

例如，如图13B例示，终端设备16的控制器48使UI单元46的显示器显示协作功能显示画面88，并在协作功能显示画面88上显示与候选协作功能有关的信息。因为扫描功能和画面显示功能由用户以该顺序来指定，所以与扫描、传送和显示功能(其是借助扫描功能与画面显示功能之间的协作执行的协作功能)有关的信息以优于(例如，高于)与其他协作功能的有关信息的优先级来显示。例如，关于扫描、传送和显示功能的信息以优于关于扫描、传送和储存功能(其是借助扫描功能与数据储存功能之间的协作执行的协作功能)的优先级来显示。扫描、传送和显示功能是向PC(A)传送借助由MFP(B)进行扫描而生成的数据，并且在PC(A)的画面上显示数据的功能。扫描、传送和储存功能是向PC(A)传送借助由MFP(B)进行扫描而生成的数据并且在PC(A)中存储数据的功能。在图13B例示的示例中，各个协作功能的说明被显示为关于各个协作功能的信息。

根据第一修改例，在彼此协作的各个对象装置具有多个功能的情况下，功能被个别指定，并且优选地显示与使用所指定的功能的协作功能有关的信息。因此，优选地显示用户期望使用的协作功能。

图14A和图14B例示了第一修改例的另一个示例。图14A至图14B是例示了终端设备16的UI单元46上显示的画面的示例的图。终端设备16的控制器48在装置图像中，将可识别的接触区域图像叠加在特定功能所分配到的特定位置(部分图像)上。在图14A中例示的示例中，接触区域图像90叠加在部分图像76上，接触区域图像92叠加在部分图像78上，并且接触区域图像94叠加在部分图像80上。而且，接触区域图像96叠加在部分图像82上，并且接触区域图像98叠加在部分图像84上。各个接触区域图像是：例如半透明图像或不透明图像，并且具有圆形、椭圆形或矩形。凭借接触区域图像显示在特定功能所分配到的位置(这些位置被高亮)，由此用户可以容易地确定功能所分配到的位置。即，用户可以把将反应的位置容易地确定为要用于协作功能的功能。

终端设备16的控制器48可以改变对应于要用于协作功能的功能的接触区域图像或由用户指定的接触区域图像的显示形式(例如，颜色和形状中的至少一种)，使得接触区域图像与其他接触区域图像区分开。例如，如图14B例示，如果部分图像78借助由箭头100指示的操作而链接到部分图像84，则对应于部分图像78的接触区域图像92和对应于部分图像84的接触区域图像98以与其他接触区域图像的颜色不同的颜色来显示。

图15A和图15B例示了第一修改例的另一个示例。图15A至图15B是例示了终端设备16的UI单元46上显示的画面的示例的图。在已识别装置具有多个功能的情况下，可以指定相同装置的多个功能，以指定要借助多个功能之间的协作而执行的协作功能。例如，如图15A例示，假定用户沿由箭头102、104和106指示的方向链接图像。在这种情况下，部分图像78、84、82和76以该顺序链接。服务器14的指定单元38指定分配给部分图像78、84、82和76的功能(扫描功能、画面显示功能、数据储存功能和打印功能)，以链接顺序指定使用这些功能的协作功能，并且给予协作功能高优先级。因此，与协作功能有关的信息以优于与其他协作功能有关的信息的优先级来显示。图15B例示了协作功能显示画面108，并且与协作功能有关的信息优选地显示在协作功能显示画面108上。给予优先级的协作功能是：例如“向PC(A)传送借助由MFP(B)进行的扫描而生成的数据，在PC(A)的画面上显示数据，调整PC(A)中的颜色，在PC(A)中存储数据并且向MFP(B)传送数据，以及在MFP(B)中打印数据”的功能。

第二修改例

下文中，将参照图16A至图17C描述第二修改例。图16A至图17C例示了终端设备16上显示的画面的示例。在第二修改例中，如果保持装置图像被按压长于预设时间段，则模式转入多个功能选择模式(用于指定多个功能的模式)。

而且，在第二修改例中，图像形成设备10(MFP(B))和终端设备12(PC(A))被识别为彼此协作的对象装置，并且如图16A例示，在终端设备16中，装置图像64和66显示在装置显示画面62上。例如，假定用户通过使用操作器继续指定装置图像64长于预设时间段。即，假定保持按压(held down)装置图像64。在图16A中例示的示例中，由附图标记110表示的部分被保持按压。在这种情况下，如图16B例示，功能选择画面112显示在终端设备16的UI单元46上，并且MFP(B)的功能列表显示在功能选择画面112上。在图16B中例示的示例中，显示各个功能的名称(扫描、打印、装订和传真发送)。例如，如果装置图像64由用户指定，则与装置图像64有关的MFP(B)的装置识别信息从终端设备16向服务器14发送。在服务器14中，MFP(B)的功能参照装置功能管理表来指定。与功能有关的信息(例如，功能识别信息)从服务器14向终端设备16发送，并且显示在终端设备16上。当然，MFP(B)的功能可以在终端设备16中指定。在终端设备16的用户接口能够在多个阶段中检测由用户执行的操作的接触力的情况下，功能选择画面112可以响应于更大的接触力的检测(例如，预设接触力的检测)来显示。

在图16B中例示的功能选择画面112上，用于协作功能的多个功能由用户选择。例如，假定选择(1)扫描功能和(4)传真发送功能。在这种情况下，如图16C例示，确认画面114显示在终端设备16的UI单元46上。在确认画面114上，显示代表由用户选择的功能的信息。如果用户在确认画面114上指定协作顺序(使用顺序)，则如图17A例示，另一个确认画面116显示在终端设备16的UI单元46上。在图17A例示的示例中，(1)扫描功能的顺序是“1”，并且(4)传真发送功能的顺序是“2”。在图16B中例示的功能选择画面112上，要用于协作功能的多个功能由用户根据协作顺序来选择。在这种情况下，省略图16C中例示的确认画面114的显示，并且在终端设备16的UI单元46上显示图17A中例示的确认画面116。

随后，如果用户在图17A中例示的确认画面116上按压“是”按钮，则确认要用于协作功能的MFP(B)的功能，并且如图17B例示，画面转入装置显示画面62。在装置显示画面62上，如由箭头118指示的，用户将装置图像64链接到装置图像66。因此，PC(A)被指定为要用于协作功能的装置，并且指定协作顺序(使用顺序)。服务器14的指定单元38以协作的顺序指定使用各个功能的协作功能，并且给予协作功能更高的优先级。因此，与协作功能有关的信息以优于关于其他协作功能的信息的优先级来显示。与协作功能有关的信息从服务器14向终端设备16发送并且显示在终端设备16上。例如，如图17C例示，协作功能显示画面120显示在终端设备16的UI单元46上，并且与协作功能有关的信息显示在协作功能显示画面120上。优选地显示关于根据协作的顺序使用各个功能的协作功能的信息。给予优先级的协作功能是例如“由传真发送由MFP(B)进行的扫描而生成的图像并向PC(A)传送所发送数据的副本”的功能。

如果用户在图17A中例示的确认画面116上按压“否”按钮，则取消要用于MFP(B)的协作功能的功能的选择，并且画面转入功能选择画面112。“取消”按钮显示在功能选择画面112上。如果用户按压“取消”按钮，则画面转入装置显示画面62。

根据第二修改例，显示所指定装置的功能列表，由此，用户可以容易地识别装置的功能。

图18例示了第二修改例的另一个示例。在第二修改例中，用于选择多个功能的按钮图像122显示在装置显示画面62上。如果用户在按压装置图像的同时按压按钮图像122，则模式转入多个功能选择模式。在图18中例示的示例中，如由附图标记124表示的按压按钮图像122，同时与MFP(B)有关的装置图像64被用户按压。在这种情况下，画面转入图16B中例示的功能选择画面112。此后，执行上面参照图16A至图17C描述的处理。

第三修改例

下文中，将参照图19A和图19B描述第三修改例。图19A和图19B例示了终端设备16的UI单元46上显示的画面的示例。

而且，在第三修改例中，图像形成设备10(MFP(B))和终端设备12(PC(A))被识别为彼此协作的对象装置，并且如图19A例示，在终端设备16中，装置图像64和66显示在装置显示画面62上。而且，如由箭头126、128和130指示的，部分图像78、84、82和76以该顺序链接。即，扫描功能、画面显示功能、数据储存功能和打印功能以该顺序来指定。

在第三修改例中，如果从链接顺序的角度，指定紧挨要取消的对象图像之前的图像，则从协作功能消除与要取消的对象图像有关的功能。即，要取消的对象功能从彼此协作的对象功能消除。例如，如果从链接顺序的角度，指定紧挨要取消的对象图像之前的图像，则代表指定的信息从终端设备16向服务器14发送，并且服务器14的指定单元38从彼此协作的对象功能消除与要取消的对象图像有关的功能。

参照图19A中例示的示例，如由虚线箭头132指示的，从部分图像76向部分图像82进行链接。即，指定以链接顺序紧挨部分图像76之前的部分图像82。在这种情况下，与部分图像76有关的功能(打印功能)从彼此协作的对象功能消除。

此后，如图19B中例示的，如果由用户沿由箭头134指示的方向从部分图像82向部分图像80进行链接，则与部分图像80有关的功能(装订功能)被选择为与另一个功能协作的对象功能，并且优选地选择使用与部分图像80有关的功能的协作功能。

根据第三修改例，从彼此协作的对象功能消除要取消的对象功能，并且取消使用要取消的对象功能的协作功能，而没有除了链接图像的操作之外的特殊操作。例如，如果错误地指定与另一个功能协作的对象功能，则通过以链接顺序指定紧挨与功能有关的图像之前的图像来取消错误指定的功能，而不执行其他特殊操作。因此，与通过使用取消按钮等消除功能的情况相比，要取消的对象功能用简单操作来消除。

取消操作的轨迹(例如，由箭头132指示的轨迹)可以显示在装置显示画面62上。在这种情况下，取消操作的轨迹可以以不同于链接操作的轨迹(例如，由箭头126、128和130指示的轨迹)的形式(例如，以不同颜色或不同线的类型)来显示。

另选地，在取消操作的情况下，用户可以在装置显示画面62上指定与要取消的对象装置有关的装置图像或部分图像，或者可以按压协作取消按钮。在不是协作对象的装置显示在装置显示画面62上的情况下，用户可以通过在装置显示画面62上指定与装置有关的装置图像，而从彼此协作的对象装置消除装置。另选地，如果执行预设操作，例如，如果十字标记等附到与要取消的对象装置有关的装置图像，则可以从彼此协作的对象装置消除装置。

第四修改例

下文中，将参照图20A和图20B描述第四修改例。图20A和图20B例示了终端设备16的UI单元46上显示的画面的示例。

而且，在第四修改例中，图像形成设备10(MFP(B))和终端设备12(PC(A))被识别为彼此协作的对象装置，并且如图20A例示，在终端设备16中，装置图像64和66显示在装置显示画面62上。而且，部分图像78和84(接触区域图像92和98)如由箭头136指示以该顺序链接。即，扫描功能和画面显示功能以该顺序指定。

在第四修改例中，终端设备16的控制器48使照相机42的视野改变，并且使改变后的视野显示在装置显示画面62上，同时使代表最后被指定为协作的对象装置的装置的装置图像，显示在装置显示画面62上。在这种情况下，已经被指定为彼此协作的对象装置的装置(例如，MFP(B)和PC(A))的识别信息存储在终端设备16或服务器14的存储器中。

在图20A中例示的示例中，终端设备12(PC(A))是最后被指定为协作的对象装置的装置，由此其装置图像66保留在装置显示画面62上。如果用户改变终端设备16的照相机42的视野，则终端设备16的控制器48使得由照相机42拍摄的图像显示在装置显示画面62上，同时使得装置图像66显示在装置显示画面62上。例如，在使用投影仪(C)(其在图20A中例示的状态下不在视野内)作为协作的对象装置的情况下，如图20B例示，在装置图像66显示在装置显示画面62上的状态下，用户改变照相机42的取向，使得投影仪(C)包括在照相机42的视野中，然后拍摄投影仪(C)的图像。因此，投影仪(C)的图像由照相机42拍摄，并且与投影仪(C)有关的装置图像138显示在装置显示画面62上。投影仪(C)被识别，并且例如，投影仪(C)的功能的名称(例如，“投影”)显示在装置显示画面62上。而且，接触区域图像140叠加在代表投影仪(C)的装置图像138上。如由箭头142所指示的，如果由用户从部分图像84(接触区域图像98)向装置图像138(接触区域图像140)进行链接，则与装置图像138有关的装置的功能(例如，投影功能)被选择为协作的对象功能，并且优选地显示使用与装置图像138有关的功能的协作功能。

根据第四修改例，即使彼此协作的多个对象装置的图像不是一次拍摄的，也可以拍摄多个装置的各个图像，并且多个装置可以彼此协作。即，彼此协作的对象装置不必彼此靠近。根据第四修改例，甚至在这种情况下，也可以分开拍摄多个装置的图像，并且多个装置可以彼此协作。当然，可以改变照相机42的视角，或者可以增大或减小视野。如果这些操作不足够，则可以多次执行图像拍摄，以识别各个装置。

在上述示例中，与最后被指定为协作的对象装置的装置有关的装置图像保留在装置显示画面62上。另选地，由用户指定的装置图像、与首先拍摄图像的装置有关的装置图像、或与预设基本装置有关的装置图像可以保留在装置显示画面62上。而且在这种情况下，可以分开拍摄多个装置的图像，并且装置可以彼此协作。

在上述第一示例性实施方式和第一至第四修改例中，代表已识别的装置的装置图像、接触区域图像、链接操作的轨迹(例如，移动的轨迹)和取消操作的轨迹可以三维地显示，使得它们与背景图像区分开。即，这些图像可以被显示为三维图像。例如，背景图像可以二维地显示，而装置图像、接触区域图像和操作的轨迹可以三维地显示。因此，装置图像、接触区域图像和操作的轨迹的可见性可以提高。另选地，与未识别的装置有关的装置图像和背景图像不显示在装置显示画面62上，并且仅与已识别装置有关的装置图像可以显示在装置显示画面62上。

如上所述，当与对象装置有关的图像彼此链接，并且协作功能被指定时，连接请求从终端设备16向彼此协作的对象装置发送，并且终端设备16连接到对象装置。下文中，将参照图21来描述连接处理。图21是例示了处理的序列图。

首先，用户通过使用终端设备16提供启动用于执行协作功能的应用(程序)的指示。响应于指示，终端设备16的控制器48启动应用(S01)。应用可以提前存储在终端设备16的存储器44中，或可以从服务器14等下载。

随后，彼此协作的对象装置通过应用基于标记的AR技术、无标记AR技术或位置信息AR技术来指定(S02)。当然，可以通过使用除了AR技术之外的技术来识别对象装置。在使用基于标记的AR技术或无标记AR技术的情况下，用户通过使用终端设备16的照相机42来拍摄对象装置的图像。例如，在使用图像形成设备10(MFP(B))和终端设备12(PC(A))作为对象装置的情况下，用户通过使用照相机42来拍摄图像形成设备10和终端设备12的图像。因此，获得图像形成设备10和终端设备12的装置识别信息，并且图像形成设备10和终端设备12被识别为对象装置。在使用位置信息AR技术的情况下，获得图像形成设备10和终端设备12的位置信息，基于位置信息来指定图像形成设备10和终端设备12的装置识别信息，并且识别图像形成设备10和终端设备12。

通过使用终端设备16，用户链接与彼此协作的多个对象装置有关的多个装置图像，从而指定协作功能,并且指定协作功能的优先次序。与协作功能有关的信息根据优先次序显示在终端设备16的UI单元46上(S03)。指定协作功能的处理和指定优先次序的处理可以由服务器14或终端设备16执行。

随后，如果用户通过使用终端设备16来指定要执行的对象协作功能，则终端设备16向执行协作功能的对象装置(例如，图像形成设备10和终端设备12)发送代表连接请求的信息(S04)。例如，如果代表彼此协作的对象装置的地址的地址信息存储在服务器14中，则终端设备16从服务器14获得该地址信息。如果地址信息包括在装置识别信息中，则终端设备16可以从对象装置的装置识别信息获得地址信息。另选地，对象装置的地址信息可以存储在终端设备16中。当然，终端设备16可以通过使用另一个方法来获得对象装置的地址信息。通过使用对象装置(例如，图像形成设备10和终端设备12)的地址信息，终端设备16向对象装置(例如，图像形成设备10和终端设备12)发送代表连接请求的信息。

已经接收代表连接请求的信息的图像形成设备10和终端设备12允许或不允许到终端设备16的连接(S05)。例如，如果图像形成设备10和终端设备12是不被允许进行连接的装置，或者如果装置(向其请求连接)的数量超过上限，则不允许连接。如果允许从终端设备16的连接，则可以禁止改变针对图像形成设备10和终端设备12唯一的设置信息的操作，使得不改变该设置信息。例如，可以禁止改变图像形成设备10的色彩参数或转入节能模式的设置时间。因此，彼此协作的对象装置的安全性提高。另选地，在使装置彼此协作的情况下，与单独使用各个装置而不与另一个装置协作的情况相比，可以限制设置信息的改变。例如，与单独使用装置的情况相比，可以允许改变更少的设置项目。另选地，可以禁止观看其他用户的个人信息，诸如操作历史。因此，对于用户的个人信息的安全性可以提高。

代表允许或不允许连接的结果信息从图像形成设备10和终端设备12向终端设备16发送(S06)。如果允许连接到图像形成设备10和终端设备12，则通信建立在终端设备16与图像形成设备10和终端设备12中的每一个之间。

随后，用户通过使用终端设备16来提供执行协作功能的指示(S07)。响应于指示，代表执行协作功能的执行指示信息从终端设备16向图像形成设备10和终端设备12发送(S08)。向图像形成设备10发送的执行指示信息包括：代表图像形成设备10中要执行的处理的信息(例如，作业信息)，并且向终端设备12发送的执行指示信息包括：代表要在终端设备12中执行的处理的信息(例如，作业信息)。

响应于执行指示信息，图像形成设备10和终端设备12执行各个功能(S09)。例如，如果协作功能包括：在图像形成设备10与终端设备12之间发送/接收数据的处理(与从图像形成设备10(MFP(B))向终端设备12(PC(A))传送扫描数据的扫描与传送功能相同)，则在图像形成设备10与终端设备12之间建立通信。在这种情况下，例如，向图像形成设备10发送的执行指示信息包括终端设备12的地址信息，并且向终端设备12发送的执行指示信息包括图像形成设备10的地址信息。通过使用这些地址信息在图像形成设备10与终端设备12之间建立通信。

在完成协作功能的执行之后，指示完成了协作功能的执行的信息从图像形成设备10和终端设备12向终端设备16发送(S10)。指示完成了协作功能的执行的信息显示在终端设备16的UI单元46上(S11)。如果即使在从提供执行指示的时间点起经过预设时间段时，也未显示指示完成了协作功能的执行的信息，则终端设备16的控制器48可以使UI单元46显示代表错误的信息，并且可以向图像形成设备10和终端设备12再次发送执行指示信息或代表连接请求的信息。

随后，用户确定是否取消图像形成设备10与终端设备12的协作状态(S12)，并且根据确定结果来执行处理(S13)。在取消协作状态的情况下，用户通过使用终端设备16来提供取消指示。因此，停止终端设备16与图像形成设备10和终端设备12中的每一个之间的通信。而且，停止图像形成设备10与终端设备12之间的通信。在不取消协作状态的情况下，可以连续提供执行指示。

而且，可以增加彼此协作的对象装置的数量。例如，可以获得第三装置的装置识别信息，并且可以指定借助包括图像形成设备10和终端设备12的三个装置之中的协作执行的协作功能。指示图像形成设备10和终端设备12已经被识别为彼此协作的对象装置的信息存储在服务器14或终端设备16中。

代表彼此协作的对象装置的装置识别信息和代表所执行的协作功能的协作功能识别信息，可以存储在终端设备16或服务器14中。例如，可以获得使用终端设备16的用户的用户账户信息(用户识别信息)，并且代表用户账户信息之间的对应的历史信息、代表彼此协作的对象装置的装置识别信息、以及代表所执行的协作功能的协作功能识别信息，可以被创建并存储在终端设备16或服务器14中。历史信息可以由终端设备16或服务器14创建。参照历史信息，指定已经执行的协作功能和用于协作功能的装置。

彼此协作的对象装置(例如，图像形成设备10和终端设备12)可以作为历史信息存储已请求连接的用户的用户账户信息和代表已请求连接的终端设备16的终端识别信息。参照历史信息，指定已经使用装置的用户。例如，在指定破坏装置时使用装置的用户，或针对消耗品等执行收费处理的情况下，可以通过使用历史信息来指定用户。历史信息可以存储在服务器14或终端设备16中，或者可以存储在另一个设备中。

用户账户信息提前存储在例如终端设备16的存储器44中。终端设备16的控制器48充当用户识别单元的示例，从存储器44读取用户的用户账户信息，并且识别使用终端设备16的用户。在多个用户的用户账户信息存储在存储器44中的情况下，用户通过使用终端设备16来指定他/她的用户账户信息。因此，读取用户的用户账户信息，并且识别用户。另选地，终端设备16的控制器48可以通过读取登录到终端设备16中的用户的用户账户信息，来识别用户。另选地，如果仅一个用户账户信息存储在相同的终端设备16中，则终端设备16的控制器48可以通过读取一个用户账户信息，来识别用户。如果未设置用户账户，并且如果未创建用户账户信息，则执行初始设置，从而创建用户账户信息。

可以针对各个用户来管理协作功能的使用历史，并且代表由所读取的用户账户信息代表的用户之前所使用的协作功能的信息可以显示在终端设备的UI单元46上。代表使用历史的信息可以存储在终端设备16或服务器14中。而且，可以显示代表以预设频率或更大频率使用的协作功能的信息。凭借提供这种快捷功能(shortcut function)，可以减少关于协作功能的用户操作。

第二示例性实施方式

下文中，将描述充当根据本发明的第二示例性实施方式的信息处理系统的图像形成系统。图22例示根据第二示例性实施方式的服务器14A。根据第二示例性实施方式的图像形成系统包括服务器14A，而不是根据第一示例性实施方式的服务器14。除了服务器14A之外，根据第二示例性实施方式的图像形成系统的构造与根据图1例示的第一示例性实施方式的图像形成系统的构造相同。

与根据第一示例性实施方式的服务器14相同，服务器14A管理协作功能，各协作功能借助多个功能之间的协作来执行。下文中，将参照图22详细描述服务器14A的构造。

服务器14A包括通信单元28、存储器30A和控制器36A。通信单元28具有与根据第一示例性实施方式的通信单元28相同的构造。

存储器30A是诸如硬盘或SSD这样的储存设备。存储器30A存储例如装置功能信息32、协作功能信息144、各种数据、各种程序、代表各个装置的地址的装置地址信息等。当然，这些信息和数据可以存储在不同储存设备中，或存储在一个储存设备中。存储器30A中存储的装置功能信息32和协作功能信息144可以周期性地，或在指定时刻提供给终端设备16，因此可以更新终端设备16中存储的信息。

装置功能信息32是与根据第一示例性实施方式的装置功能信息32相同的信息。

协作功能信息144是代表要借助多个功能之间的协作执行的协作功能的信息，并且是例如代表一信息(该信息代表用于识别彼此协作，以执行协作功能的功能的功能识别信息的组合)与用于识别协作功能的协作功能识别信息之间的对应的信息。在多个装置彼此协作的情况下，协作功能信息144是代表要借助多个装置的多个功能之间的协作来执行的协作功能的信息，并且是代表一信息(该信息代表用于识别彼此协作以执行协作功能的装置的功能识别信息的组合)与协作功能识别信息之间的对应的信息。

控制器36A控制服务器14A的各个单元的操作。控制器36A包括指定单元38和协作功能登记单元146。

与根据第一示例性实施方式的指定单元38相同，指定单元38基于装置识别信息来识别装置，并且指定装置的功能。而且，指定单元38指定：要借助彼此协作的对象装置的功能之间的协作而执行的协作功能。而且，与第二示例性实施方式相同，通过使用AR技术获得装置识别信息，并且识别装置。当然，通过使用除了AR技术之外的技术，可以获得装置识别信息，并且可以识别装置。

在第二示例性实施方式中，与彼此协作的对象装置有关的装置图像显示在终端设备16的UI单元46上，协作功能通过彼此叠加装置图像来指定，并且与协作功能有关的信息显示在终端设备16的UI单元46上。

协作功能登记单元146具有登记协作功能的功能。例如，协作功能登记单元146彼此关联要登记的对象协作功能的登记信息和用于执行协作功能而显示的图像(例如，快捷方式图像)。该图像是例如通过彼此叠加装置图像而生成的图像，或示意性地代表叠加的对象装置的图像。

下文中，将详细描述根据第二示例性实施方式的图像形成系统。

首先，将参照图23详细描述协作功能信息144。图23例示了协作功能管理表(其是协作功能信息144)的示例。在协作功能管理表中，例如，代表装置ID的组合的信息、代表彼此协作的对象装置的名称(例如，类型)的信息、和代表协作功能的信息(协作功能识别信息)彼此关联。与根据图7中例示的第一示例性实施方式的协作功能管理表不同，根据第二示例性实施方式的协作功能管理表不包括代表链接顺序的信息和代表优先次序的信息。

下文中，将参照图24的(A)至图25B详细描述用于指定协作功能的操作。图24的(A)至图25B例示了终端设备16的UI单元46上显示的画面的示例。

例如，与第一示例性实施方式相同，假定图像形成设备10(MFP(B))和终端设备12(PC(A))通过使用AR技术等被识别为彼此协作的对象装置。如图24的(A)例示，装置显示画面62显示在终端设备16的UI单元46上，并且与所识别的装置(图像形成设备10和终端设备12)有关的装置图像64和66显示在装置显示画面62上。在该状态下，用户通过使用指示符(例如，用户的手指、笔或铁笔)，将与一个对象装置有关的装置图像叠加在与另一个对象装置有关的装置图像上。例如，如图24的(B)例示，用户通过使用操作器(operator)指定装置图像64，并且如由箭头148指示的，使装置图像64叠加在装置图像66上。例如，用于通过执行拖放操作来彼此叠加装置图像。具体地，用户拖拉装置图像64，并且在装置图像64叠加在装置图像66上的位置处，将其放下。另选地，可以根据由用户提供的语音指示来指定要彼此叠加的装置图像(与彼此协作的对象装置有关的图像)。例如，装置图像64和66可以根据由用户提供的语音指示，而被指定为对象装置图像，并且可以彼此叠加。

由于装置图像64和66彼此叠加，与装置图像64有关的图像形成设备10(MFP(B))和与装置图像66有关的终端设备12(PC(A))被指定为彼此协作的对象装置。在图24的(B)中例示的示例中，装置图像64叠加在装置图像66上。另选地，装置图像66可以叠加在装置图像64上。

终端设备16的控制器48可以使正在被拖拉的装置图像以可识别方式显示在UI单元46上。例如，正在被拖拉的装置图像可以半透明地或以特定颜色来显示。

当装置图像64叠加在装置图像66上时，如图24的(C)例示，确认画面150显示在终端设备16的UI单元46上。确认画面150是用于确认是否使所指定的装置彼此协作的画面。如果由用户在确认画面150上提供协作指示(例如，如果“是”按钮被用户按压)，则与协作功能有关的信息显示在终端设备16的UI单元46上。具体地，如果指定彼此协作的对象装置(例如，图像形成设备10和终端设备12)并且提供协助指示，则服务器14的指定单元38在图23中例示的协作功能管理表(协作功能信息144)中指定与PC(A)和MFP(B)的组合关联的协作功能。因此，指定要借助PC(A)与MFP(B)之间的协作而执行的协作功能。与以该方式指定的协作功能有关的信息从服务器14向终端设备16发送，并且作为与候选协作功能有关的信息显示在终端设备16的UI单元46上。

例如，如图25A例示，终端设备16的控制器48使UI单元46显示协作功能显示画面152，并在协作功能显示画面152上显示与候选协作功能有关的信息。凭借使PC(A)和MFP(B)彼此协作，例如，实施扫描与传送功能以及打印功能。由此，与扫描与传送功能有关的信息和与打印功能有关的信息显示在协作功能显示画面152上。

如果由用户指定了协作功能，并且由用户提供了执行指示，则连接请求从终端设备16向彼此协作的对象装置发送。如图25B例示，等待画面154显示在终端设备16的UI单元46上，同时处理连接请求。当成功建立终端设备16与对象装置之间的连接时，执行所指定的协作功能。

如上所述，根据第二示例性实施方式，与装置有关的装置图像彼此叠加，从而指定使用装置的功能的协作功能。由此，可以使功能彼此协作，而没有除了图像操作之外的特殊操作，并且可以用简单操作使功能彼此协作。

下文中，将描述第二示例性实施方式的修改例。

第五修改例

下文中，将参照图26A至图27来描述第五修改例。图26A至图27例示了终端设备16的UI单元46上显示的画面的示例。在第五修改例中，多个装置图像彼此叠加，然后生成并显示代表叠加状态的新图像。下文中，将详细描述第五修改例。

而且，与第五修改例相同，假定图像形成设备10(MFP(B))和终端设备12(PC(A))被指定为彼此协作的对象装置，并且如图26A例示，在终端设备16中，装置图像64和66显示在装置显示画面62上。例如，假定用户通过使用操作器，如由箭头156指示的，在装置图像66上叠加装置图像64。由于装置图像64和66彼此叠加，与装置图像64有关的图像形成设备10(MFP(B))和与装置图像66有关的终端设备12(PC(A))被指定为彼此协作的对象装置。

当装置图像64叠加在装置图像66上时，如图26B例示，确认画面158显示在终端设备16的UI单元46上。确认画面158是用于确认是否使所指定的装置彼此协作的画面，并且是用于确认是否有要使得协作的另一个装置的画面。如果由用户提供使MFP(B)与PC(A)协作的指示(例如，如果使MFP(B)与PC(A)协作的“是”按钮由用户按压)，则使MFP(B)与PC(A)协作。如果有要使得协作的另一个装置(例如，如果使另一个装置协作的“是”按钮由用户按压)，则如图26C例示的，显示装置显示画面62。在装置显示画面62上，显示新装置图像160，该新装置图像160通过使叠加的装置图像64和66成组而生成。新装置图像160可以由例如终端设备16的控制器48或服务器14A的控制器36A生成。装置图像160是代表装置图像64叠加在装置图像66上的状态的图像。

在第五修改例中，终端设备16的控制器48使新生成的装置图像160保留在装置显示画面62上。如果用户改变终端设备16的照相机42的视野，则终端设备16的控制器48在装置图像160显示在装置显示画面62上的状态下，使由照相机42拍摄的图像显示在装置显示画面62上。在这种情况下，已经被指定为彼此协作的对象装置(例如，MFP(B)和PC(A))的装置的识别信息存储在终端设备16或服务器14A的存储器中。

例如，在图26A中例示的状态下不在视野内的投影仪(C)用作协作的对象装置的情况下，如图26C例示，在装置图像160显示在装置显示画面62上的状态下，用户改变照相机42的取向，使得投影仪(C)包括在照相机42的视野中，然后拍摄投影仪(C)的图像。因此，由照相机42拍摄投影仪(C)的图像，与投影仪(C)有关的装置图像138显示在装置显示画面62上，并且识别投影仪(C)。如由箭头162指示的，如果用户将新装置图像160叠加在装置图像138上，则与装置图像138有关的装置被选择为协作的对象装置。如果再也没有使得协作的装置，则要借助已经被指定的对象装置之间的协作而执行的协作功能由服务器14指定，并且与协作功能有关的信息从服务器14向终端设备16发送，并且显示在终端设备16的UI单元46上。例如，如图26B例示，如果提供指示没有使得协作的装置的指示的“否”按钮在确认画面158上被用户按压，则与协作功能有关的信息显示在终端设备16的UI单元46上。

如上所述，根据第五修改例，通过彼此叠加装置图像而生成的新装置图像，叠加在与协作的另一个候选装置有关的装置图像上，因此，增加了彼此协作的装置的数量。新装置图像代表与彼此协作的对象装置有关的装置图像彼此叠加的状态。由此，由于显示新装置图像，从可视角度可以容易地识别已经被指定为彼此协作的对象装置的装置。

可以省略确认画面158的显示。在这种情况下，如果在装置图像彼此叠加之后，由用户提供显示协作功能的指示，则与要由已经借助叠加而指定的、且彼此协作的对象装置执行的彼此协作有关的信息显示在终端设备16的UI单元46上。

在第五修改例中，通过使彼此叠加的装置图像成组而生成新装置图像。另选地，彼此叠加的装置图像可以用另一个图像代替，并且图像可以显示在装置显示画面62上。例如，如图27例示，新装置图像164显示在装置显示画面62上，而不是借助成组而生成的装置图像160，并且如箭头166指示的来操作新装置图像164。装置图像164是示意性地代表MFP(B)和PC(A)的图像、代表MFP(B)的功能和PC(A)的功能的图像等。装置图像164可以由终端设备16的控制器48或服务器14A的控制器36A生成。由于代表功能的图像显示为新装置图像，从可视角度可以容易地识别被指定为彼此协作的对象功能的功能。

在图27中例示的示例中，装置图像160用新装置图像164自动替换。在替换时，确认画面可以显示在终端设备16的UI单元46上。图28例示了确认画面的示例。在多个装置图像彼此叠加之后，确认画面168显示在终端设备16的UI单元46上。在确认画面168上，显示通过使多个装置图像和示意性装置图像164成组而生成的装置图像160。如果由用户提供替换图像的指示(例如，如果“是”按钮被用户按压)，则装置图像160由示意性装置图像164代替，并且如图27中例示，示意性装置图像164显示在装置显示画面62上。

第六修改例

下文中，将参照图29A至图31C描述第六修改例。图29A至图31C例示了终端设备16的UI单元46上显示的画面的示例。在第六修改例中，最后协作生成的装置图像用作：下次执行协作功能时的、用于快捷按钮的图像。下文中，将详细描述第六修改例。

在第六修改例中，与第五修改例相同，假定装置图像64和66彼此叠加，图像形成设备10(MFP(B))和终端设备12(PC(A))被识别为彼此协作的对象装置，并且新装置图像160通过使装置图像64和66成组而生成。

如果用户通过使用终端设备16提供将新装置图像160登记为用于快捷按钮的图像的指示，则如图29A例示，协作功能登记画面170显示在终端设备16的UI单元46上。在协作功能登记画面170上，显示新装置图像160，并且显示要借助MFP(B)与PC(A)之间的协作执行的协作功能的登记信息。例如，协作功能的名称、协作功能的概要和代表协作所需的装置的信息被显示为登记信息。用户可以通过使用终端设备16，而编辑登记信息(例如，协作功能的名称或概要)。

如果在协作功能登记画面170上，用户提供不登记用于协作功能的快捷功能的指示(例如，如果“否”按钮被用户按压)，则如图29B例示，确认画面172显示在终端设备16的UI单元46上。如果由用户在确认画面172上提供结束指示(例如，如果用于结束登记的“是”按钮由用户按压)，则协作功能登记处理结束。如果由用户提供部分编辑指示(例如，如果用于部分编辑的“是”按钮由用户按压)，则画面转入协作功能登记画面170。

另一方面，如果在协作功能登记画面170上，用户提供登记用于协作功能的快捷功能的指示(例如，如果“是”按钮被用户按压)，则如图30A例示，确认画面174显示在终端设备16的UI单元46上。如果由用户在确认画面174上提供创建快捷按钮的指示(例如，如果“是”按钮由用户按压)，则生成代表用于执行协作功能的快捷按钮的图像(快捷按钮图像)。快捷按钮图像可以由终端设备16或服务器14创建。例如，如图30B例示，快捷按钮图像178显示在终端设备16的UI单元46的画面176(例如，桌面画面)上。快捷按钮图像178包括装置图像160。例如，服务器14A的协作功能登记单元146关联对象协作功能的登记信息与快捷按钮图像178。当然，可以由终端设备16执行该关联。如果生成和登记多个快捷按钮图像，则快捷按钮图像列表显示在画面176上。协作功能的登记信息和快捷按钮图像存储在例如终端设备16中。另选地，协作功能的登记信息和快捷按钮图像可以与用户账户信息关联地存储在服务器14A中。在这种情况下，如果用户账户信息从终端设备16向服务器14A发送，则与用户账户信息关联的信息(协作功能的登记信息和快捷按钮图像)从服务器14A向终端设备16发送，并且显示在终端设备16上。

快捷按钮图像178包括状态图像180和182。各个状态图像是代表协作的对象装置的状态的图像，即，代表对象图像是否在能够执行协作功能的状态下的图像。例如，状态图像180是代表图像形成设备10(MFP(B))的状态的图像，并且状态图像182是代表终端设备12(PC(A))的状态的图像。如果协作的对象装置处于能够执行协作功能的状态，则状态图像以代表状态的特定颜色(例如，绿色或蓝色)显示。如果协作的对象装置处于不能执行协作功能的状态，则状态图像以代表状态的特定颜色(例如，白色或红色)显示。在图30B中例示的示例中，状态图像180以绿色显示并且状态图像182以白色显示。由此，图像形成设备10(MFP(B))处于能够执行协作功能的状态，而终端设备12(PC(A))处于不能执行协作功能的状态。当然，彼此协作的对象装置的状态可以由除了颜色之外的信息来代表。例如，可以显示具有对应于状态的形状的状态图像，或者可以显示代表状态的字符串。

能够执行协作功能的状态是：例如，装置未由另一个用户使用或装置未被破坏的状态。不能执行协作功能的状态是：例如，装置由另一个用户使用或装置被破坏的状态。例如，终端设备16从对象装置获得代表对象装置的状态的信息，并且基于该信息以特定颜色来显示状态图像。另选地，服务器14A可以从对象装置获得代表对象装置的状态的信息，并且终端设备16可以从服务器14A获得信息。

如上所述，协作功能和快捷按钮图像彼此关联地管理。因此，可以减少用于下次执行协作功能的操作。

图31A至图31C例示了用于协作功能的观看和编辑画面的示例。如果用户通过使用终端设备16提供观看与协作功能有关的登记信息的指示，则如图31A例示，观看和编辑画面184显示在终端设备16的UI单元46上。在观看和编辑画面184上，显示作为显示图像的快捷图像、协作功能的登记信息(例如，协作功能的名称、协作功能的概要、以及要链接的装置的名称)等。例如，如果用户在观看和编辑画面184上指定关于要编辑的协作功能的项目(例如，显示图像、协作功能的名称、协作功能的概要、或要链接的装置的名称)，则如图31B例示，确认画面186显示在终端设备16的UI单元46上。例如，如果由用户指定协作功能的名称，则显示用于确认是否编辑协作功能的名称的确认画面186。如果由用户在确认画面186上按压“是”按钮，则如图31C例示，编辑画面188显示在终端设备16的UI单元46上。在编辑画面188上，由用户编辑协作功能的名称，然后编辑之前的名称和编辑之后的名称显示在编辑画面188上。如果由用户提供反映编辑的指示(例如，如果“是”按钮由用户按压)，则反映该编辑。例如，编辑之后的名称与快捷图像一起显示在终端设置16的UI单元46的桌面画面上。除了协作功能的名称之外的项目可以以类似方式来编辑。

第七修改例

下文中，将参照图32A和图32B描述第七修改例。图32A和图32B例示了终端设备16的UI单元46上显示的画面的示例。在第七修改例中，在选择彼此叠加的对象装置图像之后，如果在装置图像不显示在装置显示画面62上的区域中取消选择，则取消协作功能。

例如，假定如图32A例示，装置图像64叠加在装置图像66上，从而生成和显示新装置图像160。在这种情况下，如果用户选择装置图像160，然后如由箭头190指示的，取消在没有装置图像显示在装置显示画面62上的区域中对装置图像160的选择，则取消要借助MFP(B)与PC(A)之间的协作执行的协作功能。即，由于将装置图像160拖拉到不显示装置图像的区域，并且在该区域中放下装置图像160，取消协作功能，并且状态转入装置彼此协作之前的状态。例如，代表拖放操作的信息从终端设备16向服务器14A发送，并且服务器14A的指定单元38取消协作功能。当然，终端设备16可以取消协作功能。

图32B例示了取消协作功能之后的装置显示画面62。在装置不彼此协作的状态下，装置图像64、66和138分开地显示，而不彼此叠加。

如上所述，根据第七修改例，由于取消了对彼此叠加的装置图像的选择，对应的协作功能被取消，而不执行另一个特殊操作。由此，与除了取消选择之外的特殊操作对取消协作功能是必须的情况相比，可以容易取消协作功能。

另选地，在取消协作的情况下，用户可以在装置显示画面62上指定与对象装置有关的装置图像，或者可以按压协作取消按钮。如果除了彼此协作的对象装置之外的装置显示在装置显示画面62上，则用户可以在装置显示画面62上指定与装置有关的装置图像，以从彼此协作的对象装置消除该装置。如果执行将十字标记等附到与取消的对象装置有关的装置图像的预设操作，则可以从彼此协作的对象装置消除该装置。

第八修改例

下文中，将参照图33A和图33B来描述第八修改例。图33A和图33B例示了终端设备16的UI单元46上显示的画面的示例。

而且，在第八修改例中，图像形成设备10(MFP(B))和终端设备12(PC(A))被指定为彼此协作的对象装置，并且如图33A例示，在终端设备16中，装置图像64和66显示在装置显示画面62上。如由箭头192指示的，装置图像64叠加在装置图像66上，因此生成和显示新装置图像160。图像形成设备10(MFP(B))和终端设备12(PC(A))被指定为彼此协作的对象装置。

在第八修改例中，终端设备16的控制器48使照相机42的视野改变，并且使改变后的视野显示在装置显示画面62上，同时使借助叠加最后生成的装置图像显示在装置显示画面62上。在这种情况下，彼此协作的装置(与彼此叠加的装置图像有关的装置)的识别信息存储在终端设备16或服务器14A中。

在图33A例示的示例中，显示通过将装置图像64叠加在装置图像66上而生成的新装置图像160，并且由此装置图像160保持显示在装置显示画面62上。例如，在使用在图33A中例示的状态下不在视野内的投影仪(C)的情况下，用户改变照相机42的取向，使得如图33B例示，在装置图像160显示在装置显示画面62上的状态下，投影仪(C)包括在照相机42的视野中，然后拍摄投影仪(C)的图像。因此，投影仪(C)的图像由照相机42拍摄，并且与投影仪(C)有关的装置图像138显示在装置显示画面62上。由于将装置图像160叠加在装置图像138上，投影仪(C)被指定为协作的对象装置。

根据第八修改例，即使不一次拍摄彼此协作的多个对象装置的图像，也可以分开拍摄多个装置的图像，并且多个装置可以彼此协作。

在上述示例中，借助叠加最后生成的装置图像显示在装置显示画面62上。另选地，由用户指定的装置图像、与首先拍摄其图像的装置有关的装置图像、或与预设的基本装置有关的装置图像可以保持显示在装置显示画面62上。而且，在这种情况下，多个装置的图像可以分开拍摄，并且多个装置可以彼此协作。

第九修改例

下文中，将描述第九修改例。在第九修改例中，应用根据第一示例性实施方式的处理。即，根据装置图像彼此叠加的顺序来确定显示与协作功能有关的信息的优先次序。例如，如图24的(B)例示，如果选择装置图像64并且装置图像64叠加在装置图像66上，则从装置图像64向装置图像66进行链接。因此，与装置图像64有关的图像形成设备10(MFP(B))和与装置图像66有关的终端设备12(PC(A))被指定为彼此协作的对象装置，并且还指定其链接顺序。装置图像彼此叠加的顺序对应于链接顺序。在图24的(B)中例示的示例中，从图像形成设备10(MFP(B))向终端设备12(PC(A))进行链接。

在第九修改例中，服务器14A存储根据第一示例性实施方式的协作功能信息34(图7中例示的协作功能管理表)。如上所述，当指定彼此协作的对象装置(例如，图像形成设备10和终端设备12)时，服务器14A的指定单元38在图7中例示的协作功能管理表(协作功能信息34)中指定与PC(A)和MFP(B)的组合关联的协作功能。因此，指定要借助PC(A)与MFP(B)之间的协作实施的协作功能。而且，当用户指定装置的链接顺序时，指定单元38在协作功能管理表中指定与链接顺序关联的优先次序。

以上述方式指定的、与协作功能有关的信息和与优先次序有关的信息从服务器14A向终端设备16发送。终端设备16的控制器48根据优先次序而使UI单元46显示与协作功能有关的信息，作为与候选协作功能有关的信息。

如上所述，根据第九修改例，使用装置的功能的协作功能通过彼此叠加装置图像而指定。而且，与协作功能有关的信息的显示顺序通过改变装置图像彼此叠加的顺序(即，装置彼此链接的顺序)而改变。由此，优选地显示与用户期望使用的协作功能有关的信息，而没有除了彼此叠加装置图像的操作之外的特殊操作。

第十修改例

下文中，将参照图34A和图34B描述第十修改例。图34A和图34B例示了终端设备16的UI单元46上显示的画面的示例。

在第十修改例中，与第一示例性实施方式的第一修改例相同，分配给协作功能的装置的功能根据与装置有关的装置图像中的位置变化。凭借装置图像中的特定部分图像叠加在另一个装置图像中的特定部分图像上，指定使用与特定部分图像有关的功能的协作功能。下文中，将详细描述第十修改例。

而且，在第十修改例中，假定识别图像形成设备10(MFP(B))和终端设备12(PC(A))。如图34A例示，装置显示画面62显示在终端设备16的UI单元46上，并且装置图像64和66显示在装置显示画面62上。与第一示例性实施方式的第一修改例相同，打印功能与装置图像64中的部分图像76关联，扫描功能与装置图像64中的部分图像78关联，并且装订功能与装置图像64中的部分图像80关联。而且，数据储存功能与装置图像66中的部分图像82关联，并且画面显示功能与装置图像66中的部分图像84关联。在第十修改例中，各个部分图像显示为能够与另一个部分图像分开移动的图像。

与第一示例性实施方式的第一修改例相同，各个功能的名称(例如，打印、扫描等)可以显示在装置显示画面62上，并且接触区域图像90至98可以显示在装置显示画面62上。在这种情况下，可以改变对应于由用户指定的部分图像的接触区域图像的颜色或对应于所叠加的部分图像的接触区域图像的颜色。当然，不必显示功能的名称和接触区域图像。

在第十修改例中，如果由用户指定部分图像，并且如果该部分图像叠加在另一个部分图像上，则指定使用与所叠加的部分图像有关的功能的协作功能，并且与协作功能有关的信息显示在终端设备16的UI单元46上。该指定处理可以由服务器14A的指定单元38或终端设备16执行。

例如，如由图34B中的箭头194指示，如果用户通过使用操作器来拖拉部分图像78，并且在部分图像84上将其放下，则与包括部分图像78的装置图像64有关的MFP(B)和与包括部分图像84的装置图像66有关的PC(A)被指定为彼此协作的对象装置，并且而且，对应于部分图像78的扫描功能和对应于部分图像84的画面显示功能被指定为彼此协作的对象功能。

在服务器14A中，管理对应于各个部分图像的功能。例如，用于识别部分图像的识别信息、代表与部分图像关联的功能的功能识别信息、以及代表借助功能之间的协作执行的协作功能的协作功能识别信息，彼此关联地存储在服务器14A中。如果部分图像在装置显示画面62上被选择并且叠加在另一个部分图像上，则代表彼此叠加的部分图像的识别信息从终端设备16向服务器14A发送。在图34B中例示的示例中，代表部分图像78和84的识别信息从终端设备16向服务器14A发送。服务器14A的指定单元38基于识别信息，来指定对应于部分图像78和84的功能，并且指定使用功能的协作功能。与协作功能有关的信息从服务器14A向终端设备16发送并且显示在终端设备16上。

如上所述，根据第十修改例，在彼此协作的各个对象装置具有多个功能的情况下，在各个对象装置中选择功能，并且优选地显示与使用所指定功能的协作功能有关的信息。因此，优选地显示用户期望使用的协作功能。

而且，在第十修改例中，与第一示例性实施方式相同，可以根据部分图像彼此叠加的顺序来改变显示协作功能的优先次序。在这种情况下，优选地显示关于使用与叠加的部分图像有关的功能的协作功能的信息。

第十一修改例

下文中，将描述第十一修改例。在第十一修改例中，与第十修改例相同，分配给协作功能的装置的功能根据与装置有关的装置图像中的位置而变化。然而，与第十修改例不同，部分图像不从另一个部分图像分开地移动。在第十一修改例中，与图24的(B)中例示的示例相同，由用户使整个装置图像移动，并且叠加在另一个装置图像上。此时，根据叠加位置来改变协作功能。这将参照图34A通过使用特定示例来描述。例如，假定与MFP(B)有关的整个装置图像64由用户操作，并且叠加在与PC(A)有关的装置图像66上。在这种情况下，如果与装置图像64中的部分图像78(与扫描功能有关的部分图像)叠加在装置图像66中的部分图像84(与画面显示功能有关的部分图像)上，则优选地显示关于使用扫描功能和画面显示功能的协作功能的信息。

而且，在上述第二示例性实施方式和第五至第十一修改例中，与第一示例性实施方式相同，彼此协作的对象装置根据图21中例示的续发事件而彼此连接。

而且，在上述第二示例性实施方式和第五至第十一修改例中，可以三维地显示与已识别装置有关的装置图像和彼此叠加的装置图像，以便与背景图像区分开。即，这些图像可以显示为三维图像。例如，二维地显示背景图像，并且三维地显示装置图像。因此，装置图像的可见性可以提高。而且，由用户指定的装置图像的颜色可以改变，或可以使所指定的装置图像闪烁，使得已指定的装置图像与其他装置图像区分开。

在上述第一和第二示例性实施方式和第一至第十一修改例中，协作功能通过识别诸如装置的硬件单元来实施。另选地，通过识别软件单元，可以使软件单元(应用程序)的功能彼此协作。例如，协作功能可以通过链接或叠加诸如图标这样的图像(对应于与功能有关的图像的示例)(该图像关于在智能电话的主画面或个人计算机的桌面画面上显示的功能)，并且可以显示与协作功能有关的信息。在这种情况下，可以根据链接或叠加图像的顺序来改变显示协作功能的优先次序。

根据上述第一和第二示例性实施方式和第一至第十一修改例，使用彼此协作的对象装置的功能的协作功能通过应用AR技术来指定，并且显示与协作功能有关的信息。因此，即使用户从装置的外观不知道哪个协作功能可以由彼此协作的对象装置执行，用户也提供有与协作功能有关的信息。而且，通过使多个装置彼此协作，不可由单个装置执行的功能变得可用，这可以是方便的。而且，仅通过应用AR技术识别彼此协作的对象装置，协作功能变得可用。由此，与用户手动执行用于执行协作功能的设置的情况相比，协作功能借助简单操作变得可用，并且可以减少用户的努力。

在多个装置由多个用户使用的环境中，与协作功能有关的信息显示在各个用户的终端设备16上。例如，即使诸如触控面板这样的用户接口从装置去除，终端设备16也用作用户接口，并且与协作功能有关的信息显示在各个用户的终端设备16上。在另一种情况下，例如，如果用户在出差地点临时使用多个装置，则显示适合于用户的用户接口，即，显示与使用对象装置(对象装置由用户指定且彼此协作)的功能的协作功能有关的信息的用户接口。

在执行上述第一和第二示例性实施方式和第一至第十一修改例中的协作功能的操作中，如果通过提前拍摄装置的图像，或通过接收借助另一个用户进行的识别而获得的装置识别信息和装置的图像来识别装置，则装置识别信息和装置的信息可以存储在服务器14或终端设备16的存储器中，装置识别信息和装置的图像可以通过启动通过执行协作功能的编辑画面，而从存储器读取，装置的图像可以彼此链接或彼此叠加，从而可以执行协作功能。现在，将参照图35描述具体示例。图35例示了显示在终端设备16上的编辑画面196。在编辑画面196上，例如，显示与PC(A)有关的装置图像66、与MFP(B)有关的装置图像64、与投影仪(C)有关的装置图像138、和与照相机(D)有关的装置图像198。如上所述，这些图像是之前已经获得的图像，并且存储在服务器14或终端设备16的存储器中。当要执行协作功能时，这些图像从存储器读取，并且显示在编辑画面196上。如上所述，协作功能通过链接或叠加图像在编辑画面196上而执行。凭借执行这种处理，每当要执行协作功能时，不必拍摄之前已经识别的装置的图像，并且可以有效地执行协作功能。而且，显示仅由照相机拍摄的装置的图像，由此可以提高要操作的装置的可见性。

图像形成设备10、终端设备12和16、以及服务器14和14A中的每一个例如借助硬件资源与软件资源之间的协作来实施。具体地，图像形成设备10、终端设备12和16、以及服务器14和14A中的每一个包括一个或多个处理器，诸如未例示的中央处理单元(CPU)。一个或多个处理器读取和执行储存设备(未例示)中存储的程序，从而实施图像形成设备10、终端设备12和16、以及服务器14和14A的各个单元的功能。程序借助记录介质(诸如光盘(CD)或数字多功能盘(DVD))或借助通信路径(诸如网络)而存储在储存设备中。另选地，图像形成设备10、终端设备12和16、以及服务器14和14A中的各个单元可以由诸如处理器或电路这样的硬件资源来实施。诸如存储器这样的设备可以用于实施。另选地，图像形成设备10、终端设备12和16、以及服务器14和14A中的各个单元可以由数字信号处理器(DSP)或场可编程门阵列(FPGA)来实施。

对本发明的示例性实施方式的上述说明是为了例示和说明的目的而提供的。并非旨在对本发明进行穷尽，或者将本发明限于所公开的精确形式。显而易见的是，很多修改例和变型例对于本领域技术人员是明显的。选择了这些实施方式进行说明以最好地解释本发明的原理及其实际应用，以使本领域其它技术人员能够理解本发明的各种实施方式，以及适合于所设想的具体用途的各种变型。本发明的范围旨在由所附权利要求及其等同物来限定。

Claims (25)

1.一种信息处理设备，该信息处理设备包括：

控制器，如果与已经被识别的装置有关的图像彼此叠加，则该控制器使得显示与使用所述装置的功能的一个或多个协作功能有关的信息，

其中，分配给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的叠加位置而变化。

2.根据权利要求1所述的信息处理设备，所述信息处理设备还包括：

接收器，该接收器接收所拍摄的所述装置的图像。

3.根据权利要求1所述的信息处理设备，所述信息处理设备还包括：

图像拍摄单元，该图像拍摄单元拍摄所述装置的图像。

4.根据权利要求3所述的信息处理设备，其中，与所述装置有关的图像是由所述图像拍摄单元拍摄的图像。

5.根据权利要求3或4所述的信息处理设备，所述信息处理设备还包括：

识别单元，该识别单元基于由所述图像拍摄单元拍摄的所述图像来识别所述装置。

6.根据权利要求2或4所述的信息处理设备，所述信息处理设备还包括：

存储器，该存储器存储所拍摄的图像。

7.根据权利要求6所述的信息处理设备，其中，所述控制器读取在所述存储器中存储的图像，并且使得显示编辑画面，所述编辑画面用于彼此叠加所述图像。

8.一种信息处理设备，该信息处理设备包括：

控制器，如果与已经被识别的功能有关的图像彼此叠加，则该控制器使得显示与使用所述功能的一个或多个协作功能有关的信息，

其中，分配给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的叠加位置而变化。

9.根据权利要求1至4和8中任意一项所述的信息处理设备，其中，所述控制器使得以可识别状态来显示所述图像。

10.根据权利要求9所述的信息处理设备，其中，所述控制器使得三维地显示所述图像。

11.根据权利要求1至4和8中任意一项所述的信息处理设备，其中，如果所述图像彼此叠加，则所述控制器使得显示新图像。

12.根据权利要求11所述的信息处理设备，其中，所述新图像与彼此叠加的所述图像有关。

13.根据权利要求11所述的信息处理设备，其中，所述新图像是彼此叠加的所述图像的组合。

14.根据权利要求11所述的信息处理设备，其中，所述控制器在使得显示借助最后叠加而生成的所述新图像的同时，使得改变图像拍摄单元的视野，并且使得显示所改变的视野。

15.根据权利要求11所述的信息处理设备，其中，在执行所述一个或多个协作功能中的一个协作功能的情况下，所述控制器使得显示所述新图像，作为用于提供执行所述协作功能的指示的显示图像。

16.根据权利要求11所述的信息处理设备，其中，所述新图像用作：要在与要链接的下一个对象装置有关的图像上叠加的图像。

17.根据权利要求11所述的信息处理设备，其中，所述控制器使得显示提示登记与所述新图像对应的协作功能的画面，并且使得在所述画面上显示与对应于所述新图像的所述协作功能有关的信息。

18.根据权利要求15所述的信息处理设备，其中，所述控制器使得在用于提供执行所述协作功能的指示的所述显示图像附近，显示指示所述协作功能是否可用的信息。

19.根据权利要求17所述的信息处理设备，其中，与所述协作功能有关的信息是根据由用户提供的指示而可校正的信息。

20.根据权利要求1至4和8中任意一项所述的信息处理设备，其中，在选择了要彼此叠加的所述图像之后，如果在所述图像不显示在由所述控制器显示的画面上的区域中取消对所述图像的选择，则取消所述一个或多个协作功能中的对应一个协作功能。

21.根据权利要求1至4和8中任意一项所述的信息处理设备，其中，所述控制器根据所述图像彼此叠加的顺序，来改变显示所述一个或多个协作功能的优先次序。

22.根据权利要求1至4和8中任意一项所述的信息处理设备，其中，根据由用户提供的语音指示来指定要彼此叠加的图像。

23.根据权利要求1至4和8中任意一项所述的信息处理设备，其中，如果所述图像的部分彼此叠加，则所述控制器使得显示如下信息，该信息与使用了对应于所述图像的所述部分的功能的所述一个或多个协作功能有关。

24.一种信息处理方法，该信息处理方法包括如下步骤：

如果与已经被识别的装置有关的图像彼此叠加，则使得显示与使用所述装置的功能的一个或多个协作功能有关的信息，

其中，分配给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的叠加位置而变化。

25.一种信息处理方法，该信息处理方法包括如下步骤：

如果与已经被识别的功能有关的图像彼此叠加，则使得显示与使用所述功能的一个或多个协作功能有关的信息，

其中，分配给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的叠加位置而变化。

Images