CN107346218B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN107346218B
CN107346218B CN201611128167.1A CN201611128167A CN107346218B CN 107346218 B CN107346218 B CN 107346218B CN 201611128167 A CN201611128167 A CN 201611128167A CN 107346218 B CN107346218 B CN 107346218B
Authority
CN
China
Prior art keywords
image
function
displayed
functions
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611128167.1A
Other languages
English (en)
Other versions
CN107346218A (zh
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016093292A external-priority patent/JP6090511B1/ja
Priority claimed from JP2016093291A external-priority patent/JP6024848B1/ja
Priority claimed from JP2016128344A external-priority patent/JP6052458B1/ja
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to CN202111674673.1A priority Critical patent/CN114327309A/zh
Publication of CN107346218A publication Critical patent/CN107346218A/zh
Application granted granted Critical
Publication of CN107346218B publication Critical patent/CN107346218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1236—Connection management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1258—Configuration of print job parameters, e.g. using UI at the client by updating job settings at the printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32502—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices
    • H04N1/32507—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of input devices
    • H04N1/32512—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of input devices of different type, e.g. internal and external devices
    • H04N1/32518—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of input devices of different type, e.g. internal and external devices details of interfacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32502—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices
    • H04N1/32523—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of output devices
    • H04N1/32529—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of output devices of different type, e.g. internal and external devices
    • H04N1/32534—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of output devices of different type, e.g. internal and external devices details of interfacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32502—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices
    • H04N1/32523—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of output devices
    • H04N1/32539—Detecting or indicating the status of the output devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32502—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices
    • H04N1/32545—Distributing a job or task among a plurality of input devices or a plurality of output devices
    • H04N1/3255—Hybrid jobs, i.e. performing different parts of the same job on different devices, e.g. colour and B/W pages on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Abstract

信息处理装置和信息处理方法。一种信息处理装置包括控制器。控制器根据与已经识别的设备有关的图像彼此链接的顺序，改变对使用这些设备的功能的一个或多个协作功能进行显示的优先级顺序。

Description

信息处理装置和信息处理方法
技术领域
本发明涉及信息处理装置和信息处理方法。
背景技术
可以使用装置主体与用户接口彼此分离的系统。例如，日本专利No.5737906公开了一种在可从装置主体上拆卸并能够执行无线通信的操作面板上显示操作指导图像的技术。
日本未审专利申请公开No.2014-10769公开了一种中继装置，其对客户装置与提供业务的业务提供装置之间的数据进行中继。
日本未审专利申请公开No.2014-48672公开了一种生成增强现实图像的移动终端，在该增强现实图像中，包含与图像形成装置有关的状态信息的附加信息叠加到图像捕捉单元捕捉的图像上。
日本未审专利申请公开No.2014-238786公开了一种技术，在用于与多个云服务器通信的通信系统中在用户操作登录的设备的显示器上显示用户对每个云服务器的使用状态。
对于使用例如图像形成装置的环境，通常假设一个设备被多个用户使用。另一方面，假设将来多个设备由多个用户使用的环境。此外，例如触摸屏之类的用户接口可以从设备上移除，并且用户可以在运动中临时使用设备。在这种情况下，可以通过设备的功能之间的协作来执行协作功能。然而，在该情况下，候选协作功能的数量可能很大，并且用户希望使用的协作功能不一定被优先显示。
发明内容
因而，本发明的一个目的是优先显示预期由用户使用的协作功能。
根据本发明的第一方面，提供了一种包括控制器的信息处理装置。该控制器根据与已经识别的设备有关的图像彼此链接的顺序，改变对使用这些设备的功能的一个或多个协作功能进行显示的优先级顺序。
根据本发明的第二方面，该信息处理装置进一步包括接收器，用于接收所捕捉的设备的图像。
根据本发明的第三方面，该信息处理装置进一步包括图像捕捉单元，用于捕捉设备的图像。
根据本发明的第四方面，与所述设备有关的图像是所述图像捕捉单元捕捉的图像。
根据本发明的第五方面，该信息处理装置进一步包括存储器，用于存储所捕捉的图像。
根据本发明的第六方面，所述控制器读取存储在所述存储器中的所述图像并使得显示编辑画面，所述编辑画面用于将所述图像彼此链接。
根据本发明的第七方面，如果针对预设时段指定了所述图像中的一个，则所述控制器使得显示与所指定的图像有关的设备的功能列表。
根据本发明的第八方面，如果用户以预设的接触力触摸了所述图像中的一个，则所述控制器使得显示与所触摸的图像有关的设备的功能列表。
根据本发明的第九方面，如果指定了所述图像中的一个并且如果提供了对功能进行显示的指令，则所述控制器使得显示与所指定的图像有关的设备的功能列表。
根据本发明的第十方面，从所述功能列表中选择用于执行所述一个或多个协作功能中的一个协作功能的功能。
根据本发明的第十一方面，提供了一种信息处理装置，所述信息处理装置包括控制器。所述控制器根据与已经识别的功能有关的图像彼此链接的顺序，改变对使用所述功能的一个或多个协作功能进行显示的优先级顺序。
根据本发明的第十二方面，所述控制器使得所述图像以可识别的状态进行显示。
根据本发明的第十三方面，所述控制器使得所述图像三维地进行显示。
根据本发明的第十四方面，所述图像彼此链接的顺序是要使用的功能执行所述一个或多个协作功能中的一个协作功能的顺序。
根据本发明的第十五方面，所述图像彼此链接的顺序是在执行所述一个或多个协作功能中的一个协作功能的情况下将数据从一个设备移动到另一个设备的顺序。
根据本发明的第十六方面，所述控制器使得改变图像捕捉单元的视野，并使得显示改变后的视野同时使得显示所述图像中最后链接的图像。
根据本发明的第十七方面，指派给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的位置而改变。
根据本发明的第十八方面，所述控制器使得在所述图像中与指派给所述协作功能的功能相对应的位置处叠置并显示接触区域图像。
根据本发明的第十九方面，所述控制器使得所述接触区域图像以可识别的状态进行显示。
根据本发明的第二十方面，所述控制器使得所述接触区域图像三维地进行显示。
根据本发明的第二十一方面，如果指定了所述接触区域图像中的一个，则所述控制器改变所指定的接触区域图像的显示形式。
根据本发明的第二十二方面，所述显示形式是所述接触区域图像的颜色和形状中的至少一种。
根据本发明的第二十三方面，如果就链接顺序而言指定了紧接在与要取消的目标功能相对应的图像之前的图像，则取消所述一个或多个协作功能中的、与所述目标功能所对应的图像有关的一个协作功能。
根据本发明的第二十四方面，所述控制器使得显示由用户执行的用于将所述图像彼此链接的操作的轨迹。
根据本发明的第二十五方面，所述图像根据用户提供的语音指令而彼此链接。
根据本发明的第二十六方面，提供了一种信息处理方法，所述信息处理方法包括：根据与已经识别的设备有关的图像彼此链接的顺序，改变对使用所述设备的功能的一个或多个协作功能进行显示的优先级顺序。
根据本发明的第二十七方面，提供了一种信息处理方法，所述信息处理方法包括：根据与已经识别的功能有关的图像彼此链接的顺序，改变对使用所述功能的一个或多个协作功能进行显示的优先级顺序。。
根据本发明的第一、七、二十六或二十七方面，能够优先显示预期由用户使用的协作功能。
根据本发明的第二方面，能够通过使用接收的图像显示协作功能。
根据本发明的第三方面，能够显示使用图像被捕捉的设备的功能的协作功能。
根据本发明的第四方面，从可视的角度能够容易地识别图像被捕捉的设备与相同类型的另一个设备之间的区别。
根据本发明的第五或第六方面，能够通过使用存储在存储器中的图像显示协作功能。
根据本发明的第七至第十方面中的一个，提供了表示设备的功能的信息。
根据本发明的第十二方面，以提高的可视性显示了设备。
根据本发明的第十三方面，与二维显示关于设备的图像相比，提高了与设备有关的图像的可视性。
根据本发明的第十四方面，在不执行除了将图像彼此链接的操作以外的特殊操作的情况下，能够指定要使用的功能的顺序。
根据本发明的第十五方面，在不执行除了将图像彼此链接的操作以外的特殊操作的情况下，能够指定数据移动的顺序。
根据本发明的第十六方面，能够捕捉不位于包括与最后链接的图像有关的设备的视野内的设备的图像。
根据本发明的第十七方面，能够单独指定多个功能中要用于协作功能的功能。
根据本发明的第十八方面，能够以可识别的状态显示与各个位置相对应的功能。
根据本发明的第十九方面，以提高的可视性显示了接触区域图像。
根据本发明的第二十方面，与二维显示接触区域图像相比，提高了接触区域图像的可视性。
根据本发明的第二十一或第二十二方面，与不改变接触区域图像的显示形式相比，能够容易地确定是否已经指定了接触区域图像。
根据本发明的第二十三方面，能够在不执行除了指定最后链接的图像操作以外的特殊操作的情况下取消特定的协作功能。
根据本发明的第二十四方面，提供了表示彼此链接的图像的信息。
根据本发明的第二十五方面，能够在不执行手动输入操作的情况下将图像彼此链接。
附图说明
将基于以下附图详细描述本发明的实施方式，在附图中：
图1是例示根据本发明的第一示例性实施方式的图像形成系统的框图；
图2是例示根据第一示例性实施方式的图像形成装置的框图；
图3是例示根据第一示例性实施方式的服务器的框图；
图4是例示根据第一示例性实施方式的终端装置的框图；
图5是例示图像形成装置的外观的示意图；
图6是例示设备功能管理表的一个例子的图；
图7是例示协作功能管理表的一个例子的图；
图8是例示在终端装置上显示的功能显示画面的一个例子的图；
图9是例示彼此协作的目标设备的图；
图10A和10B是例示根据第一示例性实施方式的在终端装置上显示的画面的一个例子的图；
图11A和11B是例示根据第一示例性实施方式的在终端装置上显示的画面的一个例子的图；
图12是例示根据第一修改例的设备功能管理表的一个例子的图；
图13A和13B是例示根据第一修改例的在终端装置上显示的画面的一个例子的图；
图14A和14B是例示根据第一修改例的在终端装置上显示的画面的一个例子的图；
图15A和15B是例示根据第一修改例的在终端装置上显示的画面的一个例子的图；
图16A至16C是例示根据第二修改例的在终端装置上显示的画面的一个例子的图；
图17A至17C是例示根据第二修改例的在终端装置上显示的画面的一个例子的图；
图18是例示根据第二修改例的在终端装置上显示的画面的一个例子的图；
图19A和19B是例示根据第三修改例的在终端装置上显示的画面的一个例子的图；
图20A和20B是例示根据第四修改例的在终端装置上显示的画面的一个例子的图；
图21是例示根据第一示例性实施方式的在图像形成系统中执行的连接过程的顺序图；
图22是例示根据第二示例性实施方式的服务器的框图；
图23是例示协作功能管理表的一个例子的图；
图24A至24C是例示根据第二示例性实施方式的在终端装置上显示的画面的一个例子的图；
图25A和25B是例示根据第二示例性实施方式的在终端装置上显示的画面的一个例子的图；
图26A至26C是例示根据第五修改例的在终端装置上显示的画面的一个例子的图；
图27是例示根据第五修改例的在终端装置上显示的画面的一个例子的图；
图28是例示根据第五修改例的在终端装置上显示的画面的一个例子的图；
图29A和29B是例示根据第六修改例的在终端装置上显示的画面的一个例子的图；
图30A和30B是例示根据第六修改例的在终端装置上显示的画面的一个例子的图；
图31A至31C是例示根据第六修改例的在终端装置上显示的画面的一个例子的图；
图32A和32B是例示根据第七修改例的在终端装置上显示的画面的一个例子的图；
图33A和33B是例示根据第八修改例的在终端装置上显示的画面的一个例子的图；
图34A和34B是例示根据第十修改例的在终端装置上显示的画面的一个例子的图；以及
图35是例示在终端装置上显示的画面的一个例子的图。
具体实施方式
第一示例性实施方式
将参照图1描述根据本发明的第一示例性实施方式的充当信息处理系统的图像形成系统。图1例示了根据第一示例性实施方式的图像形成系统的一个例子。
根据第一示例性实施方式的图像形成系统包括：作为设备一个例子的图像形成装置10；作为设备一个例子的终端装置12；服务器14；以及作为信息处理装置的一个例子的终端装置16。图像形成装置10、终端装置12和16以及服务器14通过例如网络的通信路径N彼此连接。当然，图像形成装置10、终端装置12和16以及服务器14可以通过不同的通信路径连接至其他装置。在图1所示的例子中，两个设备(图像形成装置10和终端装置12)包含在图像形成系统中。图像形成系统可以包括一个或更多个设备。此外，图像形成系统可以包括多个服务器14和多个终端装置16。
图像形成装置10是具有图像形成功能的装置。具体来说，图像形成装置10是具有扫描功能、打印功能、复印功能和传真功能中至少一个的装置。图像形成装置10还具有将数据发送到另一个装置并从该另一个装置接收数据的功能。
终端装置12和16中的每一个是例如个人计算机(PC)、平板PC、智能电话或移动电话之类的终端，并且具有将数据发送到另一个装置并从该另一个装置接收数据的功能。当使用例如图像形成装置10的设备时，终端装置16例如充当用户接口单元(UI单元)。
服务器14是对各个设备的功能进行管理的装置。例如，服务器14管理通过多个功能之间的协作而执行的协作功能。服务器14还具有将数据发送到另一个装置并从该另一个装置接收数据的功能。
在图1所示的例子中，图像形成装置10和终端12作为设备的例子而包含在图像形成系统中，但这仅作为一个例子。其他装置，例如，诸如投影仪之类显示设备、电话、手表和监视照相机可以作为设备包含在图像形成系统中。当然，图像形成装置10和终端装置12不一定包含在图像形成系统中。
服务器14可以针对每个用户管理对该用户可用的功能。例如，用户购买的功能是对该用户可用的功能，并且服务器14可以管理每个用户的功能购买历史。当然，服务器14不仅可以管理是否购买的功能，而且可以管理免费使用的功能、附加更新功能和管理者管理的特殊功能。功能购买过程例如由服务器14执行。当然，功能购买过程可以由另一个装置执行。
在根据第一示例性实施方式的图像形成系统中，指定了通过多个功能之间的协作而执行的多个协作功能，并且根据优先级顺序显示与该多个协作功能有关的信息。
下面，将具体描述根据第一示例性实施方式的包含在图像形成系统中的各个装置。
首先，将参照图2详细描述图像形成装置10的构成。图2例示了图像形成装置10的构成。
通信单元18是通信接口，并且具有将数据发送到另一个装置的功能和从另一个装置接收数据的功能。通信单元18可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。
图像形成单元20执行与图像形成有关的功能。具体来说，图像形成装置20执行扫描功能、打印功能、复印功能和传真功能中的至少一个。当执行扫描功能时，读取文档并生成扫描数据(图像数据)。当执行打印功能时，在例如纸张的记录介质上打印图像。当执行复印功能时，读取文档并将其打印在记录介质上。当执行传真功能时，通过传真发送或接收图像数据。此外，可以执行包含多个功能的协作功能。例如，可以执行作为扫描功能和发送(传送)功能的组合的扫描并传送功能。当执行扫描并传送功能时，读取文档，生成扫描数据(图像数据)，并将扫描数据发送到目的地(例如，诸如终端装置16之类的外部装置)。当然，该协作功能仅仅是作为一个例子，并且可以执行另一种协作功能。
存储器22是例如硬盘或固态驱动器(SSD)的存储装置。存储器22存储例如表示图像形成指令的信息(例如作业信息)、要打印的图像数据、通过执行扫描功能而生成的扫描数据、表示另一个设备的地址的设备地址信息、表示服务器14的地址的服务器地址信息、各种控制信息以及各种程序。当然，这些信息和数据可以存储在不同的存储装置中或者存储在一个存储装置中。
UI单元24是用户接口单元并且包括显示器和操作单元。显示器是例如液晶显示器之类的显示装置。操作单元是例如触摸屏或键盘的输入装置。图像形成装置10不一定包括UI单元24，并且可以包括作为硬件来代替显示器的硬件用户接口单元(硬件UI单元)。硬件UI单元例如是专用于输入数字的硬件键盘(例如，数字键盘)或专用于指示方向的硬件键盘(例如，方向指示键盘)。
控制器26对图像形成装置10的各个单元的操作进行控制。
接下来，将参照图3详细描述服务器14的构成。图3例示了服务器14的构成。
通信单元28是通信接口，并且具有将数据发送到另一个装置的功能和从另一个装置接收数据的功能。通信单元28可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。
存储器30是例如硬盘或SSD的存储装置。存储器30例如存储设备功能信息32、协作功能信息34、各种数据、各种程序、表示各个设备的地址的设备地址信息以及表示服务器14的地址的服务器地址信息。当然，这些信息和数据可以存储在不同的存储装置中或者存储在一个存储装置中。存储在存储器30中的设备功能信息32和协作功能信息34可以周期性地或者以预定的定时提供给终端装置16，因而可以对存储在终端装置16中的信息进行更新。下面，将描述设备功能信息32和协作功能信息34。
设备功能信息32是表示包含在图像形成系统中的各个设备(例如，图像形成装置10和终端装置12)的功能的信息。例如，设备功能信息32是如下信息，其表示用于识别设备的设备识别信息与用于识别设备的一个或更多个功能的一条或更多条功能识别信息之间的对应性。设备识别信息例如包括设备ID、设备的名称、表示设备类型的信息、型号和位置信息。功能识别信息例如包括功能ID和功能的名称。例如，如果特定图像形成装置10具有扫描功能、打印功能、复印功能和扫描并传送功能，则图像形成装置10的设备识别信息与表示扫描功能的功能识别信息、表示打印功能的功能识别信息、表示复印功能的功能识别信息、和表示扫描并传送功能的功能识别信息相关联。通过参照设备功能信息32来指定(识别)各个设备的功能。
协作功能信息34是表示协作功能的信息，每个协作功能通过多个功能之间的协作执行。通过多个功能之间的协作执行一个或更多个协作功能。每个协作功能可以通过一个设备(例如，图像形成装置10或终端装置12)的多个功能之间的协作来执行，或者可以通过多个设备(例如，图像形成装置10和终端装置12)的多个功能之间的协作来执行。提供操作指令的终端装置(在本示例性实施方式中，为终端装置16)可以包含在待识别的设备中，并且该终端装置的功能可以用作协作功能的一部分。
协作功能信息34例如是表示如下信息之间的对应性的信息：表示用于识别彼此协作以执行一个或更多个协作功能的各个功能的多条功能识别信息的组合的信息、用于识别该一个或多个协作功能的协作功能识别信息、表示用于该一个或多个协作功能的各个功能的链接顺序的信息以及表示该一个或多个协作功能的显示优先级顺序的信息。协作功能识别信息例如包括协作功能ID和协作功能的名称。显示的优先级顺序是在终端装置16上显示与该一个或多个协作功能有关的信息(例如，协作功能识别信息)的顺序。
在使得多个设备彼此协作的情况下，协作功能信息34是表示要通过多个设备的多个功能之间的协作而执行的一个或多个协作功能的信息，并且是表示如下信息之间的对应性的信息：表示用于识别彼此协作以执行一个或更多个协作功能的各个设备的多条设备识别信息的组合的信息、协作功能识别信息、表示用于该一个或多个协作功能的各个设备的链接顺序的信息以及表示该一个或多个协作功能的显示优先级顺序的信息。
协作功能可以是通过多个不同功能之间的协作执行的功能，或者可以是通过相同功能的协作执行的功能。协作功能可以是在不协作的情况下就不可用的功能。在不协作的情况下就不可用的功能可以是通过将彼此协作的目标设备的功能之中的相同功能或不同功能组合起来而变得可用的功能。例如，具有打印功能的设备(打印机)和具有扫描功能的设备(扫描仪)之间的协作实现了作为协作功能的复印功能。亦即，打印功能与扫描功能之间的协作实现了复印功能。在该情况下，复印功能与打印功能和扫描功能的组合相关联。在协作功能信息34中，例如，用于识别作为协作功能的复印功能的协作功能识别信息与用于识别具有打印功能的设备的设备识别信息和用于识别具有扫描功能的设备的设备识别信息的组合相关联。
存储器30可以存储功能购买历史信息。功能购买历史信息是表示各个用户的功能购买历史的信息，亦即，表示各个用户购买的功能的信息。例如，功能购买历史信息是表示用于识别用户的用户识别信息与表示用户购买的功能的功能识别信息之间的对应性的信息。用户识别信息例如是诸如用户ID和用户名的用户账户信息。用户购买的功能是对用户可用的功能。通过参考功能购买历史信息而指定各个用户购买的功能，即，对各个用户可用的功能。例如每当用户购买功能时更新功能购买历史信息。
控制器36对服务器14的各个单元的操作进行控制。控制器36包括指定单元38。
指定单元38接收用于识别设备的设备识别信息，并指定存储在存储器30中的设备功能信息32中的与设备识别信息相关联的一个或多个功能的一条或多条功能识别信息。因而，指定了该设备的该一个或多个功能。例如，设备识别信息从终端装置16发送到服务器14，然后指定单元38指定与该设备识别信息相关联的一个或多个功能的一条或多条功能识别信息。例如，与该一个或多个功能有关的信息(例如，功能识别信息和功能解释信息)从服务器14发送到终端装置16，并显示在终端装置16上。因而，与该设备识别信息指定的设备的该一个或多个功能有关的信息显示在终端装置16上。
此外，指定单元38接收用于识别彼此协作的目标设备的多条设备识别信息，并指定存储在存储器30中的协作功能信息34中的与该多条设备识别信息的组合相关联的一个或多个协作功能的一条或多条协作功能识别信息。因而，指定了通过彼此协作的目标设备的功能之间的协作而执行的该一个或多个协作功能。例如，多条设备识别信息从终端装置16发送到服务器14，然后指定单元38指定与该多条设备识别信息相关联的一个或多个协作功能的一条或多条协作功能识别信息。例如，与该一个或多个协作功能有关的信息(例如，协作功能识别信息和协作功能解释信息)从服务器14发送到终端装置16，并显示在终端装置16上。因而，与要由该多条设备识别信息所识别的多个设备执行的该一个或多个协作功能有关的信息显示在终端装置16上。
此外，指定单元38参考该协作功能信息34，并基于用于协作功能的各个功能的链接顺序而确定与该协作功能有关的信息的显示的优先级顺序。例如，可以通过使得多个功能彼此协作而实现多个协作功能。在该情况下，基于各个功能的链接顺序而确定显示与该各个协作功能有关的信息的优先级顺序。根据该优先级顺序在终端装置16上显示与该协作功能有关的信息。例如，在终端装置16上显示与设备有关的图像，并且由用户将这些图像彼此链接。在使得多个设备的多个功能彼此协作的情况下，用户将与该多个设备有关的多个图像彼此链接。这些图像链接的顺序对应于这些功能的链接顺序。指定单元38基于这些图像的链接顺序指定对与协作功能有关的信息进行显示的优先级顺序。
在对功能购买历史进行管理的情况下，指定单元38可以接收用于对用户进行识别的用户识别信息，并且可以指定存储在存储器30中的功能购买历史信息中的与用户识别信息相关联的各个功能的多条功能识别信息。因而，指定(识别)了一组用户购买的功能，亦即，一组对用户可用的功能。例如，用户识别信息从终端装置16发送到服务器14，并且指定单元38指定与该用户识别信息相关联的各个功能的多条功能识别信息。例如，各个功能的这些功能识别信息(例如，表示功能的名称的多条信息)从服务器14发送到终端装置16，并显示在终端装置16上。因而，用于识别对该用户识别信息所指定的用户可用的功能的多条信息(功能识别信息)显示在终端装置16上。例如，指定单元38接收设备识别信息和用户识别信息，指定设备功能信息32中的与设备识别信息相关联的一个或多个功能的一条或多条功能识别信息，并且还指定功能购买历史信息中的与用户识别信息相关联的一个或多个功能的一条或多条功能识别信息。因而，指定了设备识别信息所指定的设备具有的并且对该用户识别信息指定的用户可用的一个或多个功能。例如，表示该一个或多个功能的该一条或多条功能识别信息从服务器14发送到终端装置16，并显示在终端装置16上。
控制器36可执行功能购买处理并且可以管理购买的历史。例如，如果用户购买了支付功能，则控制器36对用户应用收费过程，并创建表示该购买的历史的功能购买历史信息。
接下来，将参照图4详细描述终端装置16的构成。图4例示了终端装置16的构成。
通信单元40是通信接口，并且具有将数据发送到另一个装置的功能和从另一个装置接收数据的功能。通信单元40可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。
作为图像捕捉单元的照相机42捕捉对象的图像，并由此生成图像数据(例如静止图像数据或运动图像数据)。另选地，作为使用终端装置16的照相机42的替代，由连接到例如网络之类通信路径的外部照相机捕捉的图像数据可以由通信单元40接收，并可显示在UI单元46上，使得可以对图像数据进行操作。
存储器44是例如硬盘或SSD的存储装置。存储器44存储多种程序、多条数据、服务器14的地址信息、各个设备的多条地址信息(例如，图像形成装置10和终端装置12的地址信息)、与识别出的彼此协作的目标设备有关的信息以及与协作功能有关的信息。
UI单元46是用户接口单元并且包括显示器和操作单元。显示器是例如液晶显示器之类的显示装置。操作单元是例如触摸屏、键盘或鼠标的输入装置。当然，可以使用既作为显示器又作为操作单元的用户接口(例如，触摸屏，或者显示电子键盘等的显示器)。
控制器48对终端装置16的各个单元的操作进行控制。控制器48充当例如显示控制器(控制器)，并使得UI单元46的显示器显示多种信息。
UI单元46的显示器例如显示照相机42捕捉的图像、与识别为待使用的目标设备(例如，协作的目标设备)有关的图像等。与设备有关的图像可以是表示照相机42捕捉的该设备的图像(静止图像或运动图像)，或者可以是示意性表示该设备的图像(例如，图标)。示意性表示该设备的图像的数据可以存储在服务器14中，并且从服务器14提供到终端装置16，或者可以预先存储在终端设备16中。例如，在通过多个设备之间的协作执行协作功能的情况下，由照相机42捕捉该多个设备的图像，并且这些设备的图像显示在UI单元46的显示器上。当用户将与彼此协作的目标设备有关的图像链接时，指定由目标设备执行的一个或多个协作功能，并且根据基于链接顺序的优先级顺序将与该协作功能有关的信息显示在UI单元46的显示器上。
充当设备的终端装置12例如具有与终端装置16类似的构成。终端装置12不一定包括照相机42。
上述设备功能信息32可以存储在终端装置16的存储器44中。在该情况下，设备功能信息32不一定存储在服务器14的存储器30中。此外，上述协作功能信息34可以存储在终端装置16的存储器44中。在该情况下，协作功能信息34不一定存储在服务器14的存储器30中。终端装置16的控制器48可以包括上述指定单元38，该指定单元38可以通过基于设备识别信息识别出设备而指定该设备的功能，并且可以指定要通过多个功能之间的协作而执行的协作功能。在该情况下，服务器14不一定包括指定单元38。在创建功能购买历史信息的情况下，功能购买历史信息可以存储在终端装置16的存储器44中。在该情况下，功能购买历史信息不一定存储在服务器14的存储器30中。终端装置16的控制器48可以管理用户的功能购买历史。在该情况下，服务器14的控制器36不一定具有其管理功能。终端装置16的控制器48可以基于用户识别信息指定对用户可用的功能。另选地，设备功能信息32和协作功能信息34可以存储在例如图像形成装置10和终端装置12的设备中，并且例如图像形成装置10和终端装置12的设备可以包括指定单元38。亦即，服务器14的指定单元38的处理可以在服务器14中执行，可以在终端装置16中执行，或者可以在例如图像形成装置10和终端装置12的设备中执行。
在该第一示例性实施方式中，例如，应用增强现实(AR)技术来获得设备识别信息并识别要使用的目标设备。例如，应用AR技术获得彼此协作的目标设备的多条设备识别信息并识别这些目标设备。使用根据相关技术的AR技术。例如，使用其中使用诸如二维条形码之类标记的基于标记的AR技术、其中使用图像识别技术的无标记AR技术、其中使用位置信息的位置信息AR技术等。当然，可以获得设备识别信息并可以在不应用AR技术的情况下识别要使用的目标设备。例如，在连接至网络的设备的情况下，可以基于其IP地址或者通过读取其设备ID来识别该设备。
下面，将参照图5详细描述获得设备的设备识别信息的过程。作为一个例子，将描述获得图像形成装置10的设备识别信息的情形。图5示意性例示了图像形成装置10的外观。这里，将描述通过应用基于标记的AR技术来获得设备识别信息的处理。图像形成装置10的壳体附接有例如二维条形码的标记50。标记50是通过对图像形成装置10的设备识别信息进行编码而获得的信息。用户激活终端装置16的照相机42，并利用照相机42捕捉附接至要使用的图像形成装置10的标记50的图像。因而，生成表示标记50的图像数据。该图像数据例如从终端装置16发送到服务器14。在服务器14中，控制器36对该图像数据所表示的标记图像执行解码处理，由此提取设备识别信息。因而，识别出要使用的图像形成装置10(附接有其图像已被捕捉的标记50的图像形成装置10)。服务器14的指定单元38指定设备功能信息32中的与所提取的设备识别信息相关联的功能的多条功能识别信息。因而，指定了要使用的图像形成装置10的功能。
另选地，终端装置16的控制器48可以对表示标记50的图像数据执行解码处理以提取设备识别信息。在该情况下，所提取的设备识别信息从终端装置16发送到服务器14。服务器14的指定单元38指定设备功能信息32中与从终端装置16发送的设备识别信息相关联的功能的多条功能识别信息。在设备功能信息32存储在终端装置16的存储器44中的情况下，终端装置16的控制器48可以指定设备功能信息32中的与所提取的设备识别信息相关联的功能的多条功能识别信息。
标记50可以包括图像形成装置10的功能的已编码功能识别信息。在该情况下，通过对表示标记50的图像数据执行解码处理来提取图像形成装置10的设备识别信息，并且还提取图像形成装置10的功能的多条功能识别信息。因而，指定了图像形成装置10，并且还指定了图像形成装置10的功能。该解码处理可以由服务器14或终端装置16执行。
在通过多个设备之间的协作执行协作功能的情况下，捕捉这些设备的标记的图像以获得这些设备的多条设备识别信息，由此指定协作功能。
例如在通过应用无标记AR技术获得设备识别信息的情况下，用户通过使用终端装置16的照相机42捕捉要使用的设备(例如，图像形成装置10)的全部外观或部分外观的图像。当然，有用的是，通过捕捉设备的外观的图像，获得用于指定要使用的设备的信息，例如设备的名称(例如，商业名称)或型号。作为捕捉的结果，生成表示要使用的设备的全部外观或部分外观的外观图像数据。外观图像数据例如从终端装置16发送到服务器14。在服务器14中，控制器36基于该外观图像数据识别要使用的设备。例如，服务器14的存储器30针对每个设备存储表示代表了设备的全部外观或部分外观的外观图像数据与设备的设备识别信息之间的对应性的外观图像对应性信息。控制器36例如将从终端装置16接收的外观图像数据与包含在外观图像对应性信息中的每条外观图像数据进行比较，并基于比较结果指定要使用的设备的设备识别信息。例如，控制器36从外观图像数据(其是从终端装置16接收的)中提取要使用的设备的外观的特征，指定表示与包含在外观图像对应性信息中的外观图像数据组中的外观的特征相同或相似的特征的外观图像数据，并指定与该外观图像数据相关联的设备识别信息。因而，识别出要使用的设备(其图像被照相机42捕捉的设备)。另选地，在捕捉了示出设备的名称(例如，商业名称)或型号的图像并且生成表示该名称或型号的外观图像数据的情况下，可以基于该外观图像数据所表示的名称或型号来识别要使用的设备。服务器14的指定单元38指定设备功能信息32中与所指定的设备识别信息相关联的各个功能的多条功能识别信息。因而，指定了要使用的设备(例如，图像形成装置10)的功能。
另选地，终端装置16的控制器48可以将表示要使用的设备(例如，图像形成装置10)的全部外观或部分外观的外观图像数据与包含在外观图像对应性信息中的每条外观图像数据进行比较，并且可以基于比较结果指定要使用的设备的设备识别信息。外观图像对应性信息可以存储在终端装置16的存储器44中。在该情况下，终端装置16的控制器48参考存储在终端装置16的存储器44中的外观图像对应性信息，由此指定要使用的设备的设备识别信息。另选地，终端装置16的控制器48可以从服务器14获得外观图像对应性信息，并且可以参考该外观图像对应性信息，以指定要使用的设备的设备识别信息。
在通过多个设备之间的协作执行协作功能的情况下，通过捕捉彼此协作的各个设备的全部外观或者部分外观的图像获得各个设备的多条设备识别信息，由此指定协作功能。
例如，在通过应用位置信息AR技术获得设备识别信息的情况下，通过使用全球定位系统(GPS)功能获得表示设备(例如，图像形成装置10)的位置的位置信息。例如，每个设备具有GPS功能，并获得表示该设备的位置的设备位置信息。终端装置16将表示获得设备位置信息的请求的信息输出到要使用的设备，并从设备接收该设备的设备位置信息作为对该请求的响应。例如，设备位置信息从终端装置16发送到服务器14。在服务器14中，控制器36基于该设备位置信息识别要使用的设备。例如，服务器14的存储器30针对每个设备存储表示代表了设备的位置的设备位置信息与该设备的设备识别信息之间的对应性的位置对应性信息。控制器36在位置对应性信息中指定与从终端装置16接收的设备位置信息相关联的设备识别信息。因而，识别出要使用的设备。服务器14的指定单元38在设备功能信息32中指定与所指定的设备识别信息相关联的各个功能的多条功能识别信息。因而，识别出要使用的设备(例如，图像形成装置10)的功能。
终端装置16的控制器48可以在位置对应性信息中指定与要使用的设备的位置信息相关联的设备识别信息。位置对应性信息可以存储在终端装置16的存储器44中。在该情况下，终端装置16的控制器48参考存储在终端装置16的存储器44中的位置对应性信息，由此指定要使用的设备的设备识别信息。另选地，终端装置16的控制器48可以从服务器14获得位置对应性信息，并且可以参考该位置对应性信息，以指定要使用的设备的设备识别信息。
在通过多个设备之间的协作执行协作功能的情况下，获得这些设备的设备位置信息，并基于这些设备位置信息指定这些设备的设备识别信息。因而，指定了协作功能。
下面，将详细描述根据第一示例性实施方式的图像形成装置。
首先，将参照图6详细描述设备功能信息32。图6例示了作为设备功能信息32的设备功能管理表的一个例子。例如，在设备功能管理表中，设备ID、表示设备的名称(例如，设备的类型)的信息、表示设备的一个或多个功能的信息(功能识别信息)、和图像ID彼此关联。设备ID和设备的名称对应于设备识别信息的一个例子。图像ID是用于识别示意性表示一个设备的图像(例如，图标)的图像识别信息的一个例子。设备功能管理表不一定包括图像ID。例如，具有设备ID“B”的设备是一种多功能外围设备(MFP，具有多个图像形成功能的图像形成装置)并具有打印功能、扫描功能等。用于识别示意性表示该设备的图像的图像ID与该设备相关联。示意性表示该设备的图像的数据例如存储在服务器14的存储器30中。
例如，利用AR技术，获得用于识别要使用的设备的设备ID。服务器14的指定单元38通过参考设备功能管理表而指定设备的名称、一个或多个功能、以及与该设备ID相关联的图像ID。因而，识别出要使用的设备。例如，表示设备的名称的信息和示意性表示该设备的图像的数据从服务器14发送到终端装置16，然后它们显示在终端装置16的UI单元46上。示意性表示该设备的图像显示为与该设备有关的图像。当然，作为示意性表示该设备的图像的代替，由照相机42捕捉的图像可以显示在终端装置16的UI单元46上。如果用户在终端装置16的UI单元46上指定了与该设备有关的图像(例如，照相机42捕捉的图像或者示意性表示该设备的图像)，则与该设备的功能有关的信息(例如，功能识别信息或者功能解释信息)可以从服务器14发送到终端装置16，并且可以显示在终端装置16的UI单元46上。
接下来，将参照图7详细描述协作功能信息34。图7例示了作为协作功能信息34的协作功能管理表的一个例子。例如，在协作功能管理表中，表示设备ID的组合的信息、表示彼此协作的目标设备的名称(类型)的信息、表示一个或多个协作功能的信息(协作功能识别信息)、表示链接顺序的信息以及表示优先级顺序的信息彼此关联。链接顺序对应于与设备有关的图像链接的顺序。优先级顺序是对与协作功能有关的信息进行显示的优先级顺序。例如，具有设备ID“A”的设备是个人计算机(PC)，具有设备ID“B”的设备是MFP。PC(A)与MFP(B)之间的协作实现了例如作为协作功能的扫描并传送功能和打印功能。扫描并传送功能是将通过扫描由MFP(B)生成的图像数据传送到PC(A)的功能。打印功能是将存储在PC(A)中的数据(例如，图像数据或文档数据)发送到MFP(B)并由MFP(B)对该数据进行打印的功能。例如，如果链接是从MEP(B)到PC(A)，亦即，如果链接是从关于MFP(B)的图像到关于PC(A)的图像，则扫描并传送功能的优先级顺序为“1”，打印功能的优先级顺序为“2”。在该情况下，以高于与打印功能有关的信息的优先级显示与扫描并传送功能有关的信息。另一方面，如果链接是从PC(A)到MEP(B)，亦即，如果链接是从关于PC(A)的图像到关于MFP(B)的图像，则打印功能的优先级顺序为“1”，扫描并传送功能的优先级顺序为“2”。在该情况下，以高于与扫描并传送功能有关的信息的优先级显示与打印功能有关的信息。
接下来，将参照图8详细描述在终端装置16的UI单元46上显示的画面。图8例示了功能显示画面的一个例子。功能显示画面是在使用单个设备的情况下在终端装置16的UI单元46上显示的画面。
例如，利用上述基于标记的AR技术、无标记AR技术和位置信息AR技术中的任意一种，获得要使用的设备(例如，图像形成装置10)的设备识别信息并识别出设备，并且指定表示与设备识别信息相关联的各个功能的多条功能识别信息，亦即，指定表示要使用的设备(识别出的设备)的各个功能的多条功能识别信息。另选地，可以指定表示与使用目标设备的用户的用户识别信息相关联的各个功能的多条功能识别信息，亦即，可以指定表示对用户可用的各个功能的多条功能识别信息。这些信息作为功能显示画面而显示在终端装置16的UI单元46上。另选地，由于指定了要使用的设备的功能，因此可以指定在销售的功能中要使用的设备所不具有的功能。表示要使用的设备所不具有的各个功能的多条功能识别信息可以显示在功能显示画面上。
在图8中所示的功能显示画面52上，作为功能识别信息的一个例子而显示了表示功能A的按钮图像54、表示功能B的按钮图像56和表示功能C的按钮图像58。功能A是要使用的设备(通过使用AR技术等识别出的设备)的功能，并且是对用户可用的功能，亦即，该用户购买的功能。功能B是要使用的设备的功能，并且是对用户不可用的功能，亦即，该用户未购买的功能。用户通过购买功能B而变得能够使用功能B。功能C是要使用的设备所不具有的功能，亦即，与要使用的设备不兼容的功能。根据按钮图像表示的功能是否为要使用的设备的功能，终端装置16的控制器48可以改变按钮图像的显示形式。此外，根据按钮图像表示的功能是否为对用户可用的功能，控制器48可以改变按钮图像的显示形式。例如，控制器48可以改变每个按钮图像的颜色或形状。在图8所示的例子中，按钮图像54、56和58以不同颜色显示。例如，表示要使用的设备所具有的并且对用户可用的功能的按钮图像(例如，表示功能A的按钮图像54)以蓝色显示。表示要使用的设备所具有的并且对用户不可用的功能的按钮图像(例如，表示功能B的按钮图像56)以黄色显示。表示要使用的设备所不具有的功能的按钮图像(例如，表示功能C的按钮图像58)以灰色显示。另选地，控制器48可改变按钮图像54、56和58的形状，或者可改变功能显示名称的字体。当然，可以用另一种方法改变显示形式。因而，用户能够以增强的可视性识别每个功能的可用性。
例如，如果用户通过使用终端装置16指定了表示功能A的按钮图像54并提供指令执行功能A，则表示执行功能A的指令的执行指令信息从终端装置16发送到目标设备。执行指令信息包括用于执行功能A的控制数据、要经受功能A的处理的图像数据等。响应于对执行指令信息的接收，目标设备根据该执行指令信息执行功能A。例如，如果目标设备是图像形成装置10并且如果功能A是扫描并传送功能，则图像形成装置10的图像形成单元20执行扫描功能以生成扫描数据(图像数据)。随后，扫描数据从图像形成装置10发送到所设置的目的地(例如，终端装置16)。
如果用户通过使用终端装置16指定了表示功能B的按钮图像56并提供指令购买功能B，则执行购买处理。如果购买处理由服务器14执行，则终端装置16访问服务器14。因而，在终端装置16的UI单元46上显示作为使得用户能够使用功能B的信息的用于购买功能B的画面(例如，网站)。通过在画面上进行购买过程，用户能够使用功能B。例如，终端装置16存储网络浏览器的程序。借助网络浏览器，用户能够从终端装置16访问服务器14。当用户通过使用网络浏览器访问服务器14时，在终端装置16的UI单元46上显示功能购买画面(例如，网站)，并且用户能够通过该网站购买该功能。当然，可以由于服务器14不同的服务器执行该购买处理。另选地，作为使得用户能够使用功能B的信息，用于向管理员等请求使用功能B的使用许可请求画面(例如，网站)可以显示在终端装置16的UI单元46上。如果用户通过使用许可请求画面向管理员等请求使用功能B的许可并且如果获得了该许可，则用户能够使用功能B。
下面，将详细描述通过应用AR技术使多个功能彼此协作的方法。
参照图9，将描述通过应用基于标记的AR技术或者无标记的AR技术而识别多个设备并使得多个设备的多个功能彼此协作的方法。图9例示了彼此协作的目标设备的一个例子。例如，假设图像形成装置10和终端装置12用作目标设备。例如，图像形成装置10是多功能外围设备(MFP)，终端装置12是个人计算机(PC)。图像形成装置10和终端装置12是在真实空间存在的设备。终端装置16是在真实空间存在并用于使多个功能彼此协作的装置。例如，终端装置16是诸如智能电话或移动电话的移动终端装置。
例如，诸如二维条形码的标记50附接至图像形成装置10的壳体，诸如二维条形码的标记60附接至终端装置12(PC)的壳体。标记60是通过对终端装置12的设备识别信息进行编码而获得的信息。在使用基于标记的AR技术或者无标记的AR技术的情况下，用户通过使用终端装置16(例如，智能电话)的照相机42捕捉作为彼此协作的目标设备的图像形成装置10和终端装置12的图像。在图9所示的例子中，在图像形成装置10和终端装置12都处于照相机42的视野中的状态下捕捉图像形成装置10和终端装置12二者的图像。因而，生成表示标记50和60的图像数据并将该图像数据从终端装置16发送到服务器14。在服务器14中，控制器36对该图像数据执行解码处理以提取图像形成装置10的设备识别信息和终端装置12的设备识别信息，由此识别图像形成装置10和终端装置12。另选地，可以生成表示图像形成装置10和终端装置12二者外观的外观图像数据，并可将该外观图像数据从终端装置16发送到服务器14。在该情况下，在服务器14中，控制器36通过参考外观图像对应性信息指定图像形成装置10的设备识别信息和终端装置12的设备识别信息。因而，识别出图像形成装置10和终端装置12。当然，可以由终端装置16执行用于识别彼此协作的目标设备的处理。
设备显示画面62显示在终端装置16的UI单元46的显示器上，并且与图像形成装置10有关的设备图像64以及与终端装置12有关的设备图像66显示在设备显示画面62上。设备图像64和66可以是照相机42捕捉的设备(图像形成装置10和终端装置12)的图像(具有捕捉时的原始尺寸或者增大或减小的尺寸)，或者可以是与识别出的设备有关并且预先准备的图像数据(并非通过捕捉而获得的图像而是示意图像(例如，图标))。如上所述，可以使用由外部照相机捕捉的表示设备的图像。
例如，在使用通过捕捉设备的图像获得的图像数据的情况下，在图像中反映当前状态下设备的外观(例如，包括附接至设备的擦痕、便条、贴纸等的外观)，因此用户能够更清楚地以可视方式识别出与相同类型的另一个设备的不同。
在使用示意图像的情况下，例如将示意图像的数据从服务器14发送到终端装置16。例如，当识别出图像形成装置10时，服务器14的指定单元38通过参考图6中所示的设备功能管理表(设备功能信息32)指定与图像形成装置10有关的示意图像。示意图像的数据从服务器14发送到终端装置16，并且该示意图像作为设备图像64显示在设备显示画面62上。这同样适用于与终端装置12有关的设备图像66。作为示意图像的设备图像64和66的数据可以预先存储在终端装置16中。在该情况下，当识别出图像形成装置10时，存储在终端装置16中的设备图像64显示在设备显示画面62上。这同样适用于终端装置12。示意图像的数据可以存储在除了服务器14和终端装置16以外的装置中。
当识别出一个设备时，可以将表示该设备的名称的信息从服务器14发送到终端装置16，并且设备的名称可以显示在终端装置16的设备显示画面62上。在图9所示例子中，图像形成装置10是MFP，其名称为“MFP(B)”。终端装置12是PC，其名称为“PC(A)”。
如果即使应用了AR技术等仍未能识别出作为图像捕捉目标的设备，则表示目标设备的设备图像不一定显示在设备显示画面62上。因而，可以提高所识别的设备的可视性。例如，如果存在识别出的设备和未识别出的设备并且如果各个设备的图像由照相机42捕捉，则不显示表示未识别设备的设备图像。因而，在将表示所识别出的设备的设备图像与表示未识别出设备的设备图像区分的同时进行显示，因此，可以提高识别出设备的可视性。另选地，可以按高亮方式显示表示识别出的设备的设备图像(例如，设备图像64和66)。例如，表示识别出的设备的设备图像可以用特定颜色显示，可以通过将设备图像的边缘高亮来显示，可以通过将设备图像放大来显示，可以三维方式显示，或者可以通过使设备图像闪烁来显示。因而，可以提高所识别出的设备的可视性。
利用用户在设备显示画面62上对设备图像64和66的操作，图像形成装置10和终端装置12被指定为彼此协作的目标设备，并且指定了通过在图像形成装置10与终端装置12之间的协作而执行的协作功能。根据与对设备图像的操作顺序相对应的优先级顺序在终端装置16的UI单元46上显示与协作功能有关的信息。
下面，将参照图10A至图10B详细描述指定协作功能的操作。
图10A至图10B例示了在终端装置16的UI单元46上显示的画面的一个例子。例如，假设图像形成装置10和终端装置12被识别为彼此协作的目标设备。如图10A所示，设备显示画面62显示在终端装置16的UI单元46上，并且设备图像64和66显示在设备显示画面62上。在该状态下，用户通过使用指示器(例如，用户的手指、笔或触笔(stylus))将表示目标设备的设备图像彼此链接。终端装置16的控制器48对指示器在设备显示画面62上的触摸进行检测，并对指示器在设备显示画面62上的移动进行检测。例如，如箭头68所示，用户通过使用操作器在设备显示画面62上触摸设备图像64，并在设备显示画面62上将操作器移动到设备图像66，由此将设备图像64链接至设备图像66。因而，与设备图像64有关的图像形成装置10(MFP(B))以及与设备图像66有关的终端装置12(PC(A))被指定为彼此协作的目标设备，并且指定了链接顺序。设备图像链接的顺序对应于该链接顺序。在图10A所示的例子中，链接从设备图像64到设备图像66，亦即，从图像形成装置10(MFP(B))到终端装置12(PC(A))。表示设备链接顺序的信息从终端装置16发送到服务器14。终端装置16的控制器48可以使表示用户执行的操作器的移动轨迹的图像显示在设备显示画面62上。在将设备彼此链接后，终端装置16的控制器48可以使表示该轨迹的预设的直线等显示在设备显示画面62上。
当按上述方式指定了彼此协作的目标设备(例如，图像形成装置10和终端装置12)时，服务器14的指定装置38在图7中所示的协作功能管理表(协作功能信息34)中指定与PC(A)和MFP(B)的组合相关联的协作功能。因而，指定了通过PC(A)与MFP(B)之间的协作执行的协作功能。当用户指定了设备的链接顺序时，指定单元38指定协作功能管理表中与链接顺序相关联的优先级顺序。具体而言，参照图7，由于PC(A)和MFP(B)被指定为彼此协作的目标设备，因此由这些设备执行的协作功能是扫描并传送功能和打印功能。此外，由于链接是从MFP(B)到PC(A)(B→A)，因此扫描并传送功能的优先级顺序是“1”，打印功能的优先级顺序是“2”。
与指定的协作功能有关的信息以及与指定的优先级顺序有关的信息从服务器14发送到终端装置16。终端装置16的控制器48根据优先级顺序使UI单元46显示与协作功能有关的信息作为与候选协作功能有关的信息。
例如，如图10B所示，终端装置16的控制器48使UI单元46显示协作功能显示画面70，并在协作功能显示画面70上显示与候选协作功能有关的信息。由于扫描并传送功能的优先级顺序是“1”，打印功能的优先级顺序是“2”，因此根据比与打印功能有关的信息更高(例如，之上)的优先级显示与扫描并传送有关的信息。例如，作为与扫描并传送功能有关的信息，显示对扫描并传送功能的解释“将MFP(B)扫描的数据传送到PC(A)”。此外，作为与打印功能有关的信息，显示对打印功能的解释“在PC(A)中打印数据”。
如果用户指定了协作功能并且提供了执行指令，则执行所指定的协作功能。例如，如果用户按下了“是”按钮，则执行与“是”按钮有关的协作功能。此外，在协作功能显示画面70上显示“后退”按钮。如果用户按下了“后退”按钮，则停止对设备进行连接的处理。
指定协作功能的处理和指定优先级顺序的处理可以由终端装置16执行。
可以指定彼此协作的目标设备，并且可以通过围绕设备图像绘制圆圈而代替在设备图像之间移动操作器来指定其链接顺序。例如，绘制操作的顺序对应于链接顺序。另选地，可以根据用户提供的语音指令来指定彼此协作的目标设备及其链接顺序。
图11A和11B例示了另一个操作的一个例子。例如，如图11A中所示，用户通过使用操作器在设备显示画面62上触摸设备图像66，并沿着箭头72所示的方向将操作器移动到设备图像64，由此将设备图像66链接至设备图像64。因而，与设备图像66有关的终端装置12(PC(A))以及与设备图像64有关的图像形成装置10(MFP(B))被指定为彼此协作的目标设备，并且还指定了链接顺序。在该例子中，链接是从设备图像66到设备图像64，亦即，从终端装置12(PC(A))到图像形成装置10(MFP(B))。参照图7中所示的协作功能管理表，打印功能的优先级顺序是“1”，扫描并传送功能的优先级顺序是“2”。在该情况下，如图11B所示，在协作功能显示画面74上以比关于扫描并传送功能的信息更高(例如，之上)的优先级显示关于打印功能的信息。
如上所述，根据第一示例性实施方式，与设备有关的设备图像彼此链接，由此指定使用这些设备的功能的协作功能。根据图像的链接顺序，亦即，设备的链接顺序，改变与协作功能有关的信息的显示顺序。设备的链接顺序也视为要在各个设备中使用的功能的顺序，或者彼此协作的设备之间数据的移动顺序。对设备进行链接的操作(对图像进行链接的操作)也视为对功能的顺序或者数据的移动顺序进行指定的操作。因此，作为根据链接顺序改变与协作功能有关的信息的显示顺序的结果，优先显示与预期用户要使用的协作功能有关的信息。换言之，优先显示与用户更可能使用的协作功能有关的信息。例如，如果链接是从MFP(B)到PC(A)，则预期用户将使用如下的协作功能：“先使用MFP(B)的功能然后将数据从MFP(B)传送到PC(A)”。另一方面，如果链接是从PC(A)到MFP(B)，则预期用户将使用如下的协作功能：“先使用PC(A)的功能然后将数据从PC(A)传送到MFP(B)”。因此，作为根据图像的链接顺序改变与协作功能有关的信息的显示顺序的结果，优先显示与用户更可能使用的协作功能有关的信息。此外，在除了对设备图像进行链接的操作以外没有特殊操作的情况下指定要使用的功能的顺序和数据的移动顺序，并且显示与用户预期使用的协作功能有关的信息。
下面，将描述第一示例性实施方式的修改例。
第一修改例
下面，将描述第一修改例。在第一修改例中，指派给协作功能的设备的功能根据与设备有关的设备图像中的位置而变化。当用户指定了设备图像中的特定位置时，优先显示与使用该特定位置所对应功能的协作功能有关的信息。下面，将详细描述第一修改例。
图12例示了根据第一修改例的设备功能管理表的一个例子。根据第一修改例的设备功能管理表的数据作为设备功能信息32存储在服务器14中。在根据第一修改例的设备功能管理表中，例如，设备ID、表示设备的名称(例如，类型)的信息、表示图像中的位置的信息、表示与该位置相对应的功能的信息(功能识别信息)、以及图像ID彼此关联。图像中的位置是与设备有关的设备图像中的特定位置(特定部分)，例如设备图像中的示例性表示设备的特定位置或照相机捕捉的设备图像中的特定位置。不同的功能与图像中的各个特定位置相关联。
图13A和图13B例示了在终端装置16的UI单元46上显示的画面的一个例子。例如，假设图像形成装置10(MFP(B))和终端装置12(PC(A))被识别为彼此协作的目标设备。如图13A所示，设备显示画面62显示在终端装置16的UI单元46上，并且设备图像64和66显示在设备显示画面62上。例如，在设备图像64中，打印功能与MFP(B)的机体部分所对应的特定位置(局部图像76)相关联。在设备图像64中，扫描功能与MFP(B)的文档盖、文档玻璃和自动文档馈送器所对应的特定位置(局部图像78)相关联。在设备图像64中，装订(stapling)功能与后处理器所对应的特定位置(局部图像80)相关联。装订功能是装订输出纸张的功能。在设备图像66中，数据存储功能与PC(A)的机体部分所对应的特定位置(局部图像82)相关联。在设备图像66中，画面显示功能与PC(A)的显示器所对应的特定位置(局部图像84)相关联。数据存储功能是对从另一个装置接收的数据在PC(A)中进行存储的功能。画面显示功能是对从另一个装置接收的数据在PC(A)中进行显示的功能。
终端装置16的控制器48可以使与设备图像中的特定位置相关联的功能(例如，打印，扫描等)的名称显示在设备显示画面62上。因而，向用户提供了清楚地表示特定位置和功能之间的对应性的信息。当然，不一定要显示功能的名称。
在第一修改例中，如果用户指定了与设备图像中的功能相关联的位置，则将与所指定的位置相关联的功能指定为彼此协作的目标功能。用户通过使用指示器来链接与表示彼此协作的目标设备的设备图像中的功能相关联的特定位置(局部图像)。例如，如箭头86所示，用户通过使用操作器在设备显示画面62上触摸局部图像78，并将操作器移动到局部图像84，由此将局部图像78链接到局部图像84。因而，将与包括局部图像78的设备图像64有关的MFP(B)以及与包括局部图像84的设备图像66有关的PC(A)指定为彼此协作的目标设备，指定与局部图像78相对应的扫描功能以及与局部图像84相对应的画面显示功能，并指定其链接顺序。局部图像链接的顺序对应于该链接顺序。在图13A所示的例子中，链接从局部图像78到局部图像84，亦即，从MFP(B)到PC(A)。扫描功能和画面显示功能指定为用于协作功能的功能。表示设备的链接顺序的信息和表示用户在设备图像中指定的特定位置的信息从终端装置16发送到服务器14。
当识别了彼此协作的目标设备(例如，PC(A)和MFP(B))时，服务器14的指定装置38在图7中所示的协作功能管理表中指定通过PC(A)与MFP(B)之间的协作而实现的协作功能。此外，指定单元38参考图12中所示的设备功能管理表指定与用户在设备图像中指定的特定位置相关联的功能。此外，在通过PC(A)与MFP(B)之间的协作实现的协作功能中，指定单元38将更高优先级指派给使用与用户指定的位置相关联的功能的协作功能，并将更低优先级指派给不使用这些功能的协作功能。
与按上述方式指定的协作功能有关的信息以及表示优先级顺序的信息从服务器14发送到终端装置16。终端装置16的控制器48根据优先级顺序使UI单元46显示与协作功能有关的信息作为与候选协作功能有关的信息。
例如，如图13B所示，终端装置16的控制器48使UI单元46的显示器显示协作功能显示画面88，并在协作功能显示画面88上显示与候选协作功能有关的信息。由于用户按顺序指定了扫描功能和画面显示功能，因此以比与其他协作功能有关的信息更高(例如，之上)的优先级显示与作为通过扫描功能和扫描显示功能之间的协作而执行的协作功能的扫描、传送和显示功能有关的信息。例如，按照比与扫描、传送和存储功能(其是通过扫描功能和数据存储功能之间的协作执行的协作功能)有关的信息更高的优先级显示扫描、传送和显示功能有关的信息。扫描、传送和显示功能是将MFP(B)通过扫描生成的数据传送到PC(A)并在PC(A)的屏幕上显示该数据的功能。扫描、传送和存储功能是将MFP(B)通过扫描生成的数据传送到PC(A)并在PC(A)中存储该数据的功能。在图13B所示例子中，对各个协作功能的解释被显示为与各个协作功能有关的信息。
根据第一修改例，在彼此协作的目标设备中的每一个具有多个功能的情况下，单独指定这些功能，并且优先显示与使用所指定的功能的协作功能有关的信息。因而，优先显示预期由用户使用的协作功能。
图14A和14B例示了第一修改例的另一个例子。图14B和14B是例示在终端装置16的UI单元46上显示的画面的一个例子的图。终端装置16的控制器48将可识别的接触区域图像叠置在设备图像中被指派特定功能的特定位置(局部图像)上。在图14A所示例子中，接触区域图像90叠置在局部图像76上，接触区域图像92叠置在局部图像78上，接触区域图像94叠置在局部图像80上。此外，接触区域图像96叠置在局部图像82上，接触区域图像98叠置在局部图像84上。例如，每个接触区域图像是半透明的或者不透明的图像，并且具有圆形、椭圆或矩形的形状。通过在被指派特定功能的位置显示接触区域图像，这些位置高亮显示，因此用户可以容易地确定被指派功能的位置。亦即，用户可以容易地确定将作为要用于协作功能的功能而作用的位置。
终端装置16的控制器48可以改变与用于协作功能的功能相对应的接触区域图像或者用户指定的接触区域图像的显示形式(例如，颜色和形状中的至少一个)，使得将该接触区域图像与其他接触区域图像区分开。例如，如图14B所示，如果局部图像78通过箭头100指示的操作链接到局部图像84，则与局部图像78相对应的接触区域图像92以及与局部图像84相对应的接触区域图像98以与其他接触区域图像的颜色不同的颜色显示。
图15A和15B例示了第一修改例的另一个例子。图15A和15B是例示在终端装置16的UI单元46上显示的画面的一个例子的图。在识别出的设备具有多个功能的情况下，可以指定同一设备的多个功能以指定要通过该多个功能之间的协作执行的协作功能。例如，如图15A所示，假设用户沿箭头102、104和106所示的方向对图像进行链接。在该情况下，局部图像78、84、82和76按该顺序链接。服务器14的指定单元38指定指派给局部图像78、84、82和76的功能(扫描功能、画面显示功能、数据存储功能和打印功能)、指定按链接顺序使用这些功能的协作功能，并给予该协作功能高优先级。因而，与该协作功能有关的信息以高于与其他协作功能有关的信息的优先级显示。图15B例示了协作功能显示画面108，并且与该协作功能有关的信息优先显示在协作功能显示画面108上。给予优先级的协作功能例如是如下功能：“将MFP(B)通过扫描生成的数据传送到PC(A)、在PC(A)的屏幕上显示数据、调整PC(A)中的颜色、将数据存储在PC(A)中并将该数据传送到MFP(B)、以及在MFP(B)中打印数据”。
第二修改例
下面，将参照图16A至17C描述第二修改例。图16A至图17C例示了在终端装置16上显示的画面的一个例子。在第二修改例中，如果保持按下设备图像超过预定时段，则模式转换到多功能选择模式(用于指定多个功能的模式)。
同样在第二修改例中，图像形成装置10(MFP(B))和终端装置12(PC(A))被识别为彼此协作的目标设备，并且设备图像64和66显示在终端装置16中的设备显示画面62上，如图16A所示。例如，假设用户通过使用操作器持续指定设备图像64超过了预定时段。亦即，假设设备图像64被长按。在图16A所示的例子中，长按附图标记110所示的部分。在该情况下，如图16B所示，功能选择画面112显示在终端装置16的UI单元46上，MFP(B)的功能列表显示在功能选择画面112上。在图16B所示的例子中，显示了各个功能(扫描、打印、装订和传真发送)的名称。例如，如果用户指定了设备图像64，则与设备图像64有关的MFP(B)的设备识别信息从终端装置16发送到服务器14。在服务器14中，参考设备功能管理表指定MFP(B)的功能。与这些功能有关的信息(例如，功能识别信息)从服务器14发送到终端装置16，并显示在终端装置16上。当然，可以在终端装置16中指定MFP(B)的功能。在终端装置16的用户接口能够检测在多个阶段用户执行的操作的接触力的情况下，可以响应于对更大接触力的检测(例如，检测预定的接触力)而显示功能选择画面112。
在图16B中所示的功能选择画面112上，用户选择用于协作功能的多个功能。例如，假设选择了(1)扫描功能和(4)传真发送功能。在该情况下，在终端装置16的UI单元46上显示确认画面114，如图16C所示。在确认画面114上，显示表示用户选择的功能的信息。如果用户在确认画面114上指定了协作的顺序(使用的顺序)，则在终端装置16的UI单元46上显示另一个确认画面116，如图17A所示。在图17A中所示例子中，(1)扫描功能的顺序是“1”，(4)传真发送功能的顺序是“2”。在图16B中所示的功能选择画面112上，用户可根据协作的顺序选择用于协作功能的多个功能。在该情况下，省略图16C中所示的确认画面114的显示，并且在终端装置16的UI单元46上显示图17A中所示的确认画面116。
随后，如果用户在图17A中所示的确认画面116上按下了“是”按钮，则确认要用于协作功能的MFP(B)的功能，并且画面转换到设备显示画面62，如图17B所示。在设备显示画面62上，用户将设备图像64链接到设备图像66，如箭头118所示。因而，PC(A)被指定为要用于协作功能的设备，并且指定协作的顺序(使用的顺序)。服务器14的指定单元38指定按照协作的顺序使用各个功能的协作功能，并给予该协作功能更高优先级。因而，与该协作功能有关的信息以高于与其他协作功能有关的信息的优先级显示。与该协作功能有关的信息从服务器14发送到终端装置16，并显示在终端装置16上。例如，如图17C所示，协作功能设备显示画面120显示在终端装置16的UI单元46上，并且与协作功能有关的信息显示在协作功能显示画面120上。优先显示与根据协作的顺序使用各个功能的协作功能有关的信息。被给予优先级的协作功能例如是如下功能：“通过传真发送MFP(B)经由扫描生成的图像并将所发送数据的副本传送到PC(A)”。
如果用户按下图17A中所示确认画面116上的“否”按钮，则取消选择用于MFP(B)的协作功能的功能，并且画面转换到功能选择画面112。在功能选择画面112上显示“取消”按钮。如果用户按下了“取消”按钮，则画面转换到设备显示画面62。
根据第二修改例，显示所指定设备的功能列表，因此，用户可以容易地识别设备的功能。
图18例示了第二修改例的另一个例子。在第二修改例中，用于选择多个功能的按钮图像122显示在设备显示画面62上。如果用户在按下设备图像的同时按下了按钮图像122，则模式转换到多功能选择模式。在图18中所示例子中，在用户按下与MFP(B)有关的设备图像64的同时按下按钮图像122，如附图标记124所示。在该情况下，画面转换到图16B中所示的功能选择画面112。然后，执行以上参照图16A至17C描述的处理。
第三修改例
下面，将参照图19A和图19B描述第三修改例。图19A和图19B例示了在终端装置16的UI单元46上显示的画面的一个例子。
同样在第三修改例中，图像形成装置10(MFP(B))和终端装置12(PC(A))被识别为彼此协作的目标设备，并且设备图像64和66显示在终端装置16中的设备显示画面62上，如图19A所示。此外，局部图像78、84、82和76按此顺序链接，如箭头126、128和130所示。亦即，按该顺序指定了扫描功能、画面显示功能、数据存储功能和打印功能。
在第三修改例中，如果指定了就链接顺序而言紧接在要取消的目标图像之前的图像，则从协作功能中消除与要取消的目标图像有关的功能。亦即，从彼此协作的目标功能中消除要取消的目标功能。例如，如果指定了就链接顺序而言紧接在要取消的目标图像之前的图像，则表示该指定的信息从终端装置16发送到服务器14，并且服务器14的指定单元38从彼此协作的目标功能中消除与要取消的目标图像有关的功能。
参照图19A中所示的例子，链接从局部图像76到局部图像82，如虚线箭头132所示。亦即，指定了在链接顺序上紧接在局部图像76之前的局部图像82。在该情况下，从彼此协作的目标功能中消除了与局部图像76有关的功能(打印功能)。
然后，如图19B所示，如果用户在箭头134所示的方向上做出从局部图像82到局部图像80的链接，则选择与局部图像80有关的功能(装订功能)作为与另一个功能协作的目标功能，并且优先选择使用与局部图像80有关的功能的协作功能。
根据第三修改例，从彼此协作的目标功能中消除了要取消的目标功能，并且取消了使用要取消的目标功能的协作功能，而无需除了链接图像的操作以外的特殊操作。例如，如果错误地指定了与另一个功能协作的目标功能，则通过指定在链接顺序上紧接在与该功能有关的图像之前的图像而取消错误指定的功能，而无需执行其他特殊操作。因而，与通过使用取消按钮等消除功能的情形相比，利用简单的操作消除了要取消的目标功能。
可以在设备显示画面62上显示取消操作的轨迹(例如，箭头132所示的轨迹)。在该情况下，可以按与链接操作的轨迹(例如，箭头126、128和130所示的轨迹)不同的形式(例如，以不同的颜色或不同类型的线)显示取消操作的轨迹。
另选地，在取消协作的情况下，用户可以指定与要取消的目标设备有关的设备图像或局部图像，或者可以在设备显示画面62上按下协作取消按钮。在并非协作的目标的设备显示在设备显示画面62上的情况下，用户可以通过指定在设备显示画面62上与该设备有关的设备图像来从彼此协作的目标设备中消除该设备。另选地，如果执行预设操作，例如，如果十字标记等附接至与要取消的目标设备有关的设备图像，则可以从彼此协作的目标设备中消除该设备。
第四修改例
下面，将参照图20A和图20B描述第四修改例。图20A和图20B例示了在终端装置16的UI单元46上显示的画面的一个例子。
同样在第四修改例中，图像形成装置10(MFP(B))和终端装置12(PC(A))被识别为彼此协作的目标设备，并且设备图像64和66显示在终端装置16中的设备显示画面62上，如图20A所示。此外，局部图像78和84(接触区域图像92和98)按此顺序链接，如箭头136所示。亦即，按该顺序指定扫描功能和画面显示功能。
在第四修改例中，终端装置16的控制器48使照相机42的视野改变，并使得改变后的视野显示在设备显示画面62上，同时使得表示最后指定为协作的目标设备的设备的设备图像显示在设备显示画面62上。在该情况下，已被指定为彼此协作的目标设备(例如，MFP(B)和PC(A))的那些设备的识别信息存储在终端装置16或服务器14的存储器中。
在图20A所示的例子中，终端装置12(PC(A))是被最后指定为协作的目标设备的设备，因此其设备图像66保留在设备显示画面62上。如果用户改变了终端装置16的照相机42的视野，则在使设备图像66显示在设备显示画面62上的同时，终端装置16的控制器48使照相机42捕捉的图像显示在设备显示画面62上。例如，在使用未处于如图20A所示状态下的视野内的投影仪(C)作为协作的目标设备的情况下，用户改变照相机42的方位，使得投影仪(C)包含在照相机42的视野内，同时设备图像66显示在设备显示画面62上，如图20B所示，然后捕捉投影仪(C)的图像。因而，投影仪(C)的图像由照相机42捕捉，并且与投影仪(C)有关的设备图像138显示在设备显示画面62上。投影仪(C)被识别，并且，例如投影仪(C)的功能名称(例如，“投影”)显示在设备显示画面62上。此外，接触区域图像140叠置在表示投影仪(C)的设备图像138上。如箭头142所示，如果用户做出从局部图像84(接触区域图像98)到设备图像138(接触区域图像140)的链接，则将与设备图像138有关的设备的功能(例如，投影功能)选择为协作的目标功能，并且优先显示使用与设备图像138有关的功能的协作功能。
根据第四修改例，即使一次并未捕捉彼此协作的多个目标设备的图像，也能够捕捉该多个设备的各个图像，并且该多个设备可以彼此协作。亦即，彼此协作的目标设备的位置不一定彼此靠近。根据第四修改例，可以分别捕捉多个设备的图像，并且即使在该情况下该多个设备也可以彼此协作。当然，可以改变照相机42的视角，或者可以增大或减小视野。如果这些操作仍不足够，则可以执行多次图像捕捉以识别各个设备。
在上述例子中，与最后指定为协作的目标设备的设备有关的设备图像保留在设备显示画面62上。另选地，用户指定的设备图像、与首先被捕捉图像的设备有关的设备图像、或者与预设基本设备有关的设备图像可以保留在设备显示画面62上。同样在该情况下，可以分别捕捉多个设备的图像，并且这些设备可以彼此协作。
在上述第一示例性实施方式和第一至第四修改例中，表示识别出设备的设备图像、接触区域图像、链接操作的轨迹(例如，移动轨迹)、以及取消操作的轨迹可以三维显示以使得它们与背景图像区分开。亦即，这些图像可以显示为三维图像。例如，背景图像可以二维显示，而设备图像、接触区域图像和操作轨迹可以三维显示。因而，可以提高设备图像、接触区域图像和操作轨迹的可视性。另选地，与未识别设备有关的设备图像和背景图像不显示在设备显示画面62上，并且仅与识别出设备有关的设备图像可以显示在设备显示画面62上。
如上所述，当与目标设备有关的图像彼此链接并且指定了协作功能时，连接请求从终端装置16发送到彼此协作的目标设备，并且终端装置16连接到目标设备。下面，将参照图21描述连接处理。图21是例示该处理的顺序图。
首先，用户通过使用终端装置16提供指令以启动用于执行协作功能的应用(程序)。响应于该指令，终端装置16的控制器48启动应用(S01)。该应用可以预先存储在终端装置16的存储器44中，或者可以从服务器14等下载。
随后，通过使用基于标记的AR技术、无标记AR技术或者位置信息AR技术识别彼此协作的目标设备(S02)。当然，可以通过使用除了AR技术以外的技术识别目标设备。在使用基于标记的AR技术或无标记AR技术的情况下，用户通过使用终端装置16的照相机42捕捉目标设备的图像。例如，在使用图像形成装置10(MFP(B))和终端装置12(PC(A))作为目标设备的情况下，用户使用照相机42捕捉图像形成装置10和终端装置12的图像。因而，获得图像形成装置10和终端装置12的设备识别信息，并且将图像形成装置10和终端装置12识别为目标设备。在使用位置信息AR技术的情况下，获得图像形成装置10和终端装置12的位置信息，并且基于这些位置信息指定图像形成装置10和终端装置12的设备识别信息，并识别图像形成装置10和终端装置12。
通过使用终端装置16，用户将与彼此协作的多个目标设备有关的多个设备图像链接起来，由此指定协作功能并指定协作功能的优先级顺序。根据该优先级顺序在终端装置16的UI单元46上显示与协作功能有关的信息(S03)。指定协作功能的处理和指定优先级顺序地处理可以由服务器14或终端装置16执行。
随后，如果用户通过使用终端装置16指定要执行的目标协作功能，则终端装置16将表示连接请求的信息发送到执行协作功能的目标设备(例如，图像形成装置10和终端装置12)(S04)。例如，如果表示彼此协作的目标设备的地址的地址信息存储在服务器14中，则终端装置16从服务器14获得这些地址信息。如果这些地址信息包含在设备识别信息中，则终端装置16可以从目标设备的设备识别信息中获得这些地址信息。另选地，目标设备的这些地址信息可以存储在终端装置16中。当然，终端装置16可以使用另外的方法获得目标设备的地址信息。通过使用目标设备(例如，图像形成装置10和终端装置12)的地址信息，终端装置16将表示连接请求的信息发送到目标设备(例如，图像形成装置10和终端装置12)。
接收到表示连接请求的信息的图像形成装置10和终端装置12允许或者不允许到终端装置16的连接(S05)。例如，如果图像形成装置10和终端装置12是未被允许做出连接的设备或者如果请求连接的设备的数量超过了上限，则不允许连接。如果允许来自终端装置16的连接，则可以禁止改变对图像形成装置10和终端装置12而言唯一的设置信息的操作，使得设置信息不改变。例如，可以禁止图像形成装置10的颜色参数的改变或者用于转换到节能模式的设置时间。因而，提高了用于彼此协作的目标设备的安全性。另选地，在使设备彼此协作的情况下，与单独使用各个设备而不与其他设备协作的情形相比，可以限制设置信息的改变。例如，与单独使用设备的情形相比，可以允许更少设置信息的改变。另选地，可以禁止观看其他用户的个人信息，例如操作历史。因而，可以提高用户的个人信息的安全性。
表示允许或不允许连接的结果信息从图像形成装置10和终端装置12发送到终端装置16(S06)。如果允许到从图像形成装置10和终端装置12的连接，则在终端装置16与图像形成装置10及终端装置12中的每一个之间建立通信。
随后，用户通过使用终端装置16提供指令以执行协作功能(S07)。响应于该指令，表示用于执行协作功能的指令的执行指令信息从终端装置16发送到图像形成装置10和终端装置12(S08)。发送到图像形成装置10的执行指令信息包括表示要在图像形成装置10中执行的处理的信息(例如，作业信息)，并且发送到终端装置12的执行指令信息包括表示要在终端装置12中执行的处理的信息(例如，作业信息)。
响应于执行指令信息，图像形成装置10和终端装置12执行各个功能(S09)。例如，如果协作功能包括在图像形成装置10与终端装置12之间发送/接收数据的处理，如将扫描数据从图像形成装置10(MFP(B))传送到终端装置12(PC(A))的扫描并传送功能中那样，在图像形成装置10与终端装置12之间建立通信。在该情况下，例如，发送到图像形成装置10的执行指令信息包括终端装置12的地址信息，发送到终端装置12的执行指令信息包括图像形成装置10的地址信息。通过使用这些地址信息建立图像形成装置10与终端装置12之间的通信。
在完成协作功能的执行后，表示协作功能执行完成的信息从图像形成装置10和终端装置12发送到终端装置16(S10)。表示协作功能执行完成的信息显示在终端装置16的UI单元46上(S11)。如果即使从提供执行指令的时间点起经过了预设时段仍未显示表示协作功能执行完成的信息，则终端装置16的控制器48可以使UI单元46显示表示错误的信息，并且可以将执行指令信息或表示连接请求的信息再次发送到图像形成装置10和终端装置12。
随后，用户确定是否取消图像形成装置10和终端装置12的协作状态(S12)，并根据确定结果执行处理(S13)。在取消协作状态的情况下，用户通过使用终端装置16提供取消指令。因而，停止终端装置16与图像形成装置10和终端装置12中每一个的通信。此外，停止图像形成装置10与终端装置12之间的通信。在不取消协作状态的情况下，可以连续地提供执行指令。
此外，可以增加彼此协作的目标设备的数量。例如，可以获得第三设备的设备识别信息，并且可以指定要通过包括图像形成装置10和终端装置12的三个设备之间的协作执行的协作功能。表示已经将图像形成装置10和终端装置12识别为彼此协作的目标设备的信息存储在服务器14或终端装置16中。
表示彼此协作的目标设备的设备识别信息和表示所执行的协作功能的协作功能识别信息可以存储在终端装置16或服务器14中。例如，可以获得使用终端装置16的用户的用户账户信息(用户识别信息)，表示用户账户信息之间的对应性的历史信息、表示彼此协作的目标设备的设备识别信息、以及表示所执行的协作功能的协作功能识别信息可以创建并存储在终端装置16或服务器14中。该历史信息可以由终端装置16或服务器14创建。参考该历史信息，指定已经执行的协作功能和用于该协作功能的设备。
彼此协作的目标设备(例如，图像形成装置10和终端装置12)可以存储已经请求连接的用户的用户账户信息和表示已经请求连接的终端装置16的终端识别信息，作为历史信息。参考该历史信息，指定使用了这些设备的用户。在例如指定当设备发生故障时正在使用该设备的用户或者对消费品执行收费处理等的情况下，可以通过使用历史信息来指定用户。历史信息可以存储在服务器14或终端装置16中，或者可以存储在另一个装置中。
例如，用户账户信息预先存储在终端装置16的存储器44中。终端装置16的控制器48作为用户识别单元的一个例子，从存储器44读取用户的用户账户信息，并识别使用终端装置16的用户。如果多个用户的用户账户信息存储在存储器44中，则用户通过使用终端装置16指定他/她的用户账户信息。因而，读取了用户的用户账户信息并识别出用户。另选地，终端装置16的控制器48可以通过读取登录到终端装置16中的用户的用户账户信息而识别用户。另选地，如果仅有一条用户账户信息存储在同一个终端装置16中，则终端装置16的控制器48可以通过读取该一条用户账户信息而识别用户。如果未设置用户账户并且如果未创建用户账户信息，则执行初始设置并由此创建用户账户信息。
可以针对各个用户管理协作功能的使用历史，并且表示所读取的用户账户信息代表的用户先前使用的协作功能的信息可以显示在终端装置16的UI单元46上。表示使用历史的信息可以存储在终端装置16或服务器14中。此外，可以显示表示以预设或更高频率使用的协作功能的信息。通过提供这种快捷功能，可以减少与协作功能有关的用户操作。
第二示例性实施方式
下面，将描述根据本发明的第二示例性实施方式的充当信息处理系统的图像形成系统。图22例示了根据第二示例性实施方式的服务器14A。根据第二示例性实施方式的图像形成系统包括服务器14A，以代替根据第一示例性实施方式的服务器14。除了服务器14A以外，根据第二示例性实施方式的图像形成系统的构成与图1所示的根据第一示例性实施方式的图像形成系统的构成相同。
与根据第一示例性实施方式的服务器14类似，服务器14A管理协作功能，每个协作功能通过多个功能之间的协作执行。接下来，将参照图22详细描述服务器14A的构成。
服务器14A包括通信单元28、存储器30A和控制器36A。通信单元28具有与根据第一示例性实施方式的通信单元28相同的构成。
存储器30A是例如硬盘或SSD的存储装置。存储器30A例如存储设备功能信息32、协作功能信息144、各种数据、各种程序、表示各个设备的地址的设备地址信息等。当然，这些信息和数据可以存储在不同的存储装置中或者存储在一个存储装置中。存储在存储器30A中的设备功能信息32和协作功能信息144可以周期性地或者以预定的定时提供给终端装置16，因而可以对存储在终端装置16中的信息进行更新。
设备功能信息32是与根据第一示例性实施方式的设备功能信息32相同的信息。
协作功能信息144是表示要通过多个功能之间的协作执行的协作功能的信息，并且例如是表示代表用于识别彼此协作以执行协作功能的功能的功能识别信息的组合的信息与用于识别该协作功能的协作功能识别信息之间的对应性的信息。在多个设备彼此协作的情况下，协作功能信息144是表示要通过多个设备的多个功能之间的协作执行的协作功能的信息，并且是表示代表用于识别彼此协作以执行协作功能的设备的功能识别信息的组合的信息与协作功能识别信息之间的对应性的信息。
控制器36A对服务器14A的各个单元的操作进行控制。控制器36A包括指定单元38和协作功能登记单元146。
与根据第一示例性实施方式的指定单元38类似，指定单元38基于设备识别信息而识别设备，并指定该设备的功能。此外，指定单元38指定要通过彼此协作的目标设备的功能之间的协作而执行的协作功能。同样在第二示例性实施方式中，获得设备识别信息，并使用AR技术识别设备。当然，可以获得设备识别信息并可以使用除了AR技术以外的技术识别设备。
在第二示例性实施方式中，与彼此协作的目标设备有关的设备图像显示在终端装置16的UI单元46上，通过将设备图像彼此叠置而指定协作功能，并且与该协作功能有关的信息显示在终端装置16的UI单元46上。
协作功能登记单元146具有对协作功能进行登记的功能。例如，协作功能登记单元146将要登记的目标协作功能的登记信息与用于执行协作功能的要显示的图像(例如，快捷方式图像)彼此关联。该图像例如是通过将设备图像彼此叠置而生成的图像，或者是示意性表示叠置的目标设备的图像。
下面，将详细描述根据第二示例性实施方式的图像形成系统。
首先，将参照图23详细描述协作功能信息144。图23例示了作为协作功能信息144的协作功能管理表的一个例子。例如，在协作功能管理表中，表示设备ID的组合的信息、表示彼此协作的目标设备的名称(例如，类型)的信息、和表示协作功能的信息(例如，协作功能识别信息)彼此关联。与图7中所示的根据第一示例性实施方式的协作功能管理表不同，根据第二示例性实施方式的协作功能管理表不包括表示链接顺序的信息和表示优先级顺序的信息。
下面，将参照图24A至图25B详细描述指定协作功能的操作。图24A至图25B例示了在终端装置16的UI单元46上显示的画面的一个例子。
例如，与第一示例性实施方式中一样，假设通过使用AR技术等将图像形成装置10(MFP(B))和终端装置12(PC(A))识别为彼此协作的目标设备。如图24A所示，设备显示画面62显示在终端装置16的UI单元46上，并且与识别出的设备(图像形成装置10和终端装置12)有关的设备图像64和66显示在设备显示画面62上。在该状态下，用户通过使用指示器(例如，用户的手指、笔或触笔)将与目标设备中的一个有关的设备图像叠置在与另一个目标设备有关的设备图像上。例如，如图24B所示，用户通过使用操作器指定设备图像64，并将设备图像64叠置在设备图像66上，如箭头148所示。例如，用户通过执行拖放操作将设备图像彼此叠置。具体而言，用户拖动设备图像64并将其放在设备图像64叠置在设备图像66之上的位置处。拖放操作是根据相关技术的一种技术。另选地，可以根据用户提供的语音指令指定彼此叠置的设备图像(与彼此协作的目标设备有关的图像)。例如，根据用户提供的语音指令，设备图像64和66可以指定为目标设备图像，并且可以彼此叠置。
作为设备图像64和66彼此叠置的结果，与设备图像64有关的图像形成装置10(MFP(B))以及与设备图像66有关的终端装置12(PC(A))被指定为彼此协作的目标设备。在图24B所示的例子中，设备图像64叠置在设备图像66上。另选地，设备图像66可以叠置在设备图像64上。
终端装置16的控制器48可以使正在被拖动的设备图像以可识别的方式显示在UI单元46上。例如，正在被拖动的设备图像可以半透明地或者以特定颜色显示。
当设备图像64叠置在设备图像66上时，确认画面150显示在终端装置16的UI单元46上，如图24C所示。确认画面150是用于确认是否使得被指定的设备彼此协作的画面。如果用户在确认画面150上提供了协作指令(例如，用户按下了“是”按钮)，则与协作功能有关的信息显示在终端装置16的UI单元46上。具体而言，如果指定了彼此协作的目标设备(例如，图像形成装置10和终端装置12)并提供了协作指令，则服务器14A的指定装置38在图23中所示的协作功能管理表(协作功能信息144)中指定与PC(A)和MFP(B)的组合相关联的协作功能。因而，指定了通过PC(A)与MFP(B)之间的协作执行的协作功能。与按照该方式指定的协作功能有关的信息从服务器14发送到终端装置16，并作为与候选协作功能有关的信息显示在终端装置16的UI单元46上。
例如，如图25A所示，终端装置16的控制器48使UI单元46显示协作功能显示画面152，并在协作功能显示画面152上显示与候选协作功能有关的信息。例如，通过使PC(A)与MFP(B)彼此协作，实现了扫描并传送功能和打印功能。因此，与扫描并传送功能有关的信息以及与打印功能有关的信息显示在协作功能显示画面152上。
如果用户指定了协作功能并且用户提供了执行指令，则将连接请求从终端装置16发送到彼此协作的目标设备。如图25B所示，在对连接请求进行处理的同时在终端装置16的UI单元46上显示等待画面154。当成功建立了终端装置16与目标设备之间的连接时，执行所指定的协作功能。
如上所述，根据第二示例性实施方式，与设备有关的设备图像彼此叠置，由此指定使用这些设备的功能的协作功能。因此，可以使这些功能彼此协作而无需除了图像操作以外的特殊操作，并且可以利用简单的操作使这些功能彼此协作。
下面，将描述第二示例性实施方式的修改例。
第五修改例
下面，将参照图26A至27描述第五修改例。图26A至图27例示了在终端装置16的UI单元46上显示的画面的一个例子。在第五修改例中，多个设备图像彼此叠置，然后生成并显示表示叠置状态的新图像。下面，将详细描述第五修改例。
同样在第五修改例中，假设图像形成装置10(MFP(B))和终端装置12(PC(A))被识别为彼此协作的目标设备，并且设备图像64和66显示在终端装置16中的设备显示画面62上，如图26A所示。例如，假设用户通过使用操作器将设备图像64叠置在设备图像66上，如箭头156所示。作为设备图像64和66彼此叠置的结果，与设备图像64有关的图像形成装置10(MFP(B))以及与设备图像66有关的终端装置12(PC(A))被指定为彼此协作的目标设备。
当设备图像64叠置在设备图像66上时，确认画面158显示在终端装置16的UI单元46上，如图26B所示。确认画面158是用于确认是否使指定的设备彼此协作的画面，并且是用于确认是否存在要使之协作的另一个设备的画面。如果用户提供了使得MFP(B)与PC(A)协作的指令(例如，如果用户按下“是”按钮以使MFP(B)与PC(A)协作)，则使得MFP(B)与PC(A)协作。如果存在要使之协作的另一个设备(例如，如果用户按下“是”按钮以使得另一个设备协作)，则显示设备显示画面62，如图26C所示。在设备显示画面62上，显示通过将叠置的设备图像64和66成组而生成的新的设备图像160。例如可以由终端装置16的控制器48或者服务器14A的控制器36A生成新的设备图像160。设备图像160是表示设备图像64叠置在设备图像66上的状态的图像。
在第五修改例中，终端装置16的控制器48使新生成的设备图像160保留在设备显示画面62上。如果用户改变了终端装置16的照相机42的视野，则在设备显示屏62上显示设备图像160的同时，终端装置16的控制器48使照相机42捕捉的图像显示在设备显示画面62上。在该情况下，已被指定为彼此协作的目标设备(例如，MFP(B)和PC(A))的那些设备的识别信息存储在终端装置16或服务器14A的存储器中。
例如，在使用未处于如图26A所示状态下的视野内的投影仪(C)作为协作的目标设备的情况下，用户改变照相机42的方位，使得投影仪(C)包含在照相机42的视野内，同时设备图像160显示在设备显示画面62上，如图26C所示，然后捕捉投影仪(C)的图像。因而，投影仪(C)的图像由照相机42捕捉，并且与投影仪(C)有关的设备图像138显示在设备显示画面62上，并且识别出投影仪(C)。如箭头162所示，如果用户将新的设备图像160叠置在设备图像138上，则将与设备图像138相关联的设候选择为协作的目标设备。如果不再存在要协作的设备，则由服务器14指定要通过已经指定的目标设备之间的协作执行的协作功能，并且与该协作功能有关的信息从服务器14发送到终端装置16，并显示在终端装置16的UI单元46上。例如，如果用户在图26B所示的确认画面158上按下了“否”按钮以提供表示不存在要使之协作的设备的指令，则在终端装置16的UI单元46上显示与该协作功能有关的信息。
如上所述，根据第五修改例，通过彼此叠置设备图像而生成的新设备图像叠置在与协作的另一个候选设备有关的设备图像上，因而增加了彼此协作的设备的数量。新设备图像表示与彼此协作的目标设备有关的设备图像彼此叠置的状态。因此，作为显示该新设备图像的结果，从可视的观点可以容易地识别出被指定为彼此协作的目标设备的那些设备。
可以省略显示确认画面158。在该情况下，如果在设备图像彼此叠置后用户提供了显示协作功能的指令，则在终端装置16的UI单元46上显示与通过叠置所指定的彼此协作的目标设备执行的协作功能有关的信息。
在第五修改例中，通过将彼此叠置的设备图像成组而生成了新设备图像。另选地，彼此叠置的设备图像可以用另一个图像代替，并且可以将该图像显示在设备显示画面62上。例如，如图27所示，新设备图像64显示在设备显示画面62上以代替通过成组而生成的设备图像160，并且如箭头166所示地操作该新设备图像164。设备图像164是示意性表示MFP(B)和PC(A)的图像，表示MFP(B)的功能和PC(A)的功能的图像的图像等。可以由终端装置16的控制器48或者服务器14A的控制器36A生成设备图像164。作为将表示功能的图像显示为新设备图像的结果，从可视的观点可以容易地识别出被指定为彼此协作的目标功能的功能。
在图27所示的例子中，利用新设备图像164自动代替设备图像160。在进行该代替时，可以在终端装置16的UI单元46上显示确认画面。图28例示了确认画面的一个例子。在多个设备图像彼此叠置后，在终端装置16的UI单元46上显示确认画面168。在确认画面168上，显示通过将多个设备图像和示意设备图像164成组而生成的设备图像160。如果用户提供了用于代替图像的指令(例如，如果用户按下了“是”按钮)，则设备图像160由示意设备图像164代替，并且在设备显示画面62上显示该示意设备图像，如图27所示。
第六修改例
下面，将参照图29A至31C描述第六修改例。图29A至图31C例示了在终端装置16的UI单元46上显示的画面的一个例子。在第六修改例中，在上次协作生成的设备图像用作当下次执行协作功能时用于快捷按钮的图像。下面，将详细描述第六修改例。
在第六修改例中，与第五修改例中一样，假设设备图像64和66彼此叠置，图像形成装置10(MFP(B))和终端装置12(PC(A))被识别为彼此协作的目标设备，并且通过对设备图像64和66成组而生成新设备图像160。
如果用户通过使用终端装置16提供指令以将新设备图像160登记为用于快捷按钮的图像，则在终端装置16的UI单元46上显示协作功能登记画面170，如图29A所示。在协作功能登记画面170上，显示新设备图像160，并且还显示要通过MFP(B)与PC(A)之间的协作执行的协作功能的登记信息。例如，将协作功能的名称、协作功能的概要和表示协作所需要的设备的信息显示为登记信息。用户可以通过使用终端装置16对登记信息(例如，协作功能的名称或概要)进行编辑。
如果用户在协作功能登记画面170上提供了不登记用于协作功能的快捷功能的指令(例如，用户按下了“否”按钮)，则在终端装置16的UI单元46上显示确认画面172，如图29B所示。如果用户在确认画面172上提供结束指令(例如，用户按下用于结束登记的“是”按钮)，则协作功能登记处理结束。如果用户提供局部编辑指令(例如，如果用户按下用于局部编辑的“是”按钮)，则画面转换到协作功能登记画面170。
另一方面，如果用户在协作功能登记画面170上提供登记用于协作功能的快捷功能的指令(例如，如果用户按下了“是”按钮)，则在终端装置16的UI单元46上显示确认画面174，如图30A所示。如果用户在确认画面174上提供创建快捷按钮的指令(例如，如果用户按下“是”按钮)，则生成表示用于执行协作功能的快捷按钮的图像(快捷按钮图像)。该快捷按钮图像可以由终端装置16或服务器14A创建。例如，如图30B所示，快捷按钮图像178显示在终端装置16的UI单元46的画面176(例如，桌面画面)上。快捷按钮图像178包括设备图像160。例如，服务器14A的协作功能登记单元146将目标协作功能的登记信息与快捷按钮图像178关联起来。当然，该关联可以由终端装置16执行。如果生成并登记多个快捷按钮图像，则在画面176上显示这些快捷按钮图像的列表。协作功能的登记信息和快捷按钮图像例如存储在终端装置16中。另选地，协作功能的登记信息和快捷按钮图像可以存储在与用户账户信息相关联的服务器14A中。在该情况下，如果用户账户信息从终端装置16发送到服务器14A，则与用户账户相关联的信息(协作功能的登记信息和快捷按钮图像)从服务器14A发送到终端装置16并显示在终端装置16上。
快捷按钮图像178包括状况(status)图像180和182。每个状况图像是表示协作的目标设备的状况的图像，亦即，表示目标图像是否处于能够执行协作功能的状态的图像。例如，状况图像180是表示图像形成装置10(MFP(B))的状况的图像，状况图像182是表示终端装置12(PC(A))的状况的图像。如果协作的目标设备处于能够执行协作功能的状态，则以表示该状态的特定颜色(例如，绿色或蓝色)显示该状况图像。如果协作的目标设备处于不能执行协作功能的状态，则以表示该状态的特定颜色(例如，白色或红色)显示该状况图像。在图30B所示的例子中，以绿色显示状况图像180，并以白色显示状况图像182。因此，图像形成装置10(MFP(B))处于能够执行协作功能的状态，而终端装置12(PC(A))处于不能执行协作功能的状态。当然，可以由除了颜色以外的信息表示彼此协作的目标设备的状况。例如，可以显示具有与状况相对应的形状的状况图像，或者可以显示表示状况的字符串。
能够执行协作功能的状态例如是设备没有正在被另一个用户使用或者设备未发生故障的状态。不能够执行协作功能的状态例如是设备正在被另一个用户使用或者设备发生故障的状态。例如，终端装置16从目标设备获得表示目标设备的状况的信息，并基于该信息以特定颜色显示状况图像。另选地，服务器14A可以从目标设备获得表示目标设备的状况的信息，并且终端装置16可以从服务器14A获得该信息。
如上所述，彼此关联地管理协作功能和快捷按钮图像。因而，可以减少用于下次执行协作功能的操作。
图31A至31C例示了用于协作功能的观看并编辑画面的一个例子。如果用户通过使用终端装置16提供指令以观看与协作功能有关的登记信息，则在终端装置16的UI单元46上显示观看并编辑画面184，如图31A所示。在观看并编辑画面184上，显示作为显示图像的快捷图像、协作功能的登记信息(例如，协作功能的名称、协作功能的概要和要链接的设备的名称)等。例如，如果用户在观看并编辑画面184上指定与要编辑的协作功能有关的项目(例如，显示图像、协作功能的名称、协作功能的概要或要链接的设备的名称)，则在终端装置16的UI单元46上显示确认画面186，如图31B所示。例如，如果用户指定了协作功能的名称，则显示用于确认是否对协作功能的名称进行编辑的确认画面186。如果用户在确认画面186上按下“是”按钮，则在终端装置16的UI单元46上显示编辑画面188，如图31C所示。在编辑画面188上，用户对协作功能的名称进行编辑，然后在编辑画面188上显示编辑之前的名称和编辑之后的名称。如果用户提供反映该编辑的指令(例如，如果用户按下“是”按钮)，则反映该编辑。例如，连同快捷图像一起在终端装置16的UI单元46的桌面画面上显示编辑之后的名称。可以按类似地方式对除了协作功能的名称以外的项目进行编辑。
第七修改例
下面，将参照图32A和图32B描述第七修改例。图32A和图32B例示了在终端装置16的UI单元46上显示的画面的一个例子。在第七修改例中，在选择了彼此叠置的目标设备图像后，如果在设备显示画面62上未显示设备图像的区域内取消了该选择，则取消协作功能。
例如，如图32A所示，假设设备图像64叠置在设备图像66上，由此生成并显示新设备图像160。在该情况下，如果用户选择设备图像160并随后在设备显示画面62上未显示设备图像的区域内取消了对设备图像160的选择，如箭头190所示，则取消要通过MFP(B)与PC(A)之间的协作执行的协作功能。亦即，作为将设备图像160拖动到未显示设备图像的区域并将设备图像160放在该区域中的结果，取消协作功能，并且状态转换到设备彼此协作之前的状态。例如，表示拖放操作的信息从终端装置16发送到服务器14A，并且服务器14A的指定单元38取消协作功能。当然，终端装置16可以取消协作功能。
图32B例示了在取消协作功能后的设备显示画面62。在设备不彼此协作的状态中，设备图像64、66和138分开显示而未彼此叠置。
如上所述，根据第七修改例，作为取消选择彼此叠置的设备图像的结果，无需执行另一个特殊操作就取消了相应的协作功能。因此，与需要除了取消选择操作以外的特殊操作以取消协作功能的情形相比，可以容易地取消协作功能。
另选地，在取消协作的情况下，用户可以在设备显示画面62上指定与目标设备有关的设备图像，或者可以按下协作取消按钮。如果在设备显示画面62上显示除了彼此协作的目标设备以外的设备，则用户可以在设备显示画面62上指定与该设备有关的设备图像，以从彼此协作的目标设备中消除该设备。如果执行预设操作以将十字标记等附接至与取消的目标设备有关的设备图像，则可以从彼此协作的目标设备中消除该设备。
第八修改例
下面，将参照图33A和图33B描述第八修改例。图33A和图33B例示了在终端装置16的UI单元46上显示的画面的一个例子。
同样在第八修改例中，图像形成装置10(MFP(B))和终端装置12(PC(A))被识别为彼此协作的目标设备，并且设备图像64和66显示在终端装置16中的设备显示画面62上，如图33A所示。如箭头192所示，设备图像64叠置在设备图像66上，因而生成并显示新设备图像160。图像形成装置10(MFP(B))和终端装置12(PC(A))被指定为彼此协作的目标设备。
在第八修改例中，在使得通过叠置而最后生成的设备图像显示在设备显示画面62上的同时，终端装置16的控制器48使照相机42的视野改变并使得改变后的视野显示在设备显示画面62上。在该情况下，彼此协作的设备(与彼此叠置的设备图像有关的设备)的识别信息存储在终端装置16或服务器14A中。
在图33A所示例子中，显示通过将设备图像64叠置在设备图像66上而生成的新设备图像160，因此，在设备显示画面62上保持显示设备图像160。例如，在使用未处于如图33A所示状态下的视野内的投影仪(C)的情况下，用户改变照相机42的方位，使得投影仪(C)包含在照相机42的视野内，同时设备图像160显示在设备显示画面62上，如图33B所示，然后捕捉投影仪(C)的图像。因而，投影仪(C)的图像由照相机42捕捉，并且与投影仪(C)有关的设备图像138显示在设备显示画面62上。作为将设备图像160叠置在设备图像138上的结果，投影仪(C)被指定为协作的目标设备。
根据第八修改例，即使一次并未捕捉彼此协作的多个目标设备的图像，也能够分别捕捉该多个设备的图像，并且该多个设备可以彼此协作。
在上述例子中，通过叠置而最后生成的设备图像保持显示在设备显示画面62上。另选地，用户指定的设备图像、与首先被捕捉图像的设备有关的设备图像、或者与预设基本设备有关的设备图像可以保持显示在设备显示画面62上。同样在该情况下，可以分别捕捉多个设备的图像，并且该多个设备可以彼此协作。
第九修改例
下面，将描述第九修改例。在第九修改例中，应用根据第一示例性实施方式的处理。亦即，根据设备图像彼此叠置的顺序，确定对与协作功能有关的信息进行显示的优先级顺序。例如，如图24B所示，如果设备图像64被选择并叠置在设备图像66上，则做出从设备图像64到设备图像66的链接。因而，与设备图像64有关的图像形成装置10(MFP(B))以及与设备图像66有关的终端装置12(PC(A))被指定为彼此协作的目标设备，并且还指定了其链接顺序。设备图像彼此叠置的顺序对应于链接顺序。在图24B所示的例子中，链接从图像形成装置10(MFP(B))到终端装置12(PC(A))。
在第九修改例中，服务器14A根据第一示例性实施方式存储协作功能信息34(图7中所示的协作功能管理表)。如上所述，当指定了彼此协作的目标设备(例如，图像形成装置10和终端装置12)时，服务器14A的指定装置38在图7所示的协作功能管理表(协作功能信息34)中指定与PC(A)和MFP(B)相关联的协作功能。因而，指定了通过PC(A)与MFP(B)之间的协作实现的协作功能。此外，当用户指定了设备的链接顺序时，指定单元38指定协作功能管理表中与链接顺序相关联的优先级顺序。
与协作功能有关的信息以及表示按上述方式指定的优先级顺序的信息从服务器14A发送到终端装置16。终端装置16的控制器48根据优先级顺序使UI单元46显示与协作功能有关的信息作为与候选协作功能有关的信息。
如上所述，根据第九修改例，通过将设备图像彼此叠置而指定使用设备的功能的协作功能。此外，通过改变将设备图像彼此叠置的顺序(亦即，设备彼此链接的顺序)来改变与协作功能有关的信息的显示顺序。因此，优先显示与预期由用户使用的协作功能有关的信息，而无需除了将设备图像彼此叠置的操作以外的特殊操作。
第十修改例
下面，将参照图34A和图34B描述第十修改例。图34B和图34B例示了在终端装置16的UI单元46上显示的画面的一个例子。
在第十修改例中，与第一示例性实施方式的第一修改例中一样，指派给协作功能的设备的功能根据与设备有关的设备图像中的位置而改变。在设备图像中的特定局部图像叠置在另一个设备图像中的特定局部图像上的情况下，指定使用与这些特定局部图像有关的功能的协作功能。下面，将详细描述第十修改例。
同样在第十修改例中，假设识别出图像形成装置10(MFP(B))和终端装置12(PA(A))。如图34A所示，设备显示画面62显示在终端装置16的UI单元46上，并且设备图像64和66显示在设备显示画面62上。与第一示例性实施方式的第一修改例中一样，打印功能与设备图像64中的局部图像76相关联，扫描功能与设备图像64中的局部图像78相关联，装订功能与设备图像64中的局部图像80相关联。此外，数据存储功能与设备图像66中的局部图像82相关联，画面显示功能与设备图像66中的局部图像84相关联。在第十修改例中，每个局部图像显示为能够从另一个局部图像单独移动的图像。
与第一示例性实施方式的第一修改例中一样，可以在设备显示画面62上显示各个功能(例如，打印、扫描等)的名称，并且可以在设备显示画面62上显示接触区域图像90。在该情况下，可以改变与用户指定的局部图像相对应的接触区域图像的颜色，或者可以改变与叠置的局部图像相对应的接触区域图像的颜色。当然，不一定显示功能和接触区域图像的名称。
在第十修改例中，如果用户指定了局部图像，并且如果该局部图像叠置于另一个局部图像上，则指定使用与叠置的局部图像有关的功能的协作功能，并且在终端装置16的UI单元46上显示与协作功能有关的信息。该指定处理可以由服务器14A的指定单元38或终端装置16执行。
例如，如图34B中的箭头194所示，如果用户通过使用操作器拖动局部图像78并将其放在局部图像84上，则将与包括局部图像78的设备图像64有关的MFP(B)以及与包括局部图像84的设备图像66有关的PC(A)指定为彼此协作的目标设备，并且将与局部图像78相对应的扫描功能以及与局部图像84相对应的画面显示功能也指定为彼此协作的目标功能。
在服务器14A中，对与各个局部图像相对应的功能进行管理。例如，用于识别局部图像的识别信息、表示与局部图像相关联的功能的功能识别信息、以及表示通过功能之间的协作执行的协作功能的协作功能识别信息彼此关联地存储在服务器14A中。如果在设备显示画面62上选择了一个局部图像并将其叠置在另一个局部图像上，将表示彼此叠置的局部图像的识别信息从终端装置16发送到服务器14A。在图34B所示的例子中，将表示局部图像78和84的识别信息从终端装置16发送到服务器14A。服务器14A的指定单元38基于这些识别信息指定与局部图像78和84相对应的功能，并指定使用这些功能的协作功能。与该协作功能有关的信息从服务器14A发送到终端装置16，并显示在终端装置16上。
如上所述，根据第十修改例，在彼此协作的目标设备中的每一个具有多个功能的情况下，在这些目标设备的每一个中选择一个功能，并且优先显示与使用所指定的功能的协作功能有关的信息。因而，优先显示预期由用户使用的协作功能。
同样在第十修改例中，与第一示例性实施方式中一样，可以根据局部图像彼此叠置的顺序来改变协作功能的显示优先级顺序。在该情况下，优先显示与使用关于叠置局部图像的功能的协作功能有关的信息。
第十一修改例
下面，将描述第十一修改例。在第十一修改例中，与第十修改例中一样，指派给协作功能的设备的功能根据与该设备有关的设备图像中的位置而改变。然而，与第十修改例中不同，局部图像不能从另一个局部图像单独移动。在第十一修改例中，与图24B中所示的例子一样，用户将整个设备图像移动并叠置在另一个设备图像上。此时，根据叠置的位置改变协作功能。将参照图34A使用特定例子对此进行描述。例如，假设用户对与MFP(B)有关的整个设备图像64进行操作并将其叠置在与PC(A)有关的设备图像66上。在该情况下，如果设备图像64中的局部图像78(与扫描功能有关的局部图像)叠置在设备图像66中的局部图像84(与画面显示功能有关的局部图像)上，则优先显示与使用扫描功能和画面显示功能的协作功能有关的信息。
同样在上述第二示例性实施方式和第五至第十一修改例中，与第一示例性实施方式中一样，根据图21所示的顺序将彼此协作的目标设备彼此连接。
此外，在上述第二示例性实施方式和第五至第十一修改例中，与识别出的设备有关的设备图像和彼此叠置的设备图像可以三维显示以与背景图像区分开。亦即，这些图像可以显示为三维图像。例如，背景图像是二维显示，设备图像是三维显示。因而，可以提高设备图像的可视性。此外，可以改变用户指定的设备图像的颜色，或者指定的设备图像可以闪烁，使得将指定的设备图像与其他设备图像区分开。
在上述第一和第二示例性实施方式和第一至第七修改例中，通过识别例如设备之类的硬件单元来实现协作功能。另选地，可以通过识别软件单元来使软件单元(应用程序)的功能彼此协作。例如，可以通过链接或叠置例如与显示在智能电话主画面上或者个人计算机的桌面画面上的功能有关的图标(对应于与功能有关的图像的例子)的图像来指定协作功能，并且可以显示与协作功能有关的信息。在该情况下，可以根据图像的链接或叠置顺序来改变显示协作功能的优先级顺序。
根据上述第一和第二示例性实施方式和第一至第十一修改例，通过应用AR技术指定使用彼此协作的目标设备的功能的协作功能，并显示与该协作功能有关的信息。因而，即使用户从设备的外观并不知道哪个协作功能可以由彼此协作的目标设备执行，也向用户提供了与协作功能有关的信息。此外，通过使设备彼此协作，不能由单一设备执行的功能变得可用，从而可以提供便利。此外，仅通过应用AR技术识别彼此协作的目标设备而使得协作功能变得可用。因此，与用户手动执行设置以执行协作功能的情形相比，通过简单操作就使得协作功能变得可用，因而可以减小用户的劳动。
在多个设备由多个用户使用的环境中，在每个用户的终端装置16上显示与协作功能有关的信息。例如，即使从设备上移除了例如触摸屏的用户接口，终端装置16也可以充当用户接口，并在每个用户的终端装置16上显示与协作功能有关的信息。在另一种情况下，例如，如果用户在行动中临时使用多个设备，则显示适于用户的用户接口，即显示与使用用户指派并彼此协作的目标设备的功能的协作功能有关的信息的用户接口。
在上述第一和第二示例性实施方式和第一至第十一修改例中执行协作功能的操作中，如果通过预先捕捉设备的图像或者通过接收借助另一个用户的识别而获得的设备识别信息和设备的图像已经识别出设备，则该设备识别信息和设备的图像可以存储在服务器14的存储器或终端装置16中，可以通过激活编辑画面以执行协作功能来从存储器中读取该设备识别信息和设备的图像，设备的图像可以彼此链接或彼此叠置，由此可以执行协作功能。下面，将参照图35描述具体例子。图35例示了在终端装置16上显示的编辑画面196。例如，在编辑画面196上，显示了与PC(A)有关的设备图像66、与MFP(B)有关的设备图像64、与投影仪(C)有关的设备图像138、以及与照相机(D)有关的设备图像198。如上所述，这些图像是先前已经获得并存储在服务器14的存储器或者终端装置16中的图像。当执行协作功能时，这些图像从存储器中读取并显示在编辑画面196上。如上所述，通过在编辑画面196上链接或叠置图像而执行协作功能。通过执行这种处理，无需在每次执行协作功能时都捕捉先前已经识别的设备的图像，并且可以有效地执行协作功能。此外，仅显示照相机捕捉的设备的图像，因此可以提高要操作的设备的可视性。
例如，通过硬件资源和软件资源之间的协作实现图像形成装置10、终端装置12和16、以及服务器14和14A中的每个。具体而言，图像形成装置10、终端装置12和16、以及服务器14和14A中的每一个包括一个或多个处理器，例如中央处理器(CPU)，未对此加以例示。该一个或多个处理器读取并执行存储在存储装置(未示出)中的程序，由此实现图像形成装置10、终端装置12和16、以及服务器14和14A的各个单元的功能。该程序通过例如压缩盘(CD)或数字通用盘(DVD)的记录介质、或者通过例如网络的通信路径存储在存储装置中。另选地，可以通过例如处理器或电子电路之类的硬件资源实现图像形成装置10、终端装置12和16、以及服务器14和14A的各个单元。可以将例如存储器的装置用于该实现。另选地，可以通过数字信号处理器(DSP)或现场可编程门阵列(FPGA)实现图像形成装置10、终端装置12和16、以及服务器14和14A的各个单元。
以上出于例示和说明的目的而描述了本发明的示例性实施方式。以上描述并非是穷尽的，也不是为了将本发明限于所公开的确切形式。显然，对本领域技术人员而言，许多修改和变型是显而易见的。所选取并描述的实施方式是为了最佳地说明本发明的原理和实际应用，由此使得本领域其他技术人员能够理解本发明的各种示例性实施方式和各种修改适于所设想的特定用途。本发明的范围由所附权利要求书及其等同物限定。

Claims (26)

1.一种信息处理装置，所述信息处理装置包括：
控制器，所述控制器根据与已经识别的设备有关的图像彼此链接的顺序，改变对使用所述设备的功能的一个或多个协作功能进行显示的优先级顺序，
其中，指派给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的位置而改变，并且
其中，在设备图像中的特定局部图像叠置在另一个设备图像中的特定局部图像上的情况下，指定使用与这些特定局部图像有关的功能的协作功能。
2.根据权利要求1所述的信息处理装置，所述信息处理装置进一步包括：
接收所捕捉的所述设备的图像的接收器。
3.根据权利要求1所述的信息处理装置，所述信息处理装置进一步包括：
捕捉所述设备的图像的图像捕捉单元。
4.根据权利要求3所述的信息处理装置，其中，与所述设备有关的图像是由所述图像捕捉单元捕捉的图像。
5.根据权利要求2或4所述的信息处理装置，所述信息处理装置进一步包括：
存储所捕捉的图像的存储器。
6.根据权利要求5所述的信息处理装置，其中，所述控制器读取存储在所述存储器中的所述图像并使得显示编辑画面，所述编辑画面用于将所述图像彼此链接。
7.根据权利要求1所述的信息处理装置，其中，如果针对预设时段指定了所述图像中的一个，则所述控制器使得显示与所指定的图像有关的设备的功能列表。
8.根据权利要求1所述的信息处理装置，其中，如果用户以预设的接触力触摸了所述图像中的一个，则所述控制器使得显示与所触摸的图像有关的设备的功能列表。
9.根据权利要求1所述的信息处理装置，其中，如果指定了所述图像中的一个并且如果提供了对功能进行显示的指令，则所述控制器使得显示与所指定的图像有关的设备的功能列表。
10.根据权利要求7至9中任意一项所述的信息处理装置，其中，从所述功能列表中选择用于执行所述一个或多个协作功能中的一个协作功能的功能。
11.一种信息处理装置，所述信息处理装置包括：
控制器，所述控制器根据与已经识别的功能有关的图像彼此链接的顺序，改变对使用所述功能的一个或多个协作功能进行显示的优先级顺序，
其中，指派给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的位置而改变，并且
其中，在设备图像中的特定局部图像叠置在另一个设备图像中的特定局部图像上的情况下，指定使用与这些特定局部图像有关的功能的协作功能。
12.根据权利要求1或11所述的信息处理装置，其中，所述控制器使得所述图像以可识别的状态进行显示。
13.根据权利要求12所述的信息处理装置，其中，所述控制器使得所述图像三维地进行显示。
14.根据权利要求1或11所述的信息处理装置，其中，所述图像彼此链接的顺序是要使用的功能执行所述一个或多个协作功能中的一个协作功能的顺序。
15.根据权利要求1或11所述的信息处理装置，其中，所述图像彼此链接的顺序是在执行所述一个或多个协作功能中的一个协作功能的情况下将数据从一个设备移动到另一个设备的顺序。
16.根据权利要求1或11所述的信息处理装置，其中，所述控制器使得改变图像捕捉单元的视野，并使得显示改变后的视野同时使得显示所述图像中最后链接的图像。
17.根据权利要求1或11所述的信息处理装置，其中，所述控制器使得在所述图像中与指派给所述协作功能的功能相对应的位置处叠置并显示接触区域图像。
18.根据权利要求17所述的信息处理装置，其中，所述控制器使得所述接触区域图像以可识别的状态进行显示。
19.根据权利要求18所述的信息处理装置，其中，所述控制器使得所述接触区域图像三维地进行显示。
20.根据权利要求18或19所述的信息处理装置，其中，如果指定了所述接触区域图像中的一个，则所述控制器改变所指定的接触区域图像的显示形式。
21.根据权利要求20所述的信息处理装置，其中，所述显示形式是所述接触区域图像的颜色和形状中的至少一种。
22.根据权利要求1或11所述的信息处理装置，其中，如果就链接顺序而言指定了紧接在与要取消的目标功能相对应的图像之前的图像，则取消所述一个或多个协作功能中的、与所述目标功能所对应的图像有关的一个协作功能。
23.根据权利要求1或11所述的信息处理装置，其中，所述控制器使得显示由用户执行的用于将所述图像彼此链接的操作的轨迹。
24.根据权利要求1或11所述的信息处理装置，其中，所述图像根据用户提供的语音指令而彼此链接。
25.一种信息处理方法，所述信息处理方法包括：
根据与已经识别的设备有关的图像彼此链接的顺序，改变对使用所述设备的功能的一个或多个协作功能进行显示的优先级顺序，
其中，指派给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的位置而改变，并且
其中，在设备图像中的特定局部图像叠置在另一个设备图像中的特定局部图像上的情况下，指定使用与这些特定局部图像有关的功能的协作功能。
26.一种信息处理方法，所述信息处理方法包括：
根据与已经识别的功能有关的图像彼此链接的顺序，改变对使用所述功能的一个或多个协作功能进行显示的优先级顺序，
其中，指派给所述一个或多个协作功能中的一个协作功能的功能根据所述图像中的位置而改变，并且
其中，在设备图像中的特定局部图像叠置在另一个设备图像中的特定局部图像上的情况下，指定使用与这些特定局部图像有关的功能的协作功能。
CN201611128167.1A 2016-05-06 2016-12-09 信息处理装置和信息处理方法 Active CN107346218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111674673.1A CN114327309A (zh) 2016-05-06 2016-12-09 信息处理装置和非暂时性计算机可读介质

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2016-093291 2016-05-06
JP2016-093290 2016-05-06
JP2016-093292 2016-05-06
JP2016093290 2016-05-06
JP2016093292A JP6090511B1 (ja) 2016-05-06 2016-05-06 端末装置及びプログラム
JP2016093291A JP6024848B1 (ja) 2016-05-06 2016-05-06 情報処理装置及びプログラム
JP2016128344A JP6052458B1 (ja) 2016-06-29 2016-06-29 情報処理装置及びプログラム
JP2016-128344 2016-06-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111674673.1A Division CN114327309A (zh) 2016-05-06 2016-12-09 信息处理装置和非暂时性计算机可读介质

Publications (2)

Publication Number Publication Date
CN107346218A CN107346218A (zh) 2017-11-14
CN107346218B true CN107346218B (zh) 2022-07-26

Family

ID=60244148

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611128167.1A Active CN107346218B (zh) 2016-05-06 2016-12-09 信息处理装置和信息处理方法
CN202111674673.1A Pending CN114327309A (zh) 2016-05-06 2016-12-09 信息处理装置和非暂时性计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111674673.1A Pending CN114327309A (zh) 2016-05-06 2016-12-09 信息处理装置和非暂时性计算机可读介质

Country Status (2)

Country Link
US (1) US10382634B2 (zh)
CN (2) CN107346218B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447689B1 (ja) 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6965704B2 (ja) * 2017-11-27 2021-11-10 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
JP7070117B2 (ja) * 2018-06-07 2022-05-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1365459A (zh) * 2000-03-27 2002-08-21 精工爱普生株式会社 投影显示系统及投影器和其菜单图像显示法
CN1854920A (zh) * 2005-04-26 2006-11-01 佳能株式会社 信息处理设备及相关方法、成像设备及相关控制方法
CN101600031A (zh) * 2008-06-03 2009-12-09 佳能株式会社 作业处理方法、图像处理系统及图像处理装置
CN102215413A (zh) * 2010-04-07 2011-10-12 索尼公司 图像合成设备、图像合成方法和程序
CN102256035A (zh) * 2007-12-26 2011-11-23 佳能株式会社 图像处理设备和处理流程控制方法
CN102713870A (zh) * 2009-10-20 2012-10-03 佳能株式会社 与外围设备通信的信息处理设备、方法以及控制程序
CN102833502A (zh) * 2008-09-22 2012-12-19 索尼株式会社 显示控制装置、显示控制方法和程序
CN104656890A (zh) * 2014-12-10 2015-05-27 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机及互动实现方法
CN104811687A (zh) * 2015-04-24 2015-07-29 小鸟科技有限公司 一种虚拟现实头盔的电路系统和虚拟现实头盔
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN204965778U (zh) * 2015-09-18 2016-01-13 华中师范大学 一种基于虚拟现实与视觉定位的幼儿教学系统
CN105450736A (zh) * 2015-11-12 2016-03-30 小米科技有限责任公司 与虚拟现实连接的方法和装置
CN105446524A (zh) * 2014-09-23 2016-03-30 大陆汽车系统公司 触敏全息显示系统和使用该显示系统的方法
CN105474188A (zh) * 2013-09-03 2016-04-06 飞力凯网路股份有限公司 信息处理设备和信息处理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593983B2 (en) * 1999-04-30 2009-09-22 Canon Kabushiki Kaisha Data processing apparatus, data processing method, and storage medium storing computer-readable program
JP3880282B2 (ja) 2000-03-31 2007-02-14 シャープ株式会社 入力表示装置
JP2001337765A (ja) 2000-05-26 2001-12-07 Sharp Corp アイコンによる印刷制御操作システム
US7408658B2 (en) * 2001-12-04 2008-08-05 Hewlett-Packard Development Company, L.P. Generation and usage of workflows for processing data on a printing device
JP4566679B2 (ja) * 2003-11-13 2010-10-20 キヤノン株式会社 画像形成装置および制御方法およびプログラム
JP5737906B2 (ja) 2010-11-01 2015-06-17 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、画像表示装置、及び画像表示装置の制御方法と記憶媒体
KR101738001B1 (ko) * 2011-03-25 2017-05-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5841380B2 (ja) 2011-09-01 2016-01-13 キヤノン株式会社 管理サーバ及びその処理方法
JP5924518B2 (ja) * 2011-10-14 2016-05-25 コニカミノルタ株式会社 操作パネル
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
JP2013125328A (ja) 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
JP5845919B2 (ja) * 2012-01-23 2016-01-20 コニカミノルタ株式会社 画像処理装置の管理装置、画像処理装置の管理装置の制御方法、画像処理装置の管理装置の制御プログラム、操作端末、操作端末の制御方法、および操作端末の制御プログラム
JP2013172432A (ja) 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
JP5962261B2 (ja) 2012-07-02 2016-08-03 富士ゼロックス株式会社 中継装置
JP6079060B2 (ja) 2012-08-29 2017-02-15 株式会社リコー 携帯端末、画像形成方法及び画像形成システム
JP5692541B2 (ja) * 2012-10-15 2015-04-01 コニカミノルタ株式会社 画像処理連携システム、連携方法、携帯端末装置及び連携プログラム
JP5776706B2 (ja) * 2013-02-18 2015-09-09 コニカミノルタ株式会社 情報処理端末、情報処理装置、情報処理システム及びプログラム
JP5853996B2 (ja) 2013-06-10 2016-02-09 コニカミノルタ株式会社 情報システム、情報機器およびコンピュータプログラム
JP2015005902A (ja) 2013-06-21 2015-01-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015090553A (ja) 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
JP6331893B2 (ja) 2014-09-01 2018-05-30 コニカミノルタ株式会社 操作表示システム
US10567608B2 (en) * 2016-05-06 2020-02-18 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
JP6024848B1 (ja) * 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
US9986113B2 (en) * 2016-05-06 2018-05-29 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US20170324879A1 (en) * 2016-05-06 2017-11-09 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6090511B1 (ja) * 2016-05-06 2017-03-08 富士ゼロックス株式会社 端末装置及びプログラム
US10440208B2 (en) * 2016-10-19 2019-10-08 Fuji Xerox Co., Ltd. Information processing apparatus with cooperative function identification

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1365459A (zh) * 2000-03-27 2002-08-21 精工爱普生株式会社 投影显示系统及投影器和其菜单图像显示法
CN1854920A (zh) * 2005-04-26 2006-11-01 佳能株式会社 信息处理设备及相关方法、成像设备及相关控制方法
CN102256035A (zh) * 2007-12-26 2011-11-23 佳能株式会社 图像处理设备和处理流程控制方法
CN101600031A (zh) * 2008-06-03 2009-12-09 佳能株式会社 作业处理方法、图像处理系统及图像处理装置
CN102833502A (zh) * 2008-09-22 2012-12-19 索尼株式会社 显示控制装置、显示控制方法和程序
CN102713870A (zh) * 2009-10-20 2012-10-03 佳能株式会社 与外围设备通信的信息处理设备、方法以及控制程序
CN102215413A (zh) * 2010-04-07 2011-10-12 索尼公司 图像合成设备、图像合成方法和程序
CN105474188A (zh) * 2013-09-03 2016-04-06 飞力凯网路股份有限公司 信息处理设备和信息处理方法
CN105446524A (zh) * 2014-09-23 2016-03-30 大陆汽车系统公司 触敏全息显示系统和使用该显示系统的方法
CN104656890A (zh) * 2014-12-10 2015-05-27 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机及互动实现方法
CN104811687A (zh) * 2015-04-24 2015-07-29 小鸟科技有限公司 一种虚拟现实头盔的电路系统和虚拟现实头盔
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN204965778U (zh) * 2015-09-18 2016-01-13 华中师范大学 一种基于虚拟现实与视觉定位的幼儿教学系统
CN105450736A (zh) * 2015-11-12 2016-03-30 小米科技有限责任公司 与虚拟现实连接的方法和装置

Also Published As

Publication number Publication date
US20170324876A1 (en) 2017-11-09
US10382634B2 (en) 2019-08-13
CN107346218A (zh) 2017-11-14
CN114327309A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
US11558514B2 (en) Information processing apparatus and non-transitory computer readable medium
JP6052459B1 (ja) 情報処理装置及びプログラム
JP6052458B1 (ja) 情報処理装置及びプログラム
JP2018067139A (ja) 情報処理装置及びプログラム
US10440208B2 (en) Information processing apparatus with cooperative function identification
JP6146528B1 (ja) 情報処理装置及びプログラム
JP6160761B1 (ja) 情報処理装置及びプログラム
CN107346218B (zh) 信息处理装置和信息处理方法
JP7235072B2 (ja) 情報処理装置、プログラム及び制御方法
JP6327387B2 (ja) 情報処理装置及びプログラム
JP6443498B2 (ja) 情報処理装置及びプログラム
CN108307084B (zh) 信息处理设备和信息处理方法
JP6443497B2 (ja) 情報処理装置及びプログラム
JP2019068442A (ja) 情報処理装置及びプログラム
JP2020173831A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

GR01 Patent grant
GR01 Patent grant