CN110120102A - 信息处理装置以及非暂时性的计算机可读介质 - Google Patents

Abstract

本发明提供一种信息处理装置以及非暂时性的计算机可读介质，与未对显示在空中的图像的纵深方向的信息关联功能通知的情况相比，提供多种多样的功能通知的控制。在终端装置上，连接有空中显示器装置和人检测装置，所述空中显示器装置将三维图像显示于空中显示器，所述人检测装置在可对显示于空中显示器的三维图像进行操作的位置检测用户的指尖。当在利用指尖而指定了显示于空中显示器的机器图像的内部位置后，进而利用指尖而指定了其他机器图像的内部位置时，终端装置使与分别指定的内部图像的位置关联的功能联动地执行。

Description

信息处理装置以及非暂时性的计算机可读介质

技术领域

本发明涉及一种信息处理装置以及存储程序(program)的非暂时性的计算机可读介质。

背景技术

近年来，有使三维图像显示在空中的技术。用户即便不利用眼镜等附件，也能够从所有方向观看显示在空中的三维图像。

进而，通过利用传感器(sensor)来检测用户的手在空中的位置，用户能够对显示在空中的图像进行某些操作。例如，用户通过对显示在空中的操作画面进行某些操作，能够进行信息的显示、应用(application)的执行、机器的控制等。

现有技术文献

专利文献

专利文献1：日本专利特开2017-062709号公报

专利文献2：日本专利特开2015-060295号公报

专利文献3：日本专利特开2016-095634号公报

发明内容

发明所要解决的问题

本发明的目的在于，与未对显示在空中的图像的纵深方向的信息关联功能通知的情况相比，提供多种多样的功能通知的控制。

解决问题的技术手段

技术方案1所述的发明是一种信息处理装置，其包括：控制部件，对与显示在空中的图像的纵深方向的信息关联的功能的通知进行控制。

而且，技术方案2所述的发明是根据技术方案1所述的信息处理装置，所述控制部件根据所述图像的纵深方向的信息来控制所述图像的显示。

而且，技术方案3所述的发明是根据技术方案2所述的信息处理装置，所述控制部件对显示所述图像的颜色的浓度进行控制。

而且，技术方案4所述的发明是根据技术方案3所述的信息处理装置，所述控制部件在所述图像的纵深方向的信息表示用户对显示在空中的图像所指定的纵深方向的位置时，使所述图像中的从所述位置往目视侧的图像的颜色变浅。

而且，技术方案5所述的发明是根据技术方案1所述的信息处理装置，所述控制部件对下述联动功能的通知进行控制，所述联动功能是通过用户对显示在空中的多个图像中的至少一个图像的纵深方向的信息进行操作，从而能利用与由用户所操作的纵深方向的信息关联的功能来执行。

而且，技术方案6所述的发明是根据技术方案5所述的信息处理装置，所述控制部件在所述图像的纵深方向的信息表示用户对显示在空中的图像所指定的纵深方向的位置时，对能利用与由用户所指定的纵深方向的位置关联的功能来执行的联动功能的通知进行控制。

而且，技术方案7所述的发明是根据技术方案6所述的信息处理装置，所述控制部件对下述联动功能的通知进行控制，所述联动功能可利用与包含由用户所指定的纵深方向的位置的、图像内的部分图像关联的功能来执行。

而且，技术方案8所述的发明是根据技术方案6所述的信息处理装置，与由用户所操作的纵深方向的信息对应的图像是与机器关联的机器图像或与功能关联的功能图像。

而且，技术方案9所述的发明是根据技术方案6所述的信息处理装置，与由用户所操作的纵深方向的信息对应的多个图像是与具有通信功能的第1机器和第2机器分别关联的机器图像，所述第1机器包括：多个通信部件，与所述第2机器进行通信；以及执行控制部件，当通过所述通信部件而与所述第2机器之间依据特定的通信规格来进行通信时，对能使用所述第1机器与所述第2机器来执行的联动功能的执行进行控制。

而且，技术方案10所述的发明是根据技术方案5至技术方案9中任一技术方案所述的信息处理装置，所述控制部件根据用户对显示在空中的图像的纵深方向的信息的操作，来设定所述联动功能中所含的各功能的通知的优先顺位。

而且，技术方案11所述的发明是根据技术方案10所述的信息处理装置，所述控制部件根据通过用户的操作而指定的所述多个图像的纵深方向的信息的位置关系，来设定联动功能的通知的优先顺位。

而且，技术方案12所述的发明是根据技术方案11所述的信息处理装置，所述控制部件从配置在靠近面向用户的一侧的位置处的图像开始，依序决定优先顺位。

而且，技术方案13所述的发明是根据技术方案10所述的信息处理装置，所述控制部件根据用户将显示在空中的多个图像的纵深方向的信息相连的顺序，来设定所述联动功能中所含的各功能的通知的优先顺位。

而且，技术方案14所述的发明是根据技术方案10所述的信息处理装置，所述控制部件根据使所述图像的纵深方向的信息重合的顺序，来设定所述联动功能中所含的各功能的通知的优先顺位。

而且，技术方案15所述的发明是根据技术方案1所述的信息处理装置，所述控制部件在用户对图像的纵深方向的信息进行操作时，进行与执行操作的用户相应的通知。

而且，技术方案16所述的发明是根据技术方案15所述的信息处理装置，所述控制部件在探测到多个进行操作的用户时，对分配给各用户的目标进行通知。

而且，技术方案17所述的发明是根据技术方案16所述的信息处理装置，所述分配目标是空中以外的显示部件。

技术方案18所述的发明是一种程序，程序使计算机(computer)作为控制部件发挥功能，所述控制部件对与显示在空中的图像的纵深方向的信息关联的功能的通知进行控制。

发明的效果

根据技术方案1所述的发明，与未对显示在空中的图像的纵深方向的信息关联功能通知的情况相比，能够提供多种多样的功能通知的控制。

根据技术方案2所述的发明，能够增加图像的表达。

根据技术方案3所述的发明，能够使与图像的纵深方向的信息对应的图像看得清楚。

根据技术方案4所述的发明，能够使由用户所指定的纵深方向的位置的图像看得清楚。

根据技术方案5所述的发明，能够提供可执行的联动功能的信息。

根据技术方案6所述的发明，能够提供可利用与由用户所指定的位置关联的功能来执行的联动功能的信息。

根据技术方案7所述的发明，能够提供可利用与图像内的部分图像对应的功能来执行的联动功能的信息。

根据技术方案8所述的发明，能够提供跟机器图像的纵深方向的信息关联的功能与跟机器图像的纵深方向的信息关联的功能、跟机器图像的纵深方向的信息关联的功能与跟功能图像的纵深方向的信息关联的功能、或者跟功能图像的纵深方向的信息关联的功能与跟功能图像的纵深方向的信息关联的功能的联动功能的信息。

根据技术方案9所述的发明，能够提供可利用与跟具有通信功能的机器关联的机器图像对应的功能来执行的联动功能的信息。

根据技术方案10所述的发明，能够根据用户操作来设定功能的优先顺位。

根据技术方案11所述的发明，能够使用户根据多个图像的纵深方向的信息的位置关系，来设定联动功能中所含的各功能的通知的优先顺位。

根据技术方案12所述的发明，能够使用户根据图像的纵深方向的排列顺序，来设定联动功能中所含的各功能的通知的优先顺位。

根据技术方案13所述的发明，能够根据用户相连的顺序来设定功能的优先顺位。

根据技术方案14所述的发明，能够根据用户重合的顺序来设定功能的优先顺位。

根据技术方案15所述的发明，能够根据进行操作的用户来使通知的内容不同。

根据技术方案16所述的发明，能够相对于各用户而使通知不同。

根据技术方案17所述的发明，能够使各用户所利用的显示部件显示功能。

根据技术方案18所述的发明，与未对显示在空中的图像的纵深方向的信息关联功能通知的情况相比，能够提供多种多样的功能通知的控制。

附图说明

图1是表示本发明的第1实施方式的机器系统的框图。

图2是表示第1实施方式的图像形成装置的框图。

图3是表示第1实施方式的服务器的框图。

图4是表示第1实施方式的终端装置的框图。

图5是表示图像形成装置的外观的示意图。

图6是表示机器功能管理表的一例的图。

图7是表示联动功能管理表的一例的图。

图8是表示单独利用的机器的图。

图9是表示功能显示画面的一例的图。

图10是表示功能显示画面的一例的图。

图11是表示联动对象机器的图。

图12是表示功能显示画面的一例的图。

图13是表示连接处理的序列图。

图14是表示在第1实施方式中显示于空中显示器的多功能一体机的概略三维图像的图。

图15是表示利用指尖而指定了图14中的多功能一体机的图像内部的某位置时的、显示于空中显示器的多功能一体机的概略三维图像的图。

图16A至图16H是表示在第1实施方式中提供给用户的内部图像的形成图案的图。

图17是表示机器图像为三维图像时的联动功能管理表的一例的图。

图18是表示第2实施方式的联动功能管理表的一例的图。

图19是表示画面的一例的图。

图20是表示第3实施方式的联动功能管理表的一例的图。

图21是表示画面的一例的图。

图22是表示画面的一例的图。

图23是表示画面的一例的图。

图24是表示画面的一例的图。

图25是表示画面的一例的图。

图26是表示画面的一例的图。

图27是表示画面的一例的图。

图28是表示画面的一例的图。

图29是表示画面的一例的图。

图30是表示联动功能管理表的一例的图。

图31是表示画面的一例的图。

图32是表示画面的一例的图。

图33是表示机器功能管理表的一例的图。

图34是表示画面的一例的图。

图35是表示画面的一例的图。

图36是表示机器功能管理表的一例的图。

图37是表示联动功能管理表的一例的图。

图38是表示画面的一例的图。

图39是表示画面的一例的图。

符号的说明

10、12：机器

14：服务器

16：终端装置

18、28、40：通信部

20：图像形成部

22、30、44：存储部

24、46：UI部

26、36、48：控制部

38：确定部

150：空中显示器装置

152：人检测装置

具体实施方式

以下，基于附图来说明本发明的较佳实施方式。

＜第1实施方式＞

参照图1来说明作为本发明的第1实施方式的信息处理系统的机器系统。图1中表示了第1实施方式的机器系统的一例。

第1实施方式的机器系统包含多个机器(例如机器10、12)、作为外部装置的一例的服务器14、以及作为信息处理装置的一例的终端装置16。图1所示的示例中，机器10、机器12、服务器14和终端装置16具备经由网络(network)等通信路径N来彼此通信的功能。当然，机器10、机器12、服务器14和终端装置16也可不利用通信路径N，而分别经由不同的通信路径来与其他装置进行通信。图1所示的示例中，在机器系统中包含两个机器(机器10、12)，但也可在机器系统中包含一个机器，还可在机器系统中包含三个以上的机器。而且，也可在机器系统中包含多个服务器14或多个终端装置16。

机器10、12为具有特定功能的装置，例如为具备图像形成功能(扫描(scan)功能、打印(print)功能、复印(copy)功能、传真(facsimile)功能中的至少一个功能)的图像形成装置、个人计算机(Personal Computer，PC)，平板(tablet)PC、智能电话(smartphone)、移动电话、机器人(robot)(人型机器人、人以外的动物型机器人、除这些以外的机器人等)、投影机(projector)、液晶显示器等显示装置、记录装置、再生装置、摄像机(camera)等摄像装置、时钟、监控摄像机、汽车、二轮车、飞机(例如无人飞机(所谓的遥控无人驾驶飞机(drone)))、游戏机、各种传感机器(例如温度传感器、湿度传感器、电压传感器、电流传感器等)等装置。而且，也可为以冰箱、电饭煲、微波炉、咖啡机(coffee maker)、吸尘器、洗衣机、空调机、照明机器等家电为代表的物联网(Internet of Things，IoT)机器。机器既可为对用户(user)输出一输出(output)的机器(例如图像形成装置或PC等)，也可为不对用户输出一输出的机器(例如传感机器)。而且，既可以是执行后述的联动功能的所有机器为对用户输出一输出的机器，也可以是一部分机器为对用户输出一输出的机器，而其他机器为不对用户输出一输出的机器，还可以是所有机器为不对用户输出一输出的机器。机器的概念范畴也可包含全盘机器。例如，信息机器、影像机器、音响机器、其他机器均可包含在本实施方式的机器的范畴内。而且，机器具有与其他装置之间收发数据的功能。

服务器14是对各机器所具有的功能进行管理的装置。例如，服务器14对各机器所具有的功能、利用多个功能的联动功能等进行管理。而且，服务器14具有与其他装置之间收发数据的功能。

服务器14也可针对每个用户来管理用户可利用的功能。用户可利用的功能例如是无偿提供给用户的功能、有偿提供给用户而由用户购买的功能等。服务器14也可针对每个用户来对表示用户可利用的功能的可利用功能信息(例如功能购买历史信息)进行管理。当然，还有可免费利用的功能、追加升级(update)功能、由管理者特别管理的功能等，因此，服务器14也可不一概地根据有无购买来管理功能。功能的购买处理例如是通过服务器14来进行。当然，也可通过其他装置来进行购买处理。

终端装置16为个人计算机(PC)、平板PC、智能电话、移动电话等装置，具有与其他装置之间收发数据的功能。终端装置16也可为可穿戴式(wearable)终端(手表型终端、腕带(wristband)型终端、眼镜型终端、戒指型终端、隐形眼镜(contact lens)型终端、体内植入型终端、可听式(hearable)终端等)。而且，终端装置16的详细如后所述，是使用所连接的空中显示器装置150来作为显示装置，但也可与此独立地具有柔性显示器(flexibledisplay)。作为柔性显示器，例如使用有机电致发光(electroluminescence)型的显示器(柔性有机EL显示器)、电子纸(paper)型的显示器、柔性液晶显示器等。也可使用采用这些以外的显示方式的柔性显示器。柔性显示器是显示部分柔软可变形的显示器，例如是能够弯曲，或折叠，或卷绕，或扭曲，或伸展的显示器。终端装置16既可整体包含柔性显示器，也可使柔性显示器与除此以外的结构在功能或物理上分开。

如图1所示，在终端装置16，通过有线或无线而连接有空中显示器装置150和人检测装置152。所谓“空中显示器装置”，是指能够在不存在任何物体的实空间(空中)立体地显示图像的显示装置。空中显示器装置150例如是通过使用一个或多个固定型的投影机，将透镜(lens)或半透反射镜(half mirror)等加以组合，从而使光在空中成像，由此在空中显示图像。与使发光元件发光来显示影像的装置或需要屏幕(screen)的显示装置不同。当使用多个投影机时，从不同的方向进行投影而使其成像。另外，投影机也可并非固定型，而是利用智能电话之类的便携式机器来进行投影。当然，只要是能够在空中空间进行显示的技术，则并无须限定于所述技术来构成空中显示器装置150。例如，不排除利用眼镜等附件的技术。

而且，本实施方式中，将空中显示器装置150显示图像的空中空间称作“空中显示器”。由于是显示在空中，因此不存在二维空间内的液晶面板之类的显示画面。因而，也可以说空中显示器的大小(显示框)不受限制。但是，例如在通过投影机在空中显示图像的情况下，由投影机所投影的范围成为图像的显示区域(显示范围)，空中显示器的大小由投影机所投影的范围来决定。

而且，对于本实施方式中进行处理的机器等实物的图像，是以利用存在纵深的立体图像(三维图像)为前提来进行说明。但是，例如也可使二维图像重叠而立体地显示于空中显示器，还可将使二维图像重叠而形成的图像处理为三维图像。而且，也可显示无纵深的二维图像(也可以说是纵深＝0的三维图像)。以下的说明中，将显示于空中显示器的图像简称作“图像”。

人检测装置152是对靠近显示于空中显示器的图像的人进行检测的装置。具体而言，对靠近至能够辨认显示于空中显示器的图像的位置为止的人、或者至少靠近至可对图像进行操作的位置为止的人进行检测。例如，既可使用红外线传感器或集电传感器等传感器部件，也可使用其他部件。另外，本实施方式中，设想靠近图像进行操作的是人来进行说明，但未必需要是人，也可为机器人等其他物体。此时，人检测装置152对靠近图像的物体进行检测。

进而，人检测装置152在对显示于空中显示器的图像进行操作时，检测操作部件所指示的位置(图像的部位)。操作部件是在通过指示图像的部位来进行某些操作时所用。也可认为是用于单纯地指示任一图像的部位而不伴随操作的指示部件。操作部件是对图像进行操作的物体，例如人的指尖或人所用的笔等。本实施方式中，作为操作部件，以人的指尖为例进行说明。

此外，用户通过用指尖来触碰实物机器，能够确定要指示的位置。例如，若触碰的目标为液晶面板，则用户通过触碰液晶面板，能够进行使与所述触碰位置对应的功能处理执行等操作。但是，显示于空中显示器的图像是显示在屏幕等都不存在的空中空间，因此即使人想触碰，也不存在可实际触碰到的物体。即，无法触碰。因此，本实施方式中，构成为，通过设置人检测装置152，能够检测人所指示的位置。即，当人检测装置152检测到指尖的位置时，终端装置16使空中显示器装置150所显示的图像、与人检测装置152所检测到的指尖对应，由此来检测用户所指示的图像位置(部位)。尤其，本实施方式中，用户不仅能指示显示在空中的机器的外周(表面)，还能指示机器的内部。并且，在用户所指示的位置对应有某些功能的情况下，将通过所述用户操作而选择了功能的情况通知给用户，或者启动(执行)所选择的功能。

以下，对第1实施方式的机器系统中所含的各装置进行详细说明。

参照图2来详细说明作为图像形成装置的机器10的结构。以下，有时将机器10称作图像形成装置10。图2中表示了图像形成装置10的结构。

通信部18为通信接口，具备向其他装置发送数据的功能以及从其他装置接收数据的功能。通信部18既可为具备无线通信功能的通信接口，也可为具备有线通信功能的通信接口。通信部18例如也可支持一种或多种通信方式，依照适合于通信对方的通信方式(即，通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、Wi-Fi(注册商标)通信、接近式无线通信(例如近场通信(Near FieldCommunication，NFC)等)等。作为接近式无线通信，使用Felica(注册商标)、蓝牙(Bluetooth)(注册商标)、射频识别(Radio Frequency Identifier，RFID)等。当然，也可使用其他方式的无线通信作为接近式无线通信。通信部18例如也可根据通信对方来切换通信方式或频带，或者根据周围环境来切换通信方式或频带。

图像形成部20具有图像形成功能。具体而言，图像形成部20具有扫描功能、打印功能、复印功能和传真功能中的至少一个功能。通过执行扫描功能，读取原稿而生成扫描数据(图像数据)。通过执行打印功能，在纸张等记录介质上打印图像。通过执行复印功能，读取原稿并打印到记录介质上。通过执行传真功能，对图像数据进行传真发送或传真接收。而且，也可执行利用多个功能的联动功能。例如，也可执行将扫描功能与发送功能(转发功能)予以组合的扫描转发功能。通过执行所述扫描转发功能，读取原稿而生成扫描数据(图像数据)，并将所述扫描数据发送至发送目标(例如终端装置16等外部装置)。当然，所述联动功能不过是一例，也可执行其他联动功能。

存储部22是硬盘(hard disk)或存储器(memory)(例如固态硬盘(Solid StateDrive，SSD)等)等存储装置。在存储部22中，例如存储表示图像形成命令的信息(例如作业(job)信息等)、成为打印对象的图像数据、通过执行扫描功能而生成的扫描数据、表示其他机器的地址的机器地址信息、表示服务器14的地址的服务器地址信息、各种控制数据、各种程序等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。

UI部24为用户接口(User Interface)部，包含显示部与操作部。显示部例如为液晶显示器等显示装置。操作部例如为触控面板(touch panel)或键盘(keyboard)等输入装置。当然，也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。另外，图像形成装置10也可不具备UI部24，还可不具备显示部而具备作为硬件的硬件用户接口部(硬件UI部)。硬件UI部例如为专用于数字输入的硬件键(key)(例如数字键)、专用于方向指示的硬件键(例如方向指示键)等。

控制部26控制图像形成装置10的各部的动作。

以下，参照图3来详细说明服务器14的结构。图3中表示了服务器14的结构。

通信部28为通信接口，具有向其他装置发送数据的功能以及从其他装置接收数据的功能。通信部28既可为具备无线通信功能的通信接口，也可为具备有线通信功能的通信接口。

存储部30为硬盘或存储器(例如SSD等)等存储装置。在存储部30中，例如存储有机器功能管理信息32、联动功能管理信息34、各种数据、各种程序、表示各机器的地址的机器地址信息、表示服务器14的地址的服务器地址信息等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。存储在存储部30中的机器功能管理信息32或联动功能管理信息34也可定期、或者在指定的时机(timing)提供给终端装置16，由此，存储在终端装置16中的信息得到更新。以下，对机器功能管理信息32与联动功能管理信息34进行说明。

机器功能管理信息32是用于对各机器所具有的功能进行管理的信息，例如是表示用于识别机器的设备识别信息(机器识别信息)与功能信息的对应的信息，所述功能信息表示所述机器所具有的功能。设备识别信息例如是机器ID、机器名称、表示机器种类的信息、机器的型号、用于管理机器的信息(例如资产管理编号等)、表示设置机器的位置的信息(机器的位置信息)、与机器关联的机器图像、机器的地址信息等。机器图像包含表示机器的外观图像和表示机器的内部结构的内部图像。外观图像既可为表示机器的外侧(例如机器的框体)的图像，也可为表示由包装用片材(sheet)等覆盖着机器的状态的图像。内部图像是表示机器的内容结构的图像，例如是根据指尖所指示的位置而知晓机器被切断时的剖面的图像。而且，当在机器的内部存在一个或多个零件时，包含各零件的图像。机器图像既可为通过拍摄机器而生成的图像(表示机器外侧的图像等)，也可为模仿机器的图像(例如图标(icon)等)。功能信息例如为功能ID或功能名称等。例如，当图像形成装置10具有扫描功能、打印功能、复印功能和扫描转发功能时，所述图像形成装置10的设备识别信息对应有表示扫描功能的功能信息、表示打印功能的功能信息、表示复印功能的功能信息和表示扫描转发功能的功能信息。通过参照机器功能管理信息32，来确定(识别)各机器所具有的功能。

通过机器功能管理信息32而受到管理的机器例如为包含在机器系统中的机器(例如机器10、12)。当然，未包含在机器系统中的机器也可通过机器功能管理信息32而受到管理。例如，服务器14也可获取与未包含在机器系统中的新的机器相关的信息(包含设备识别信息与功能信息的信息)，并新登记到机器功能管理信息32中。与机器相关的信息例如既可通过利用国际互联网(Internet)等来获取，也可由管理者等予以输入。而且，服务器14也可在任意时机、定期地或者在由管理者等所指定的时机等，更新机器功能管理信息32。由此，有时会将表示在更新前机器不具有而在更新后机器所具有的功能的功能信息登记到机器功能管理信息中。同样，有时将表示在更新前机器具有而在更新后机器不具有的功能的功能信息从机器功能管理信息32中予以删除，或者登记为不可用信息。更新用的信息例如既可通过利用国际互联网等而获取，也可由管理者等予以输入。

联动功能管理信息34是用于对通过使多个功能联动而执行的联动功能进行管理的信息。通过使多个功能联动，来执行一个或多个联动功能。联动功能例如既可通过使一个机器(例如机器10、12)所具有的多个功能联动来执行，也可通过使多个机器(例如机器10、12)所具有的多个功能联动来执行。而且，发出操作指示的终端装置(本实施方式中为终端装置16)也包含在识别对象机器中，也可将终端装置所具有的功能用作联动功能的一部分。

联动功能也可为不利用作为硬件(hardware)的机器而执行的功能。例如，联动功能也可为通过使多个软件联动而执行的功能。当然，联动功能也可为通过使作为硬件的机器所具有的功能、与通过软件来实现的功能联动而执行的功能。

联动功能管理信息34例如是表示：表示被利用于联动功能的各功能的功能信息的组合、与表示所述联动功能的联动功能信息的对应的信息。联动功能信息例如是联动功能ID或联动功能名称等。当单独的功能受到更新时，伴随此更新，联动功能管理信息34也得到更新。由此，存在下述情况：在更新前不能彼此联动的多个功能的联动功能在更新后变得可用，或者与此相反地，在更新前可用的联动功能在更新后变得不可用。表示在更新后变得可用的联动功能的联动功能信息登记在联动功能管理信息34中，而表示在更新后变得不可用的联动功能的联动功能信息将从联动功能管理信息34中删除，或者登记为不可用的信息。

当使多个机器联动时，联动功能管理信息34是用于对利用多个机器所具有的多个功能的联动功能进行管理的信息，是表示设备识别信息的组合与联动功能信息的对应的信息，所述设备识别信息用于识别被利用于联动功能的各机器。如上所述，当机器功能管理信息32受到更新时，伴随此更新，联动功能管理信息34也得到更新。由此，存在下述情况：在更新前不能彼此联动的多个机器的联动功能在更新后变得可用，或者与此相反地，在更新前可用的联动功能在更新后变得不可用。

联动功能既可为通过使互不相同的多个功能联动来执行的功能，也可为通过使不相同的机器的同一功能联动来执行的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功能既可为通过利用联动对象机器所具有的功能中的相同功能而可利用的功能，也可为通过使互不相同的功能组合而可利用的功能。例如，通过使具有打印功能的机器(打印机(printer))与具有扫描功能的机器(扫描仪(scanner))联动，而实现作为联动功能的复印功能。即，通过使打印功能与扫描功能联动而实现复印功能。此时，作为联动功能的复印功能、与打印功能和扫描功能的组合相对应。在联动功能管理信息34中，例如表示作为联动功能的复印功能的联动功能信息、与用于对具有打印功能的机器进行识别的设备识别信息和用于对具有扫描功能的机器进行识别的设备识别信息的组合相对应。

在联动功能的概念范畴内，也可包含通过使多个功能或多个机器联动而新功能的执行成为可能的合体功能。例如，也可通过将多个显示器予以组合，实现作为合体功能的扩展显示功能。作为另一例，也可通过将电视机(television)与录像机(recorder)加以组合，实现作为合体功能的录像功能。所述录像功能也可为对显示于电视机的图像进行录像的功能。而且，也可通过将多个摄像机予以组合，实现作为合体功能的拍摄区域扩展功能。所述扩展功能例如是将各摄像机的拍摄区域拼接而拍摄的功能。而且，也可通过将电话与翻译机或翻译软件予以组合，实现作为合体功能的翻译通话功能(对经由电话的会话进行翻译的功能)。这样，在联动功能的概念范畴内，包含通过使彼此同一种类的机器或功能联动而可实现的功能、或者通过使彼此不同种类的机器或功能联动而可实现的功能。

另外，在存储部30中，也可存储有可利用功能管理信息。可利用功能管理信息是用于对各用户可利用的功能进行管理的信息，例如是表示用于识别用户的用户识别信息、与表示所述用户可利用的功能的功能信息(也可包含联动功能信息)的对应的信息。用户可利用的功能如上所述，例如是无偿提供给用户的功能或用户购买的功能等，既可为单个的功能，也可为联动功能。用户识别信息例如是用户ID或姓名等用户账户(account)信息。通过参照可利用功能管理信息，从而确定(识别)各用户可利用的功能。可利用功能管理信息例如每当对用户提供功能时(例如每当无偿或有偿地对用户提供功能时)得到更新。

控制部36控制服务器14的各部的动作。而且，控制部36包含确定部38。

确定部38接受用于识别机器的设备识别信息，并在存储于存储部30的机器功能管理信息32中，确定表示与所述设备识别信息对应的功能的功能信息。由此，确定(识别)机器所具有的功能。例如，从终端装置16向服务器14发送设备识别信息，由确定部38来确定表示与所述设备识别信息对应的功能的功能信息。与功能相关的信息(例如功能信息或功能的说明信息等)例如从服务器14发送至终端装置16。终端装置16将与根据设备识别信息而确定的机器所具有的功能相关的信息显示于空中显示器装置150。

而且，确定部38接受用于识别作为联动对象的各机器的设备识别信息，并在存储于存储部30的联动功能管理信息34中，确定表示与各设备识别信息的组合对应的联动功能的联动功能信息。由此，确定(识别)通过使作为联动对象的各机器所具有的功能联动而执行的联动功能。例如，从终端装置16向服务器14发送多个设备识别信息，由确定部38来确定表示与所述多个设备识别信息对应的联动功能的联动功能信息。与联动功能相关的信息(例如联动功能信息或联动功能的说明信息等)从例如服务器14发送至终端装置16。终端装置16将与由根据多个设备识别信息而确定的多个机器所执行的联动功能相关的信息显示于空中显示装置150。

例如，当识别出一个机器时(例如拍摄到一个机器时)，确定部38也可接受用于识别所述机器的设备识别信息，并在机器功能管理信息32中，确定表示与所述设备识别信息对应的功能的功能信息。由此，当识别出一个机器时(例如拍摄到一个机器时)，确定(识别)所述机器所具有的功能。当识别出多个机器时(例如拍摄到多个机器时)，确定部38也可接受用于识别所述多个机器中所含的各机器的设备识别信息，并在联动功能管理信息34中，确定表示与各设备识别信息的组合对应的联动功能的联动功能信息。由此，当识别出多个机器时(例如拍摄到多个机器时)，确定(识别)利用所述多个机器所具有的功能的联动功能。

而且，确定部38也可接受表示用于联动功能的各功能的功能信息，并在存储于存储部30的联动功能管理信息34中，确定表示与各功能信息的组合对应的联动功能的联动功能信息。由此，确定(识别)通过使作为联动对象的各功能联动而执行的联动功能。例如，从终端装置16向服务器14发送多个功能信息，由确定部38来确定表示与所述多个功能信息对应的联动功能的联动功能信息。与所述同样地，终端装置16将与由根据多个功能信息而确定的多个机器所执行的联动功能相关的信息显示于空中显示器装置150。

另外，在管理有用户可利用的功能的情况下，确定部38也可接受用于识别用户的用户识别信息，并在存储于存储部30的可利用功能管理信息中，确定表示与所述用户识别信息对应的各功能的功能信息。由此来确定(识别)所述用户可利用的功能群。例如，从终端装置16向服务器14发送用户识别信息，由确定部38来确定表示与所述用户识别信息对应的各功能的功能信息。与用户可利用的各功能相关的信息(例如表示各功能的名称的信息)例如从服务器14发送至终端装置16。终端装置16将与根据用户识别信息而确定的用户可利用的各功能相关的信息显示于空中显示器装置150。例如，确定部38接受设备识别信息与用户识别信息，在机器功能管理信息32中，确定表示与所述设备识别信息对应的功能的功能信息，而且，在可利用功能管理信息中，确定表示与所述用户识别信息对应的功能的功能信息。由此，确定根据所述设备识别信息而确定的机器所具有的功能、且根据所述用户识别信息而确定的用户可利用的功能。

控制部36也可执行功能的购买处理，并对所述购买的历史进行管理。例如，当由用户购买了收费功能时，控制部36也可对此用户适用核款处理。

而且，控制部36例如也可执行文字识别功能、翻译功能、图像加工功能、图像形成功能等与图像处理相关的功能。当然，控制部36也可执行与图像处理以外的处理相关的功能。通过执行文字识别功能，识别图像内的文字而生成表示所述文字的文字数据。通过执行翻译功能，将图像内的文字翻译成以特定语言表示的文字，并生成表示所翻译的文字的文字数据。通过执行图像加工功能，对图像进行加工。控制部36例如也可从图像形成装置10接收通过执行扫描功能而生成的扫描数据，并将所述扫描数据作为对象，来执行文字识别功能、翻译功能、图像加工功能等与图像处理相关的功能。控制部36也可从终端装置16接收图像数据，并将所述图像数据作为对象来执行各功能。由控制部36所生成的文字数据或图像数据例如从服务器14发送至终端装置16。服务器14被用作外部机器，联动功能也可为利用包含服务器14的多个机器所具有的功能的功能。

以下，参照图4来详细说明终端装置16的结构。图4中表示了终端装置16的结构。

通信部40为通信接口，具有向其他装置发送数据的功能以及从其他装置接收数据的功能。通信部40既可为具备无线通信功能的通信接口，也可为具备有线通信功能的通信接口。通信部40例如也可支持一种或多种通信方式，依照适合于通信对方的通信方式(即，通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、Wi-Fi通信、接近式无线通信等。通信部40例如也可根据通信对方来切换通信方式或频带，或者根据周围环境来切换通信方式或频带。

作为拍摄部件的摄像机42通过对拍摄对象进行拍摄而生成图像数据(例如静态图像数据或动态图像数据)。而且，也可不仅利用终端装置16的摄像机，而且利用通信部40来受理由连接于网络等通信路径的外部摄像机所拍摄的图像数据，并在空中显示器装置150上显示图像数据，以供用户能够操作图像数据。

存储部44是硬盘或存储器(例如SSD等)等存储装置，存储各种程序、各种数据、服务器14的地址信息、各机器的地址信息(例如机器10、12的地址信息)、与所识别的机器相关的信息、与所识别的联动对象机器相关的信息、与所识别的机器所具有的功能相关的信息、与联动功能相关的信息等。

UI部46为用户接口部，包含装置控制部与位置确定部。装置控制部依据控制部48的显示控制来控制空中显示器装置150的动作，由此来使图像显示于空中显示器。以后的说明中，为了简化说明，也有时表达为UI部46或控制部48将其或者使其显示于空中显示器。位置确定部确定由人检测装置152所检测出的人以及作为操作部件的人的指尖的位置。本实施方式中，当以将规定位置作为原点的三维坐标来表达空间时，位置确定部以坐标数据来确定所检测出的指尖等的位置。

控制部48控制终端装置16的各部的动作。控制部48例如作为显示控制部件(控制部件)发挥功能，使各种信息显示于空中显示器。

在空中显示器上，例如显示由摄像机42所拍摄的图像、或者与被识别为利用对象机器(例如单独利用的机器或联动对象机器)的机器关联的图像、与功能关联的图像等。与机器关联的图像既可为由摄像机42所拍摄的表示所述机器的图像(静态图像或动态图像)，也可为示意性地表示所述机器的图像(例如图标)。示意性地表示的图像的数据例如既可存储在服务器14中并从服务器14提供给终端装置16，也可预先存储在终端装置16中，还可存储在其他装置中并从所述其他装置提供给终端装置16。与功能关联的图像例如是表示此功能的图标等图像。

所述机器功能管理信息32也可存储在终端装置16的存储部44中。此时，机器功能管理信息32也可不存储在服务器14的存储部30中。同样，所述联动功能管理信息34也可存储在终端装置16的存储部44中。此时，联动功能管理信息34也可不存储在服务器14的存储部30中。终端装置16的控制部48也可具有所述确定部38，基于设备识别信息来识别机器，以确定机器所具有的功能，还可确定利用多个功能的联动功能。此时，服务器14也可不具有确定部38。

当制作有可利用功能管理信息时，所述可利用功能管理信息也可存储在终端装置16的存储部44中。此时，可利用功能管理信息也可不存储在服务器14的存储部30中。终端装置16的控制部48也可对用户的功能购买历史进行管理。此时，服务器14的控制部36也可不具有所述管理功能。终端装置16的控制部48也可基于用户识别信息来确定用户可利用的功能。

作为又一例，也可在机器10和12等机器中存储机器功能管理信息32和联动功能管理信息34，机器10和12等机器也可分别具有确定部38。即，服务器14的确定部38的处理(例如机器的识别处理、功能的识别处理、联动功能的识别处理等)既可在服务器14中进行，也可在终端装置16中进行，还可在机器10、12等机器中进行。

本实施方式中，作为一例，通过适用增强现实(Augmented Reality，AR)技术(扩展现实技术)，从而获取设备识别信息以识别机器。例如，通过适用AR技术，从而获取单独使用的机器的设备识别信息以识别所述机器，而且，获取联动对象机器的设备识别信息以识别联动对象机器。作为AR技术，使用公知的AR技术。例如采用使用二维条形码(bar code)等标记(marker)的标记型AR技术、使用图像识别技术的无标记(marker less)型AR技术、使用位置信息的位置信息AR技术等。当然，也可不适用AR技术而获取设备识别信息来识别机器。例如，若是连接于网络的机器，则也可基于网际协议(Internet Protocol，IP)地址来识别机器，还可读出机器ID来识别机器。进而，若为具备红外线通信、可见光通信、Wi-Fi、蓝牙(Bluetooth)等各种无线通信功能的机器、终端装置，则也可通过获取这些利用无线通信功能而联动的机器的机器ID来识别机器，并执行联动功能。

以下，参照图5来详细说明设备识别信息的获取处理。作为一例，对获取图像形成装置10的设备识别信息的情况进行说明。图5中示意性地表示了图像形成装置10的外观。此处，对用于适用标记型AR技术来获取设备识别信息的处理进行说明。在图像形成装置10的框体上，设有二维条形码等标记50。标记50是对图像形成装置10的设备识别信息进行编码所得的信息。用户启动终端装置16的摄像机42，通过摄像机42对作为作为利用对象的图像形成装置10上所设的标记50进行拍摄。由此，生成表示标记50的图像数据。所述图像数据例如从终端装置16被发送至服务器14。在服务器14中，控制部36通过对所述图像数据中表示的标记图像适用解码处理而提取设备识别信息。由此来识别作为利用对象的图像形成装置10(具有所拍摄的标记50的图像形成装置10)。服务器14的确定部38在机器功能管理信息32中，确定表示与所提取的设备识别信息对应的功能的功能信息。由此来确定(识别)作为利用对象的图像形成装置10所具有的功能。

另外，终端装置16的控制部48也可通过对表示标记50的图像数据适用解码处理，从而提取设备识别信息。此时，所提取的设备识别信息从终端装置16发送至服务器14。服务器14的确定部38在机器功能管理信息32中，确定表示与从终端装置16发送的设备识别信息对应的功能的功能信息。当在终端装置16的存储部44中存储有机器功能管理信息32时，终端装置16的控制部48也可在所述机器功能管理信息32中，确定表示与所提取的设备识别信息对应的功能的功能信息。

标记50中，也可编码而包含表示图像形成装置10所具有的功能的功能信息。此时，通过对表示标记50的图像数据适用解码处理，从而提取所述图像形成装置10的设备识别信息，并且，也提取表示所述图像形成装置10所具有的功能的功能信息。由此来确定(识别)图像形成装置10，并且确定(识别)所述图像形成装置10所具有的功能。所述解码处理既可由服务器14来进行，也可由终端装置16来进行。

当执行利用多个机器所具有的功能的联动功能时，通过拍摄作为联动对象的各机器的标记，从而获取各机器的设备识别信息，由此来确定(识别)联动功能。

当适用无标记型AR技术来获取设备识别信息时，例如用户通过终端装置16的摄像机42，来拍摄利用对象机器(例如图像形成装置10)的外观的全部或一部分。当然，有用的是：可从外观拍摄而获得利用对象机器的名称(例如商品名)、型号或资产管理编号等用于确定机器的信息。通过拍摄，生成表示利用对象机器的外观的全部或一部分的外观图像数据。所述外观图像数据例如从终端装置16被发送至服务器14。在服务器14中，控制部36基于所述外观图像数据来识别利用对象机器。例如，在服务器14的存储部30中，针对每个机器而存储有外观图像对应信息，所述外观图像对应信息表示：表示机器外观的全部或一部分的外观图像数据、与所述机器的设备识别信息的对应。控制部36例如将从终端装置16发送的外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较，基于其比较结果来确定利用对象机器的设备识别信息。例如，控制部36从自终端装置16发送的外观图像数据中提取利用对象机器的外观特征，并在外观图像对应信息中所含的外观图像数据群中，确定表示与此外观特征相同或类似的特征的外观图像数据，并确定与所述外观图像数据对应的设备识别信息。由此来识别利用对象机器(由摄像机42所拍摄的机器)。作为另一例，当拍摄机器的名称(例如商品名)或型号，并生成表示名称或型号的外观图像数据时，也可基于所述外观图像数据中表示的名称或型号来识别利用对象机器。服务器14的确定部38在机器功能管理信息32中，确定表示与所确定的设备识别信息对应的各功能的功能信息。由此来确定利用对象机器(例如图像形成装置10)所具有的功能。

另外，终端装置16的控制部48也可将表示利用对象机器(例如图像形成装置10)的外观的全部或一部分的外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较，并基于其比较结果来确定利用对象机器的设备识别信息。外观图像对应信息也可存储在终端装置16的存储部44中。此时，终端装置16的控制部48通过参照终端装置16的存储部44中存储的外观图像对应信息，来确定利用对象机器的设备识别信息。作为另一例，终端装置16的控制部48也可从服务器14获取外观图像对应信息，并参照所述外观图像对应信息，由此来确定利用对象机器的设备识别信息。

当执行利用多个机器所具有的多个功能的联动功能时，通过拍摄作为联动对象的各机器的外观的全部或一部分，来获取各机器的设备识别信息，由此来确定(识别)联动功能。

当适用位置信息AR技术来获取设备识别信息时，通过利用例如全球定位系统(Global Positioning System，GPS)功能，来获取表示设置有机器(例如图像形成装置10)的位置的位置信息。例如，各机器具备GPS功能，获取表示机器自身位置的设备位置信息。终端装置16对利用对象机器输出表示设备位置信息的获取请求的信息，并从所述机器接收所述机器的设备位置信息，以作为针对所述获取请求的响应。所述设备位置信息例如从终端装置16发送至服务器14。在服务器14中，控制部36基于所述设备位置信息来识别利用对象机器。例如，在服务器14的存储部30中，针对每个机器而存储有位置对应信息，所述位置对应信息表示：表示设置有机器的位置的设备位置信息、与所述机器的设备识别信息的对应。控制部36在所述位置对应信息中，确定与从终端装置16发送的设备位置信息对应的设备识别信息。由此来确定(识别)利用对象机器。服务器14的确定部38在机器功能管理信息32中，确定表示与所确定的设备识别信息对应的各功能的功能信息。由此来确定(识别)利用对象机器(例如图像形成装置10)所具有的功能。

另外，终端装置16的控制部48也可在位置对应信息中，确定与利用对象机器的位置信息对应的设备识别信息。位置对应信息也可存储在终端装置16的存储部44中。此时，终端装置16的控制部48通过参照终端装置16的存储部44中存储的位置对应信息，来确定利用对象机器的设备识别信息。作为另一例，终端装置16的控制部48也可从服务器14获取位置对应信息，并参照所述位置对应信息，由此来确定利用对象机器的设备识别信息。

当执行利用多个机器的联动功能时，获取作为联动对象的各机器的设备位置信息，并基于各设备位置信息来确定各机器的设备识别信息。由此来确定(识别)联动功能。

另外，也可使用多个识别技术来识别机器。例如，也可使用从标记型AR技术、无标记型AR技术和位置信息AR技术中选择的多个技术来识别机器。而且，若通过某识别技术无法识别机器，则也可使用其他识别技术来识别机器。例如，若通过标记型AR技术或无标记型AR技术无法识别机器，则也可使用位置信息AR技术来识别机器。

以下，进一步详细说明第1实施方式的图像形成系统。

参照图6来详细说明机器功能管理信息32。图6中表示了作为机器功能管理信息32的机器功能管理表的一例。在机器功能管理表中，作为一例，机器ID、表示机器名(例如机器的种类)的信息、表示机器所具有的功能的信息(功能信息)与图像ID彼此对应。机器ID与机器名相当于设备识别信息的一例。图像ID是用于对与机器关联的机器图像进行识别的图像识别信息的一例。另外，在机器功能管理表中，也可不含图像ID。例如，机器ID为“B”的机器是多功能一体机(具有多个图像形成功能的图像形成装置)，具有打印功能或扫描功能等功能。对于所述机器，对应有用于对与此机器关联的机器图像进行识别的图像ID。与机器关联的机器图像的数据例如存储在服务器14的存储部30或其他装置中。

例如，通过适用AR技术，获取用于识别利用对象机器的机器ID。服务器14的确定部38通过参照机器功能管理表，来确定与所述机器ID对应的机器名、功能和图像ID。由此来识别利用对象机器。例如，将表示机器名的信息和与机器关联的机器图像的数据从服务器14发送至终端装置16，并将它们显示于空中显示器。当然，也可将由摄像机42所拍摄的图像其自身显示于空中显示器。而且，当在终端装置16的UI部46中，由用户指定与机器关联的机器图像(例如由摄像机42所拍摄的图像、或示意性地表示机器的图像)时，也可将与此机器所具有的功能相关的信息(例如功能信息或功能的说明信息等)从服务器14发送至终端装置16并显示于空中显示器。

以下，参照图7来详细说明联动功能管理信息34。图7中表示了作为联动功能管理信息34的联动功能管理表的一例。在联动功能管理表中，作为一例，机器ID的组合、表示联动对象机器名(例如各机器的种类)的信息、与表示联动功能的信息(联动功能信息)彼此对应。例如，机器ID为“A”的机器是PC(个人计算机(personal computer))，机器ID为“B”的机器是多功能一体机。通过使PC(A)与多功能一体机(B)联动，作为联动功能，例如实现“扫描转发功能”或“打印功能”。“扫描转发功能”是将通过多功能一体机(B)的扫描而生成的图像数据转发给PC(A)的功能。“打印功能”是将保存在PC(A)中的数据(例如图像数据或文档数据)发送至多功能一体机(B)并通过多功能一体机(B)进行打印的功能。

接下来，说明单独利用机器时的处理和利用联动功能时的处理。本实施方式中，为了便于说明，首先以将平面的二维图像(无纵深(z＝0)的图像)显示于空中显示器的情况为例来说明基本的处理流程。随后，对将立体的三维图像显示于空中显示器时的处理进行说明。

以下，参照图8来说明单独利用机器时的处理。图8中表示了单独利用的机器的一例。作为一例，设图像形成装置10为单独利用的机器。图像形成装置10例如为多功能一体机。图像形成装置10是位于现实空间内的机器。

例如，在图像形成装置10的框体上设有二维条形码等标记50。当使用标记型AR技术或无标记型AR技术时，用户通过终端装置16(例如智能电话)的摄像机42来拍摄作为利用对象的图像形成装置10。由此，生成表示标记50的图像数据或表示图像形成装置10的外观的外观图像数据。在空中显示器上显示机器显示画面52，在所述机器显示画面52上，显示与图像形成装置10关联的机器图像54。机器图像54例如为通过摄像机42的拍摄而生成的图像(既可为具有拍摄时的尺寸的图像，也可为经放大或缩小的图像)。

通过摄像机42的拍摄而生成的图像数据从终端装置16发送至服务器14。在服务器14中，控制部36对图像数据适用解码处理，从而提取图像形成装置10的设备识别信息，由此来识别图像形成装置10。作为另一例，也可生成表示图像形成装置10的外观的外观图像数据，并将外观图像数据从终端装置16发送至服务器14。此时，在服务器14中，控制部36通过参照外观图像对应信息，来确定图像形成装置10的设备识别信息。由此来识别图像形成装置10。

而且，服务器14的确定部38通过参照机器功能管理信息32(例如图6所示的机器功能管理表)，从而确定(识别)图像形成装置10所具有的功能。关于此点，参照图6来进行详细说明。作为一例，设图像形成装置10为“多功能一体机(B)”。确定部38在图6所示的机器功能管理表中，确定与多功能一体机(B)对应的功能。由此来确定多功能一体机(B)所具有的功能。与所确定的功能相关的信息从服务器14发送至终端装置16。当然，用于识别机器或功能的处理也可由终端装置16来进行。

另外，在机器显示画面52上，也可取代通过摄像机42的拍摄而生成的图像，而显示与所识别的图像形成装置10关联的预先准备的图像(并非通过拍摄而获得的图像其自身而是示意性的图像(例如图标))、或者通过外部摄像机的拍摄而生成的图像，以作为机器图像54。

例如，当利用通过拍摄机器而获得的图像数据时，当前的机器其自身的外观(例如反映出瑕疵、便利贴、粘贴在机器上的贴画(seal)等的外观)将反映在图像中，因此有下述效果，即，对于用户而言，可通过视觉来知晓与其他的同种机器的差异。

当利用示意性的图像时，示意性的图像的数据例如从服务器14发送至终端装置16。例如当识别出图像形成装置10时，服务器14的确定部38通过参照图6所示的机器功能管理表(机器功能管理信息32)，来确定与图像形成装置10关联的示意性的图像。所述示意性的图像的数据从服务器14发送至终端装置16，所述示意性的图像作为机器图像54而显示于空中显示器。另外，为了表示与空中中机器图像54相关的信息的显示区域(显示范围)，也可如图8所示那样附加显示机器显示画面(显示框)52。示意性的图像的数据也可预先存储在终端装置16中。此时，当识别出图像形成装置10时，将存储在终端装置16中的机器图像54显示于机器显示画面52。示意性的图像的数据也可存储在服务器14或终端装置16以外的装置中。

而且，当识别出机器时，也可将表示所述机器名称的信息从服务器14发送至终端装置16，从而在终端装置16中，在机器显示画面52上显示机器的名称。图8所示的示例中，图像形成装置10为多功能一体机，因而显示有其名称“多功能一体机(B)”。

当确定图像形成装置10所具有的功能时，例如，如图9所示，终端装置16的控制部48使功能显示画面56显示于空中显示器，并使与功能相关的信息显示于所述功能显示画面56。如图9所示，与机器显示画面52同样地，也可在空中附加功能显示画面(显示框)56，以作为显示与功能相关的信息的显示区域。作为与功能相关的信息，例如显示用于指示所述功能的执行的按钮(button)图像。作为图像形成装置10的多功能一体机(B)例如具有打印功能、扫描功能、复印功能和传真功能，因此在功能显示画面56上显示用于指示这些功能的执行的按钮图像。例如，当用户使用终端装置16来指定表示打印功能的按钮图像，从而指示打印功能的执行时，将表示打印功能的执行指示的执行指示信息从终端装置16发送至图像形成装置10。在所述执行指示信息中，包含用于执行打印功能的控制数据、或适用打印功能的图像数据等数据等。图像形成装置10在收到执行指示信息时，依照所述执行指示信息来执行打印。

如图9所示的功能显示画面56那样由用户所操作的画面通常是通过触控面板等来实现，用户通过触摸来输入，但在空中显示器中并无能够实际进行触摸(触碰)而操作的实体。即，显示于空中显示器的用户操作画面可以说是不能触摸的触控面板。

图10中表示了功能显示画面的另一例。所述功能显示画面58是如图8所示，当利用单个机器时，显示于空中显示器的画面。如图10所示，与功能显示画面56同样，也可在空中附加显示功能显示画面(显示框)58，以作为显示与功能相关的信息的显示区域。如上所述，确定利用对象机器(例如图像形成装置10)，并确定利用对象机器所具有的功能。而且，也可确定与关于利用利用对象机器的用户的识别信息对应的功能，即，确定所述用户可利用的功能。进而，由于确定利用对象机器所具有的功能，因此也可确定成为提供对象的功能群中的、利用对象机器不具有的功能。这些信息也可显示于功能显示画面58上。

在图10所示的功能显示画面58上，作为功能信息的一例，显示有表示功能A的按钮图像60、表示功能B的按钮图像62和表示功能C的按钮图像64。功能A是利用对象机器(例如所识别的图像形成装置10)所具有的功能，且是用户可利用的功能。功能B是利用对象机器所具有的功能，且是用户不可利用的功能。通过用户接受功能B的提供，从而所述用户对功能B的利用成为可能。若功能B为有偿的功能，则通过用户购买功能B，从而功能B的利用成为可能，若功能B为无偿的功能，则通过用户无偿地接受功能B的提供，从而功能B的利用成为可能。功能C是利用对象机器不具有的功能，即，是利用对象机器不支持的功能。终端装置16的控制部48也可根据由按钮图像所表示的功能是否为利用对象机器所具有的功能，来改变所述按钮图像的显示形态。而且，控制部48也可根据由按钮图像所表示的功能是否为用户可利用的功能，来改变所述按钮图像的显示形态。例如，控制部48也可改变按钮图像的颜色或形状。图10所示的示例中，按钮图像60、62、64是以各不相同的颜色而显示。作为一例，表示利用对象机器所具有的功能且用户可利用的功能的按钮图像(例如表示功能A的按钮图像60)是以蓝色而显示。表示利用对象机器所具有的功能且用户不可利用的功能的按钮图像(表示功能B的按钮图像62)是以黄色而显示。表示利用对象机器所不具有的功能的按钮图像(例如表示功能C的按钮图像64)是以灰色而显示。作为另一例，控制部48也可改变按钮图像60、62、64的形状，还可改变功能显示名的字体(font)。当然，也可通过其他方法来改变显示形态。由此，可辨认性良好地将各功能的利用可否传达给用户。

例如，当用户对显示于空中显示器的表示功能A的按钮图像60进行指定，而给予功能A的执行指示时，将表示功能A的执行指示的执行指示信息从终端装置16发送至利用对象机器。所述执行指示信息中，包含用于执行功能A的控制数据、或适用功能A的处理的图像数据等数据等。当利用对象机器收到执行指示信息时，依照所述执行指示信息来执行功能A。例如，在利用对象机器为图像形成装置10且功能A为扫描转发功能的情况下，由图像形成装置10的图像形成部20执行扫描功能，由此来生成扫描数据(图像数据)。所述扫描数据从图像形成装置10发送至所设定的发送目标(例如终端装置16)。

而且，当用户对显示于空中显示器的表示功能B的按钮图像62进行指定，而指示功能B的提供时，执行提供处理。当由服务器14进行提供处理时，终端装置16访问(access)服务器14。由此，将用于接受功能B的提供的画面(例如网站(Web site))显示于空中显示器，以作为用于使用户对功能B的利用成为可能的信息。通过在所述画面上进行提供手续，从而用户对功能B的利用成为可能。例如，在终端装置16中存储有网页浏览器(Web browser)程序，通过利用所述网页浏览器，从而实现从终端装置16对服务器14的访问。当用户使用网页浏览器来访问服务器14时，在空中显示器上显示功能提供画面(例如网站)，经由所述网站来提供功能。当然，也可通过服务器14以外的服务器等进行提供处理。作为另一例，也可在空中显示器上，显示用于向管理者等申请功能B的利用的许可的利用许可申请画面(例如网站)，以作为用于使用户对功能B的利用成为可能的信息。当经由所述利用许可申请画面来向管理者等申请功能B的利用许可，并获得了所述许可时，用户对功能B的利用成为可能。

以下，参照图11来说明利用联动功能时的处理。图11中表示了联动对象机器的一例。作为一例，设为：图像形成装置10与作为机器12的投影机(以下，有时称作投影机12)被用作联动对象机器。图像形成装置10、投影机12和终端装置16是位于现实空间内的机器。

例如，在图像形成装置10的框体上设有二维条形码等标记50，在投影机12的框体上设有二维条形码等标记66。标记66是对投影机12的机器识别信息进行编码所得的信息。当使用标记型AR技术或无标记型AR技术时，用户通过终端装置16(例如智能电话)的摄像机42来拍摄作为联动对象的图像形成装置10与投影机12。图11所示的示例中，在摄像机42的拍摄区域中包含图像形成装置10与投影机12这两者的状态下，一起拍摄图像形成装置10与投影机12。由此，生成表示各标记50、66的图像数据。在空中显示器上显示有机器显示画面68，在所述机器显示画面68上，显示有与图像形成装置10关联的机器图像70和与投影机12关联的机器图像72。机器图像70、72例如是通过摄像机42的拍摄而生成的图像(既可为具有拍摄时的尺寸的图像，也可为经放大或缩小的图像)。如图11所示，与机器显示画面52同样地，也可在空中附加显示机器显示画面(显示框)68，以作为与机器图像70、72相关的信息的显示区域。

通过摄像机42的拍摄而生成的图像数据从终端装置16发送至服务器14。在服务器14中，控制部36对图像数据适用解码处理，从而提取图像形成装置10的设备识别信息与投影机12的设备识别信息，由此来识别图像形成装置10与投影机12。作为另一例，也可生成表示图像形成装置10与投影机12各自的外观的外观图像数据，并从终端装置16发送至服务器14。此时，在服务器14中，控制部36通过参照外观图像对应信息，来确定图像形成装置10的机器识别信息与投影机12的设备识别信息。由此来识别图像形成装置10与投影机12。

而且，服务器14的确定部38通过参照联动功能管理信息34(例如图7所示的联动功能管理表)，从而确定(识别)图像形成装置10所具有的功能与投影机12所具有的功能。关于此点，参照图7来进行详细说明。作为一例，设图像形成装置10为“多功能一体机(B)”，且作为一例，设投影机12为“投影机(C)”。确定部38在图7所示的联动功能管理表中，确定跟多功能一体机(B)与投影机(C)的组合对应的联动功能。由此来确定通过使多功能一体机(B)与投影机(C)联动而执行的联动功能。与所确定的联动功能相关的信息从服务器14发送至终端装置16。当然，用于识别机器或联动功能的处理也可由终端装置16来进行。

另外，在机器显示画面68上，也可取代通过摄像机42的拍摄而生成的图像，而显示与所识别的图像形成装置10关联的预先准备的图像(例如示意性的图像(例如图标))、或者通过外部摄像机的拍摄而生成的图像，以作为机器图像70。同样地，也可显示与所识别的投影机12关联的预先准备的图像、或者通过外部摄像机的拍摄而生成的图像，以作为机器图像72。如上所述，示意性的图像的数据例如既可从服务器14发送至终端装置16，也可预先存储在终端装置16中，还可存储在除它们以外的装置中。

而且，当识别出机器时，也可将表示所述机器名称的信息从服务器14发送至终端装置16，从而在终端装置16中，在机器显示画面68上显示机器的名称。图11所示的示例中，显示有图像形成装置10的名称“多功能一体机(B)”和投影机12的名称“投影机(C)”。

另外，即使在拍摄有多个机器的情况下，服务器14的确定部38也可通过参照机器功能管理信息32，来确定各机器所具有的功能。图11所示的示例中，确定部38也可分别确定图像形成装置10所具有的功能和投影机12所具有的功能。与所确定的功能相关的信息也可从服务器14发送至终端装置16。

当确定了联动功能时，例如，如图12所示，终端装置16的控制部48使功能显示画面74显示于空中显示器，并使与联动功能相关的信息显示于所述功能显示画面74。如图12所示，与功能显示画面56同样地，也可在空中附加显示功能显示画面(显示框)74，以作为显示与联动功能相关的信息的显示区域。作为与联动功能相关的信息，例如显示用于指示所述联动功能的执行的按钮图像。通过使多功能一体机(B)与投影机(C)联动，例如可执行：将通过多功能一体机(B)的扫描而生成的图像通过投影机(C)予以投影的联动功能；或者将由投影机(C)所投影的图像通过多功能一体机(B)予以打印的联动功能。将用于指示这些联动功能的执行的按钮图像显示于功能显示画面74。例如，当用户使用终端装置16来指定按钮图像，而指示联动功能的执行时，将表示所述联动功能的执行指示的执行指示信息从终端装置16发送至图像形成装置10与投影机12。图像形成装置10与投影机12在收到执行指示信息时，执行由用户所指定的联动功能。

也可通过用户的操作来指定联动对象机器。例如，通过摄像机42来拍摄图像形成装置10与投影机12，由此，如图11所示，在空中显示器上，显示与图像形成装置10关联的机器图像70和与投影机12关联的机器图像72。另外，与机器关联的图像既可为通过摄像机42的拍摄而获得的图像，也可为与所识别的机器关联的预先准备的图像(例如示意性的图像(例如图标))。通过用户在机器显示画面68上指定机器图像70、72，从而指定图像形成装置10与投影机12来作为联动对象机器。例如，当用户指定机器图像70时，对机器图像70适用标记型AR技术或无标记型AR技术，由此来确定(识别)图像形成装置10。同样，当用户指定机器图像72时，对机器图像72适用标记型AR技术或无标记型AR技术，由此来确定(识别)投影机12。由此，确定由图像形成装置10与投影机12所执行的联动功能，并将与此联动功能相关的信息显示于空中显示器。

作为另一例，用户也可利用手指等在机器显示画面68上触碰机器图像70并操作至机器图像72为止(例如利用手指等来绘描)，由此来指定机器图像70、72，从而将图像形成装置10与投影机12指定为联动对象机器。触碰机器图像70、72的顺序或绘描的方向也可与所述示例相反。当然，也可使用用于在机器显示画面68上绘描的笔等手指以外的画面接触部件。也可通过用户将机器图像70与机器图像72相连来指定机器图像70、72，从而将图像形成装置10与投影机12指定为联动对象机器。用户也可通过将机器图像70与机器图像72重叠来指定机器图像70、72，从而将图像形成装置10与投影机12指定为联动对象机器。既可通过画圈之类的描绘操作来指定联动对象机器，也可通过在预先设定的时间内指定与想要联动的机器关联的机器图像，来指定联动对象机器。当解除联动时，用户既可在机器显示画面68上指定作为解除对象的机器，也可按下联动解除按钮。若在图像中映入有并非联动对象的机器，则用户也可通过在机器显示画面68上指定所述机器，来将所述机器从联动对象机器群中排除。也可通过标注×标记等之类的预先设定的操作，来指定作为解除对象的机器。

但是，机器图像70、72是显示在空中，无法实际触碰。因而，由于显示在空中显示器的机器显示画面68和机器显示画面68上的机器图像70、72的显示位置能够确定，因此UI部46根据人检测装置152所检测出的用户指尖位置与机器图像70、72的显示位置的关系，来对触碰机器图像70、72这一用户操作进行检测。而且，对人检测装置152所检测出的用户指尖位置的迁移至绘描或画圈等用户操作进行检测。UI部46的位置确定部确定人检测装置152所检测出的用户指尖位置，基于所述确定的位置及其迁移来检测用户操作，并且受理所述用户操作。

另外，在空中的情况下，不同于存在触控面板等实体的情况，无法一边实际触碰画面一边使指尖移动。因而，当用户进行在画面上绘描之类的操作时，在空中，实际上可能在纵深方向上产生偏移。因而，较佳的是控制成，相对于指尖的二维方向(x、y轴方向)的移动，允许规定范围内的纵深方向的位置变化即所谓的偏移。

而且，对于触碰(触摸)这一操作也同样，若考虑针对实际的触控面板的用户操作，与其说空中显示器上的指尖在纵深方向(z轴方向)上的位置与图像的显示位置(纵深方向的位置)一致(所检测出的指尖的z坐标值与所触摸的部分的图像的z坐标值为相同值)，不如说也可检测到触碰(触摸)位于图像的显示位置稍后的位置(即远离用户的位置)执行的用户操作。

也可分别拍摄作为联动对象的各机器。例如，通过将摄像机42的拍摄分为多次，从而识别作为联动对象的各机器。当将摄像机42的拍摄分为多次时，将通过各次拍摄而识别的机器的设备识别信息存储到服务器14的存储部30或终端装置16的存储部44中。例如，在摄像机42的拍摄区域中包含图像形成装置10的状态下拍摄图像形成装置10，接下来，在摄像机42的拍摄区域中包含投影机12的状态下拍摄投影机12。由此，生成关于图像形成装置10的图像数据与关于投影机12的图像数据，通过对各图像数据适用标记型AR技术或无标记型AR技术，来确定(识别)图像形成装置10与投影机12，从而确定(识别)利用图像形成装置10与投影机12的功能的联动功能。例如，作为联动对象的各机器未必配置在彼此靠近的位置而图像形成装置10与投影机12这两者一起包含在摄像机42的拍摄区域中。也有时可通过改变摄像机42的拍摄区域的角度(angle)，或者拍摄区域的放大或缩小来使图像形成装置10和投影机12都包括在摄像机42的拍摄区域中，但当此种操作无法使图像形成装置10和投影机12都包括在摄像机42的拍摄区域中时，通过将拍摄分为多次来识别联动对象机器也可作为解决方案。

作为另一例，也可将其中一个联动对象机器预先设定为基本联动机器。例如设为：图像形成装置10被预先设定为基本联动机器。基本联动机器的设备识别信息也可预先存储在服务器14的存储部30或终端装置16的存储部44中。用户也可利用终端装置16来指定基本联动机器。当设定有基本联动机器时，用户通过终端装置16的摄像机42来拍摄基本联动机器以外的联动对象机器。由此来确定(识别)联动对象机器，从而确定(识别)利用基本联动机器与所拍摄的机器所具有的功能的联动功能。

所述示例中，使用了标记型AR技术或无标记型AR技术，但也可使用位置信息AR技术。例如，终端装置16具备GPS功能，获取表示终端装置16自身的位置的终端位置信息，并将所述终端位置信息发送至服务器14。服务器14的控制部36参照位置对应信息，将配置在以终端装置16的位置为基准而预先设定的范围内的各机器确定为联动候补机器，所述位置对应信息表示：表示机器设置位置的设备位置信息、与设备识别信息的对应。例如设为：在以终端装置16的位置为基准而预先设定的范围内，配置有多功能一体机、PC、打印机和扫描仪。此时，多功能一体机、PC、打印机和扫描仪被确定为联动候补机器。各联动候补机器的设备识别信息从服务器14发送至终端装置16，并显示于空中显示器。作为设备识别信息，既可显示联动候补机器的图像，也可显示设备ID等字符串。用户从显示于空中显示器的联动候补机器群中指定联动对象机器。由用户所指定的联动对象机器的设备识别信息从终端装置16发送至服务器14，在服务器14中，基于联动对象机器的设备识别信息来确定联动功能。在空中显示器上，显示与所述联动功能相关的信息。另外，联动候补机器的确定处理和联动功能的确定处理也可由终端装置16来进行。

另外，在即使适用AR技术等也未识别出拍摄对象机器的情况下，也可不在机器显示画面上显示表示所述拍摄对象机器的机器图像。由此，所识别的机器的辨认性提高。例如，当识别出的机器与未识别出的机器混合存在，且各自由摄像机42进行拍摄时，将表示未识别出的机器的机器图像设为不显示。由此，表示识别出的机器的机器图像不会被表示未识别出的机器的机器图像埋没而得以显示，因此所识别出的机器的辨认性提高。而且，也可强调显示表示所识别出的机器的机器图像。例如，既可将表示所识别出的机器的机器图像以特定的颜色予以显示，也可强调显示机器图像的边缘，还可将机器图像放大显示，还可使机器图像振动显示。由此，所识别出的机器的辨认性提高。

以下，对执行机器所具有的功能时的处理进行说明。作为一例，对执行联动功能时的处理进行说明。此时，从终端装置16对作为联动对象机器发送连接请求，终端装置16与联动对象机器相连接。以下，参照图13来说明此连接处理。图13是表示此处理的序列图。

首先，用户利用终端装置16来指示机器功能执行用应用(程序)的启动。终端装置16的控制部48根据所述指示来启动所述应用(S01)。另外，所述应用既可预先存储在终端装置16的存储部44中，也可从服务器14等下载(download)。

接下来，通过适用标记型AR技术、无标记型AR技术或位置信息AR技术，来识别联动对象机器(S02)。当然，也可通过AR技术以外的技术来识别联动对象机器。当适用标记型AR技术或无标记型AR技术时，例如，用户通过终端装置16的摄像机42来拍摄联动对象机器。作为一例，当使用图像形成装置10(多功能一体机(B))与投影机12(投影机(C))来作为联动对象机器时，用户通过摄像机42来拍摄图像形成装置10与投影机12。获取图像形成装置10与投影机12各自的设备识别信息，将图像形成装置10与投影机12识别为联动对象机器。当适用位置信息AR技术时，获取图像形成装置10与投影机12各自的位置信息，基于所述位置信息来确定图像形成装置10与投影机12各自的设备识别信息，从而识别出图像形成装置10与投影机12。

例如，当由用户给予了联动功能显示的指示时，对利用所识别出的多个机器所具有的功能的联动功能进行识别。在空中显示器上，显示与所识别出的联动功能相关的信息(S03)。联动功能的识别处理既可由服务器14来进行，也可由终端装置16来进行。

接下来，在终端装置16中，当由用户指定了作为执行对象的联动功能时，终端装置16将表示连接请求的信息发送至执行所述联动功能的联动对象机器(例如图像形成装置10与投影机12)(S04)。例如，当在服务器14中存储有表示联动对象机器的地址的地址信息时，终端装置16从服务器14获取联动对象机器的地址信息。当设备识别信息中含有地址信息时，终端装置16也可从联动对象机器的识别信息中获取各地址信息。作为另一例，也可在终端装置16中存储有联动对象机器的地址信息。当然，终端装置16也可通过其他方法来获取联动对象机器的地址信息。终端装置16使用联动对象机器(例如图像形成装置10与投影机12)的地址信息，将表示连接请求的信息发送至联动对象机器(例如图像形成装置10与投影机12)。

收到表示连接请求的信息的图像形成装置10与投影机12许可或不许可与终端装置16的连接(S05)。例如，在图像形成装置10与投影机12相当于不许可与终端装置16连接的机器的情况下、或者相当于请求连接至机器的装置数量超过上限的机器的情况下，则不许可连接。另外，在许可了来自终端装置16的连接的情况下，也可禁止变更操作，以免图像形成装置10与投影机12的固有设定信息从终端装置16受到变更。例如也可禁止图像形成装置10的色彩参数、或跳转至省电时的设定时间等的变更。由此，对于联动对象机器的安全性提高。作为另一例，当使机器联动时，与不使所述机器联动而单独利用的情况相比，也可限制设定信息的变更。例如，与单独利用机器的情况相比，也可许可更少的设定项目的变更。而且，也可禁止运行历史之类的其他用户个人信息的阅览。由此，对于用户个人信息的安全性提高。

表示连接的许可或不许可的结果信息从图像形成装置10与投影机12发送至终端装置16(S06)。当许可对图像形成装置10与投影机12的连接时，在终端装置16与图像形成装置10和投影机12之间建立通信。

接下来，用户利用终端装置16来指示联动功能的执行(S07)。根据所述指示，将表示联动功能的执行指示的执行指示信息从终端装置16发送至图像形成装置10与投影机12(S08)。发送至图像形成装置10的执行指示信息中，包含表示由图像形成装置10所执行的处理的信息(例如作业信息)，发送至投影机12的执行指示信息中，包含表示由投影机12所执行的处理的信息(例如作业信息)。

收到执行指示信息的图像形成装置10与投影机12依照执行指示信息来执行功能(S09)。例如，当如从图像形成装置10(多功能一体机(B))将扫描数据转发至投影机12(投影机(C))并通过投影机12来投影数据的功能那样，在联动功能中包含在图像形成装置10与投影机12之间进行数据收发的处理时，在图像形成装置10与投影机12之间建立通信。此时，例如在发送至图像形成装置10的执行指示信息中包含投影机12的地址信息，在发送至投影机12的执行指示信息中包含图像形成装置10的地址信息，使用这些地址信息在图像形成装置10与投影机12之间建立通信。

当联动功能的执行结束时，表示联动功能的执行完成的信息从图像形成装置10与投影机12发送至终端装置16(S10)。在空中显示器上，显示表示联动功能的执行已完成的信息(S11)。另外，若即使从给予执行指示的时间点经过了预先设定的时间仍未显示表示执行完成的信息，则终端装置16的控制部48也可使表示错误(error)的信息显示于空中显示器，并再次将执行指示信息或表示连接请求的信息发送至图像形成装置10与投影机12。

接下来，用户确认是否解除图像形成装置10与投影机12的联动状态(S12)，并执行与解除的有无相应的处理(S13)。当解除联动状态时，用户利用终端装置16来给予解除指示。由此，终端装置16与图像形成装置10和投影机12之间的通信解除。同样，图像形成装置10与投影机12之间的通信也解除。若不解除联动状态，则也可继续给予执行指示。

而且，也可增加联动对象机器。例如也可获取第3台机器的机器识别信息，并确定通过使包含图像形成装置10和投影机12的三台机器联动而执行的联动功能。另外，将表示图像形成装置10与投影机12已被识别为执行联动功能的机器的信息存储在服务器14或终端装置16中。

表示联动对象机器的设备识别信息、或表示所执行的联动功能的联动功能信息也可存储在终端装置16或服务器14等。例如，也可获取利用终端装置16的用户的用户账户信息(用户识别信息)，制作一历史信息，并存储在终端装置16或服务器14等中，所述历史信息表示所述用户账户信息、表示联动对象机器的设备识别信息、与表示所执行的联动功能的联动功能信息的对应。历史信息既可由终端装置16来制作，也可由服务器14来制作。通过参照历史信息，来确定哪种联动功能是使用哪种机器群来执行。

另外，联动对象机器(例如图像形成装置10与投影机12)也可将请求连接的用户的用户账户信息、或表示连接请求源的终端装置16的终端识别信息存储为历史信息。通过参照所述历史信息来确定利用机器的用户。例如，在确定机器损坏时使用所述机器的用户的情况下、或在对于耗材等进行核款处理的情况等下，也可活用历史信息来确定用户。历史信息既可存储在服务器14或终端装置16中，也可存储在其他装置中。

用户账户信息例如预先存储在终端装置16的存储部44中，终端装置16的控制部48作为用户识别部件的一例发挥功能，从存储部44中读取用户的用户账户信息，以识别使用终端装置16的用户。当在存储部44中存储有多个用户的用户账户信息时，用户使用终端装置16来指定自身的用户账户信息。由此来读取所述用户的用户账户信息，识别所述用户。作为另一例，终端装置16的控制部48也可通过读取登录(login)到终端装置16的用户的用户账户信息来识别用户。作为又一例，当在同一终端装置16中仅存储有一人的用户的用户账户信息时，终端装置16的控制部48也可通过读取此用户账户信息来识别用户。另外，在未设定用户账户而未制作用户账户信息的情况下，进行初始设定，由此来制作用户账户信息。

也可针对每个用户来管理联动功能的利用历史，将表示由所读取的用户账户信息所表示的用户在过去所利用的联动功能的信息显示于空中显示器。所述表示利用历史的信息既可存储在终端装置16中，也可存储在服务器14中。而且，也可显示表示利用频率为预先设定的利用频率以上的联动功能的信息。通过设置此种快捷方式(shortcut)功能，从而减轻与联动功能相关的用户操作的麻烦。

另外，当执行单独功能时，将表示所述单独功能的执行指示的信息从终端装置16发送至执行单独功能的机器。所述机器依照所述执行指示来执行单独功能。

以上，对单独利用机器时的处理与利用联动功能时的处理进行了说明。进而，对执行机器所具有的功能时的处理进行了说明。所述说明中，为了方便，将二维图像(平面图像)设为作为操作对象的机器的图像进行了说明。当以坐标系来表达空间时，二维图像是以x轴方向与y轴方向来表示的无纵深方向的图像，与此相对，三维图像(立体图像)还具备纵深方向(z轴方向)的信息。换言之，二维图像中，仅限于将图9或图10所示的打印或功能A等功能对应至机器(的表面)的位置，但三维图像中，能够将信息对应至机器的纵深方向的位置，即，能够将功能对应至机器的纵深方向的位置，即机器的内部。可根据机器的纵深方向的位置来对应功能，例如，将功能A对应至显示于三维图像中的机器的表面，将功能B对应至机器的中心。换言之，即使是在二维坐标上相同的坐标值(x1、y1)，也可对应于纵深信息(z坐标值)而对应不同的功能，例如对于三维图像的(x1、y1、z1)的位置对应功能A，对于相同的三维图像的(x1、y1、z2)的位置对应功能B。

但是，通常，显示于空中显示器的机器图像是机器外周(表面)的图像，机器的内部是以无法辨认的状态而显示。并且，如前所述，对于显示于空中显示器的图像而言，即使人想要触碰也无法实际触碰到。即，即使用户想要触碰显示于空中显示器的机器图像所示的机器的内部，而使指尖从机器图像所示的机器的外周(表面)移动到机器图像所示的机器的内部，用户也可能无法辨认指尖指示的位置。这样，用户无法辨认手已插入到无实体的机器内部的哪个位置，即，指示的是机器图像内部的哪个位置。

因此，本实施方式中的控制部48除了前述的显示控制以外，还能够根据显示于空中显示器的图像的纵深方向的信息来控制图像的显示。首先，使用图14和图15来说明本实施方式的基本动作。

图14是表示多功能一体机的图像来作为显示于空中显示器的图像的一例的图。另外，若图示用户从正前方观察时的图像，则会与二维图像同样显示正面图(与用户相向的面的图像)，而无法确认纵深，因此在图14中，为了便于说明，通过立体图来表示图像。这样，在空中显示器上立体地显示图像。

图15是表示针对以图14所示的方式显示的多功能一体机的图像，用户将指尖插入图像内部时的、显示于空中显示器的多功能一体机的图像的图。如图15所示，将图像的左端下端的角，即，将图像的底面(设置有多功能一体机的地板面)、左侧面与正面(与用户相向的一侧的面)的各角重合的位置设为原点(0、0、0)。并且，将地板的水平方向且机器图像的宽度方向设为x轴方向，将地板的垂直方向(机器图像的高度方向)设为y轴方向，并且，将地板的水平方向且机器图像的纵深方向设为z轴方向。此时，触碰到图像表面的指尖154a的位置的纵深与针对二维图像的操作同样，为z＝0。从z＝0的位置(外观图像的前表面)往图像所示的多功能一体机的内部的方向为图像的纵深方向，为正的z方向。在用户的指尖未触碰到图像时和指尖触碰到图像的前表面时(z≦0)，如图14那样，在空中显示器上显示多功能一体机的外观的图像。即，为显示有多功能一体机的整体的图像的状态。

此处，用户将指尖插入多功能一体机内部时的显示状态为图15，在图15中，表示了用户将指尖插入至z＝n(n为正数)的位置为止时的显示例。另外，只要指尖停留在多功能一体机的内部(图像所示的多功能一体机的从外周起的内侧)，便不特别说明x、y的坐标值。

假设不根据指尖的位置来使图像的显示形态发生变化，即，若维持图14所例示的显示状态，则用户只能辨认多功能一体机的外周，而无法辨认指尖所指示的位置的图像部分(机器图像的内部图像)。

因此，本实施方式中，根据指尖的位置来控制图像的显示。本实施方式中，所谓图像的纵深方向的信息，是指表示指尖位置的信息，是通过坐标值来表示的信息。根据图15所例示的显示例，用户通过指尖154b指示了纵深位置(z＝n)。图15中，以虚线表示了位于z＝n直至z＝0为止的范围内所示的多功能一体机的部分的外周(轮廓等)，而终端装置16的控制部48将此范围内所含的图像部分作为控制对象来进行显示控制。

例如，本实施方式中，对显示图像的颜色的浓度进行控制。例如，使z＝0～n的范围内所含的图像部分的显示色变浅。通过变浅，能够辨认机器图像的内部图像，严格而言，能够辨认位于z＝n处的图像部分。或者，将z＝0～n的范围内所含的图像的颜色设为透明。通过设为透明，z＝0～n的范围内所含的图像部分的外周(轮廓)将消失，但与使z＝0～n的范围内所含的图像部分的颜色变浅的情况相比，能够更切实地辨认位于z＝n的图像部分。或者，也可设为：在z＝0～n的范围内所含的图像部分的设为透明的情况下，仍保留显示多功能一体机的轮廓。

这样，控制部48在用户所指示的纵深方向的位置(z＝n)切断机器图像，并进行显示控制，以使从所述切剖面往用户侧的图像部分即z＝0～n的范围内所含的图像部分的显示色变浅或变得透明。

但是，存在下述情况：空中显示器装置150所显示的图像整体薄，或者稍许透视地显示于空中显示器。所谓稍许透视，是指以透过图像而看到相反侧的风景的程度的颜色来显示。此时，位于z＝n处的机器的内部图像有可能处于即便使z＝0～n的范围内所含的图像部分的显示色变浅仍难以辨认的状态。因此，也可设想此种情况，而以使位于z＝n处的图像部分的显示色变深的方式来进行控制。即，控制部48在用户所指示的纵深方向的位置(z＝n)处切断机器图像，并进行显示控制，以使显示所述切剖面的图像部分的颜色变深。这样，也可将包含由用户所指定的位置(z＝n)的、机器的内部图像的显示色作为控制对象。

另外，所述说明中，在以使颜色变浅或设为透明的方式来进行显示控制的情况下，是将z＝0～n的范围内所含的图像部分整体的颜色作为控制对象，但也可仅将z＝0～n的范围内所含的图像部分的一部分作为控制对象。例如，也可以下述方式来进行显示控制，即，仅使位于以指尖154b所表示的位置(x1，y1)为中心的规定范围内的、z＝0～n的范围内所含的图像部分变浅。以使颜色变深的方式来进行显示控制时也可同样。即，也可以下述方式来进行显示控制，即，仅使位于以指尖154b所指示的位置(x1，y1，z1＝n)为中心的规定范围内的z＝n的图像部分变深。这样，也可将从由用户所指定的位置(z＝n)往与用户相向的一侧(z＝0～n)的范围内所含的图像的一部分、或包含由用户所指定的位置(z＝n)的机器的内部图像的一部分作为显示控制对象。由此，用户至少容易辨认由指尖154b所指示的位置。另外，在实物机器中因空洞等而无实体的位置，由于无对应的能够辨认的图像(无应显示的图像)，因此无须将无实体的位置的显示色作为控制对象。

此外，在服务器14的机器功能管理信息32中，以图14所示的多功能一体机为代表，不仅含有可显示于空中显示器的机器10、12的外观图像，还包含内部图像。而且，包含机器10、12中的零件的位置的信息和各零件的图像。终端装置16在位置确定部检测到空中显示器内的指尖时，将空中显示器上的多功能一体机的显示位置和由位置确定部所确定的指尖位置的信息发送至服务器14。服务器14依照发送来的信息，将位于指尖位置(z＝n)处的机器和零件的图像发送至终端装置16。终端装置16基于从服务器14发送而来的图像，形成z＝n处的剖面图像并显示于空中显示器。另外，服务器14在使多功能一体机的图像显示于空中显示器时，是将多功能一体机的外观图像发送至终端装置16，但此时，也可将多功能一体机内部的图像显示所需的零件的图像或位置信息等一并发送。由此，终端装置16无须根据指尖的移动而在每次将指尖的位置等信息发送至服务器14。或者，也可使包含与机器的零件相关的信息的机器功能管理信息32预先存储在终端装置16中。终端装置16有时会对机器图像进行缩放显示，因此使机器功能管理信息32预先存储在终端装置16中较方便。在使用图15的说明中，是设为终端装置16具有机器功能管理信息32来进行说明。

如以上所说明的，本实施方式中，通过对显示图像的颜色的浓度进行控制，能够使机器的内部图像容易辨认。在对所述颜色的浓度进行控制，即，使颜色的浓度发生变化时，也可控制颜色的变化。即，也可配合颜色的浓度来控制使颜色变化的速度或时机。例如，当通过指尖来指定纵深方向的位置(z＝n)时，使位于z＝0～n的范围内的图像部分的当前显示的颜色逐渐地变化至规定的颜色为止。所谓“逐渐地”，是指使颜色的深浅阶段性地变化。变化的速度既可为单调(等速)，也可并非如此。或者，也可连动于指尖的动作来控制颜色的变化。即，当指尖从z＝0沿着机器图像的纵深方向移动至z＝n的位置为止时，使指尖所通过的纵深方向的位置的颜色变浅。即，追随指尖的移动，从机器图像的前表面朝向纵深而颜色逐渐变浅。

在使位于z＝0～n的范围内的图像部分的颜色变浅的情况下，所谓“规定的颜色”，是指能够辨认位于z＝n处的图像部分的颜色。在使位于z＝n的图像部分的颜色变深的情况下，所谓规定的颜色，是指能够辨认位于z＝n处的图像部分的颜色。理想的是，位于z＝n处的图像部分是以机器原本的颜色来显示，但并无须限于此。

而且，也可为，在用户通过指尖指定了位置开始经过规定时间后，使当前显示的颜色一瞬间变化为规定的颜色。规定时间只要适当设定即可。而且，关于规定的颜色如前所述。

根据本实施方式，如上所述，能够可辨认地显示由用户所指示的纵深方向位置的图像部分(立体图像内部的图像)。

并且，在三维图像中，也能够如用于二维图像中所说明的那样，将功能预先对应于机器图像的各位置，根据用户操作来执行功能。在三维图像的情况下，不仅对于机器图像，对于纵深方向的位置也能够对应功能。因此，在机器功能管理信息32中所含的表示机器所具有的功能的信息中，包含表示与机器的零件或者机器内部的规定位置对应的功能的信息。例如，假设对于图15所示的色粉盒(toner cartridge)156，对应有显示与色粉盒相关的信息的功能(应用)。而且，假设对于纸张托盘(tray)158，对应有显示与纸张托盘相关的信息的功能(应用)。

假设用户通过指尖指示了色粉盒156(的剖面图像)。此时，终端装置16参照机器功能管理信息32，确定与由位置确定部所确定的指尖位置(色粉盒156)对应的功能。由此，将与色粉盒156相关的信息，例如表示色粉的颜色或色粉剩余量、推荐更换(补充)时期等的信息显示于空中显示器。与色粉盒相关的信息既可仅为专用于所指定的色粉盒156的信息，也可包含所有色粉盒的信息。

而且，假设用户通过指尖指示了纸张托盘158(的剖面图像)。此时，终端装置16参照机器功能管理信息32，确定与由位置确定部所特定的指尖位置(纸张托盘158)对应的功能。由此，将与纸张托盘相关的信息(纸张尺寸、纸张剩余量等)显示于空中显示器。与纸张托盘相关的信息既可仅为所指定的纸张托盘158的信息，也可包含所有纸张托盘的信息。

终端装置16通过询问所显示的多功能一体机来获取所述例示的与色粉盒相关的信息和与纸张托盘相关的信息。而且，所获取的信息既可与显示中的多功能一体机的图像一起显示在空中显示器的空余空间，也可取代多功能一体机的图像而显示。另外，当指尖离开色粉盒156或纸张托盘158的图像时，既可立即或者在经过规定时间后消除所显示的信息，也可持续显示至执行其他功能为止。在消除多功能一体机的图像的情况下，也可再次显示多功能一体机的图像。

此外，所述说明中，对以使用户所指示的纵深方向的位置(z＝n)往与用户相向的一侧的图像部分即位于z＝0～n的范围内的图像部分的颜色变浅的方式来进行控制的情况、与以使用户所指示的纵深方向的位置(z＝n)的图像部分的颜色变深的方式来进行控制的情况进行了说明。即，无论如何，均是在z＝n的位置处切断图像，并对所述切剖面上的机器图像的内部图像进行显示控制，以使用户容易辨认。但是，提供给用户的图像无须限于在z＝n处切断的单纯的切剖面的图像。以下，使用图16A至图16H来说明提供给用户的机器内部图像的变形例。

图16A至图16H中，图示了从正上方观察空中显示器所显示的图像时的图像(平面图像)。为了方便，平面图像是以矩形形状来表示。并且，将附图左下角设为原点来表示x、z坐标轴。假设用户从沿着各图的图像的x坐标轴的表面(二维图像中为边)朝向沿着z坐标轴的方向观看图像。即，用户与图像相向的面(用户目视图像的一侧)为附图下方向。

图16A至图16H中所示的箭头表示用户通过指尖来指示图像的方向，即，指定图像内部位置的方向。即，如图16A至图16H中所例示的，通过指尖来指示图像内部的位置的方向未必限于与目视的方向(附图下朝上的方向)一致。并且，箭头的前端所指的位置是用户所指示的位置，相当于指尖。另外，与图16A至图16H中标注影线(hatching)的部分对应的图像部分是以使颜色变浅的方式受到显示控制的图像部分。并且，以虚线来表示切剖面。切剖面的图像部分是以使图像的颜色变深的方式受到显示控制的图像部分。以下的说明中，对下述情况进行说明，即，相对于由用户所指示的位置，如何设定切剖面即作为颜色控制对象的边界面(成为图16A至图16H中标注了影线的区域、与未标注影线的区域的边界的面)。

图16A是表示如使用图15所说明的那样进行显示控制时的示例的图。即，是用户指示了位于z＝n处的图像部分时的图。图16A中表示了：不论用户所指定的方向如何，均将包含所指定的纵深方向的位置的、与用户相向的面(与用户的目视方向正交的面)设为切剖面。因此，图16A中未图示出箭头。

图16B所示的显示控制的示例中，当由用户指定了图像内部的位置时，将包含所指定的纵深方向的位置(xb、yb、zb)且与指定位置的方向正交的剖面设为边界面。并且，将沿着从所指定的位置往指定所述位置的方向靠近用户一侧的图像部分，作为变浅的显示控制对象。另外，当用户从正前方(目视侧)指定位置时，与图16A相同。

图16C所示的显示控制的示例中，当由用户指定了图像内部的位置(xc、yc、zc)时，以包含所述指定的位置且沿着z轴的面(x＝xc)来切断机器图像，从而形成边界面。并且，将沿着从所指定的位置往指定所述位置的方向靠近用户一侧的图像部分，作为变浅的显示控制对象。图16C中，用户是从附图左侧进行指定，因此将机器图像整体中实施了影线的位于左侧(x＝0～xc)的部分的图像作为显示控制对象。

图16D所示的显示控制的示例中，当由用户自定了图像内部的位置(xd、yd、zd)时，以包含所述指定的位置且沿着z轴的面(x＝xd)和沿着x轴的面(z＝zd)来切断机器图像，从而形成边界面。并且，将沿着从所指定的位置往指定所述位置的方向靠近用户一侧的图像部分，作为变浅的显示控制对象。图16D中，用户是从附图左侧进行指定，因此将机器图像整体中的实施了影线的位于左侧的部分的图像作为显示控制对象。

图16E所示的显示控制的示例中，当由用户指定了图像内部的位置(xe、ye、ze)时，将从指定的位置起被指定所述位置的一侧的图像部分作为显示控制对象。图16E中，用户是从附图对角左侧进行指定，因此以下述方式来形成边界面，即，将所述指定的位置设为与原点相向的角，从图像整体中切取x＝0～xe和z＝0～ze的范围的图像部分。并且，将机器图像整体中的实施了影线的位于左侧的部分的图像，作为变浅的显示控制对象。另外，若用户从附图右侧指定位置(xe、ye、ze)，则x＝xe～x2和z＝0～ze的范围的图像部分成为显示控制对象。

例如，假设除了指示图像所示的机器的内部的用户(操作者)以外，还存在仅观察图像所示的机器的内部的用户(目视者)。当目视者位于用户的左侧(机器图像的左侧面侧)时，操作者如图16C、图16D、图16E所示那样从附图左侧进行操作，由此，能够以不仅对于操作者，对于目视者而言也看得清楚的方式来显示机器的内部图像。另外，当由人检测装置152检测到两位用户(操作者与目视者)时，让操作者指定哪个用户是操作者(或目视者)。

图16F所示的显示控制的示例中，当由用户指定了图像内部的位置(xf、yf、zf)时，以将所述指定的位置作为顶点而挖除(挖空)的方式来形成边界面。并且，将挖除的部分的图像部分，作为变浅的显示控制对象。平面图像中，如图16F所示，如将x＝xf、z＝zf设为顶点(最高值)的标准分布那样形成边界面。此处，是以将由用户所指定的位置作为顶点来挖空的方式形成剖面，但也可挖空成将由用户所指定的位置((xf、yf、z＝0)至(xf、yf、zf)的线段)作为中心的圆柱状或棱柱状。

图16G所示的显示控制的示例中，当由用户指定了图像所示的机器的内部的位置时，若在所述指定的位置处存在机器的零件，则以仅显示所述零件的图像160的方式来形成边界面。并且，将图像整体中的除了零件的图像160以外的图像部分，作为变浅的显示控制对象。

图16H所示的显示控制的示例中，当由用户指定了图像所示的机器的内部的位置时，若在所述指定的位置存在机器的零件，则以将所述零件的图像160予以去除的状态来将内部图像提供给用户。即，如图16A那样，将与用户相向的一侧的图像部分和零件的图像160，作为变浅的显示控制对象。

如以上所说明的，例示了若干个如何设定用于供用户观察机器内部图像的剖面的式样(pattern)，但无须限定于这些式样，也可以其他式样来形成边界面。而且，既可固定采用以上说明的多个式样中的一个，也可让用户从所述例示的多个式样中选择用于空中显示器上的显示的式样。例如，预先将图16A中的边界面的形成设定为第1显示模式，将图16B中的边界面的形成设定为第2显示模式，控制部48切换为由用户所选择的模式来执行。

图16A至图16H中，为了方便，使用平面图像进行了说明。因此，是设想垂直地切断机器图像的情况进行了说明，但未必需要垂直地形成切剖面(提供给用户的图像的面)。在如图16A至图16H中所例示的那样从正上方观察图像的情况下，目视的方向(目视侧)、与跟用户相向的一侧(与用户对置的一侧)相同。但是，在从正侧面(图像的侧面)观察图像的情况下，例如图像并不限于显示在用户眼睛的高度，也有时会显示在脚下。在图像显示于脚下的情况下，用户将从斜上方观察图像。这样，即使显示在z＝n的位置处沿垂直方向切断的内部图像，可能也难以辨认机器的内部图像。因此，也可将由人检测装置152检测到的用户的头的位置视为眼睛的位置，以并非垂直方向而是沿用户容易辨认的角度切断的方式来显示内部图像。即，也可以从目视位置(用户眼睛的位置)与用户所指定的位置正交的方式来切断，而显示机器内部的图像。此处，以图像位于眼睛位置之下的情况为例进行了说明，但在位于眼睛位置之上而抬头看的情况、从用户的正面朝左右或倾斜地偏离的情况下也同样，理想的是考虑目视位置来切断图像。

接下来，对利用显示于空中显示器的机器的三维图像的联动功能进行说明。关于将二维图像作为操作对象的联动功能已前述，但在三维图像(立体图像)的情况下，由于还具备纵深方向(z轴方向)的信息，因此对于图像的纵深方向的位置也能够对应功能。

图17是表示机器图像为三维图像时的联动功能管理表的一例的图。以下，参照图17来详细说明三维图像时的联动功能管理信息34。图17所示的联动功能管理表中，表示了将作为机器的多功能一体机、机器人和电视机作为一例的矩阵表。各机器对应有纵深位置、名称和位置信息。纵深位置是表示各机器中的纵深方向的位置的信息。本实施方式中，表示了对各机器简单地一分为三为表面、中间和最里(背面)的示例，但只要根据机器来适当分割即可。名称是设于所述纵深位置的零件或部位等机器的一部分(以下以“零件”为代表来说明)的名称。位于所述纵深位置的零件的数量或种类是根据机器来设定。位置信息是表示所述零件在所述机器中的位置的信息。由于对各位置关联功能，因此以三维坐标值来进行设定。例如，只要以各机器的某点作为基准(原点)来设定相对的坐标位置即可。由于零件的图像具备一定程度的大小(显示范围)，因此也可设定其范围。另外，即使机器中实际上不包含零件，也可将与由位置信息中设定的坐标值所指定的位置(范围)对应的部分图像作为零件来进行处理。例如，只要在位置信息中设定位于机器中的空间(空洞)的坐标值(范围)，则对于实际上无零件的位置也能够关联功能。这样，三维图像内的部分图像不仅为存在实体的零件或部位，也可为空洞等不存在实体的部分的图像。

为了设定联动功能，对图17所示的联动功能管理表中的格子(cell)设定功能。例如，对于多功能一体机的盒与机器人的臂交叉的格子，设定有“联1”。“联1”(联动功能1)是表示：与多功能一体机的盒关联的功能和与机器人的臂关联的功能有联动。例如，执行使机器人对由用户所指定的色粉盒进行补给的联动功能。而且，对于电视机的画面与机器人的摄像机交叉的格子，设定有“联2”。“联2”(联动功能2)是表示：与电视机的画面关联的功能和与机器人的摄像机关联的功能有联动。例如，执行下述联动功能：当电视机的开关打开后，利用机器人的摄像机来拍摄画面的照片。

所述表中，如以上所说明的，可设定功能的优先顺位。例如，在前述的“联1”(联动功能1)中，先执行与多功能一体机的盒关联的功能。另外，在“联3”(联动功能3)中，优先(先)执行与机器人的臂关联的功能。

详细的动作将后述，但用户在空中显示器上显示有多个机器图像的情况下，例如先选择想要执行的功能所关联的机器图像的零件，随后选择想要与此功能联动的功能所关联的机器图像的零件。这样，指定想要执行的功能的优先顺位。

所述说明中，使用了图17所示的联动功能管理表即二维的矩阵表，因此为使与两个零件关联的功能联动的示例，但也可使与三个以上的零件关联的功能联动而设定联动功能。而且，设定联动功能的功能不仅可为与机器关联的功能，也可为与应用的图标图像或者跟执行中的应用关联的图像关联的功能。而且，图17所示的联动功能管理表也可针对每个用户而设定。由此，可针对每个用户来进行联动功能的设定。

另外，联动功能管理表中所表示的联动功能管理信息34是存储在服务器14的存储部30中，但也可存储在终端装置16的存储部44中。这样，终端装置16无须在需要联动功能管理信息34时每次询问服务器14。在后述的动作的说明中，是设为联动功能管理信息34存储在终端装置16中来进行说明。

此外，在图17所示的联动功能管理表中，作为机器的一例而设定了电视机，但作为执行联动功能的机器，可选择电视机之类的IoT机器。IoT机器是指连接于国际互联网的所有物体。一般指PC或智能电话等IT机器以外的物体，但此处，为了便于说明，将在广义上理解可连接于国际互联网来进行信息交换的所有机器总称为IoT机器。

联动功能也可为可像这样使用IoT机器来执行的功能。例如，也可在联网家庭(connected home)(使用IoT技术，将家电等机器彼此通过网络予以连接的系统)中使用联动功能。此时，既可经由特定的服务器来将机器彼此连接，也可不经由特定的服务器而将机器彼此连接。而且，机器或软件也可通过经由如果这样就那样(If This Then That，IFTTT)来联动而执行联动功能。即，联动功能的内容也可为：当在某机器或软件中发生了成为触发(trigger)的事态时，其他机器或软件执行动作(action)(处理)。而且，联动功能的内容也可为：当某文件中发生了成为触发的事态时，对其他文件执行动作(处理)。而且，某动作成为其他的触发，进而执行其他动作的功能也包含在本实施方式的联动功能的范畴内。而且，使多个网页服务联动的功能、或利用应用程序设计接口(Application ProgrammingInterface，API)来使多个系统或服务等联动的API联动也可包含在本实施方式的联动功能的范畴内。而且，作为软件，也可使用如机器人过程自动化(Robotics ProcessAutomation，RPA)等那样以区块(block)为单位而集成的集合功能。

本实施方式中的终端装置16也可成为显示于空中显示器而执行联动功能的机器，但作为IoT机器的终端装置16为了与其他IoT机器进行通信，使通信部40包含多个通信部件(例如通信芯片(chip)等通信机器)。各通信机器具有依照自身的通信规格(方式)来进行通信的功能。各通信机器的通信规格既可互不相同，也可彼此相同。而且，也可为，多个通信机器中，一部分通信机器彼此的通信规格不同，而其他通信机器彼此的通信规格相同。另外，通信部40也可包含支持多种通信规格的一个通信机器。通信部40也可依照适合于通信对方的通信规格(即，通信对方所支持的通信规格)来与通信对方进行通信。通信规格(方式)例如为红外线通信、可见光通信、Wi-Fi通信、接近式无线通信(例如NFC等)等。作为接近式无线通信，使用Felica(注册商标)、Bluetooth(注册商标)、RFID等。当然，也可使用其他方式的无线规格来作为接近式无线通信。通信部40例如既可根据通信对方来切换通信规格或频带，也可根据周围环境来切换通信规格或频带。

本实施方式中的控制部48对与显示于空中的图像的纵深方向的信息关联的功能的通知进行控制，以下，对利用显示于空中显示器的三维图像的联动功能进行说明。另外，作为联动功能，既可为使与三维图像上显示的机器中所含的零件关联的功能彼此联动的联动功能，也可为以下例示的三维图像与二维图像的组合。而且，也可为与三维的机器图像中所含的零件关联的图像和与功能关联的图像的联动功能。

而且，控制部48所控制的“通知”，当然包括在空中显示器上的显示，而且除了如后述那样在其他显示部件上的显示和可辨认地通知的显示以外，还指使用能够通过声音输出等五感来告知用户的所有方式来告知用户。包括本实施方式在内，后述的实施方式中也是将显示文字的画面显示于空中显示器，但在显示于空中显示器的文字难以辨读的情况等下，也可将画面显示于终端装置16所具有的液晶面板等其他显示部件。

直至使三维图像显示于空中显示器为止的动作，可与图11中用来说明的二维图像的情况相同。并且，当使三维的机器图像显示于空中显示器时，用户是如前述那样，使指尖移动到显示于空中显示器的机器图像的内部来指示所期望的零件。此时，如使用图15所说明的那样，也可进行图像颜色的浓度控制，例如使用户所指示的位置的跟前侧(目视侧的图像部分)的颜色显示得较浅，或者使包含用户所指示的位置的剖面的图像部分的颜色显示得较深等，以使得用户所指示的位置容易辨认。

用户通过指尖来指定所期望的零件。指定既可为将指尖在所述位置停留规定时间，也可通过表示已指定的意旨的其他动作，来将已指定的情况通知给终端装置16。当用户通过指尖来指定零件时，UI部46的位置确定部确定所述指尖的位置。此时，控制部48参照联动功能管理信息34，来确认用户指定了哪个零件。

此外，在联动功能管理信息34(图17所示的联动功能管理表)中的位置信息中，设定有表示所述零件的位置的信息。在设定有所述机器图像中的零件显示范围来作为位置信息的情况下，控制部48通过将用户的指定位置与所述机器图像中所含的零件显示范围进行比对，便能够确定用户所指定的零件。但是，若联动功能管理表中的位置信息中设定的是并非表示范围的坐标值，则可认为用户难以精准(pinpoint)地指示由所述零件的位置信息所表示的坐标值的位置。此时，若零件的位置信息处于从用户的指定位置计起的规定范围内，则识别为用户指定了所述零件。这样，也可对用户所指定的位置设定容许范围。

而且，当确定了用户所指定的零件时，也可变更用户的指定位置或者所指定的零件的显示形态。例如，也可变更亮度(设为高亮度或深颜色的显示)、使其闪烁等，以使用户确认是否正确指示了用户所期望的位置。

另外，当用户停止了指定时，即，进行使指尖移动到空中显示器之外等规定操作而解除了零件的指定时，则进行显示控制，以使所解除的零件的显示复原。而且，进行显示控制，以使所解除的零件跟前的图像部分(以使显示色变浅的方式进行了控制的部分的图像)的显示复原。

当指定了一个机器图像的零件时，用户使指尖移动而指定其他机器图像的零件。当然，也可指定相同机器图像的其他零件。控制部48参照联动功能管理信息34，来确认用户指定了哪个零件。UI部46的位置确定部对指尖的移动(迁移)进行检测，因此控制部48能够掌握将机器图像的零件相连的顺序。由此，控制部48基于联动功能管理信息34(图17所示的联动功能管理表)来确定联动功能。例如，在空中显示器上显示有多功能一体机与机器人的各机器图像(三维图像)的情况下，若用户指定了多功能一体机的盒之后，指定了机器人的臂，则控制部48确定为用户指定了“联1”(联动功能1)。

这样，通过用户对显示于空中的图像的纵深方向的信息(多功能一体机的盒的位置)进行操作，从而进行可利用与由用户所操作的纵深方向信息关联的功能来执行的联动功能的通知。此处所说的通知，包含联动功能的执行开始或结果的通知、或让用户选择联动功能中所含的多个功能等的通知(图10等)。

假设用户所指定的零件未关联有功能，则也可变更用户的指定位置或者所指定的零件的显示形态。例如，也可改变亮度(设为低亮度或浅颜色显示)、使其闪烁等，以将无关联功能的情况通知给用户。或者，也可利用与包含所述指定的位置(零件)的机器关联的功能。在利用与机器关联的功能时，与所指定的位置(零件)关联的功能也可解释为与包含所指定的位置(零件)的机器关联的功能。

当执行联动功能时，也可参照用户的账户信息来进行与所述用户相应的通知。这可通过参照对各用户设定的联动功能管理表来实现。例如，如图10所例，即使显示相同的功能显示画面，也可使得用户虽能选择功能A但无法选择功能B，或者使得对于功能A、B均能选择。而且，对于联动功能管理表未设定为有效的用户，也可使得联动功能无法执行。

而且，本实施方式中，将功能显示画面的显示目标(通知目标)设为空中显示器。但是，当多个用户观看空中显示器时，无法知晓是发送给哪个用户的通知。因此，通知目标无须限定于空中显示器，也可对分配给各用户的目标进行通知。例如，用户A为终端装置16的显示器，用户B为空中显示器，用户C为用户C所携带的智能电话等。各用户的通知目标例如也可在由人检测装置152检测到的时间点让所述用户指定。

而且，所述说明中，根据将位于显示在空中显示器上的机器图像的纵深方向上的零件图像相连这一用户操作，来设定联动功能中所含的各功能的通知的优先顺位，即，设定各功能的执行顺序，但优先顺位的设定方法无须限于此。例如，也可根据通过用户的操作而指定的多个图像的纵深方向的信息(零件图像)的位置关系，来设定联动功能的通知的优先顺位。具体而言，当使图像显示于空中显示器时，例如使图像从跟前(与用户对置的一侧)朝向里侧排列显示。也可从配置于跟前的图像开始依序执行功能。或者也可以从里侧朝向跟前这一相反的顺序来设定联动功能中的各功能的执行顺序。而且，具体的动作将以二维图像的情况为例而后述，但也可根据如下所述的用户操作来设定联动功能中所含的各功能的通知的优先顺位，即，根据使图像的纵深方向的信息重合的顺序来将位于图像的纵深方向上的零件图像相连。

在触控面板之类的二维画面的情况下，例如能够通过拖拽和拖放操作来使画面上的图像移动。在空中显示器的情况下，也可适用拖拽和拖放操作，但考虑到纵深方向的移动困难。因而，需要使图像沿纵深方向移动的规定操作。例如，用手掌推着显示于空中显示器的图像朝里侧移动。而且，通过利用五根手指来抓住图像(使图像吸附于手掌)的操作来朝跟前移动。或者，以用两手拿着图像的方式来使其朝前后(跟前和里侧)移动。也可通过此类预先决定的操作，来使空中显示器上的图像能够前后移动。

此外，近年来，逐渐能够使IoT机器进行联动动作。这是通过在智能电话或平板等终端装置中安装规定的应用来进行规定的设定而实现。例如，使终端装置与室内集线器(room hub)连动，从而用作空调或电视机等多个家电的遥控器。即，使终端装置与家电进行联动动作。为此，作为IoT机器的终端装置如前述那样，具有用于与家电进行通信的多个通信部件。能够以下述方式进行利用，即，使终端装置和家电显示于空中显示器，通过对空中显示器上的终端装置进行操作，从而操作家电。例如，当用户想要将终端装置用作电视机的遥控器时，使与终端装置关联的作为电视机遥控器的功能、和电视机的放映功能相对应而执行联动功能。由此，终端装置(第1机器)与电视机(第2的机器)之间依照特定的通信规格来进行通信，从而与电视机进行联动动作。又或者，通过从终端装置进行规定的设定，从而使作为IoT机器的照明器具(智能发光二极管(Light Emitting Diode，LED)灯(light))与门传感器进行联动动作。例如，当门传感器探测到门打开时，使照明器具点灯等。此处，将电视机或门传感器等例示为IoT机器，但除此以外，也可与智能插头(smart plug)、运动传感器(motion sensor)等终端装置进行联动动作。而且，所述说明中，对从终端装置经由作为中继机的室内集线器来与IoT机器，或者使IoT机器彼此进行联动动作的情况进行了说明，但也可利用智能扬声器(smart speaker)来作为中继机，或者如室内集线器与服务器等那样对多个中继机进行中继而执行联动功能。而且，也可并非从终端装置，而是从智能扬声器对多个IoT机器直接发出指示，从而执行联动功能。

＜第2实施方式＞

以下对第2实施方式的系统进行说明。所述第1实施方式中，通过选择与机器关联的机器图像来控制联动功能的显示，但在第2实施方式中，通过选择与功能关联的功能图像来控制联动功能的显示。功能图像例如既可为与软件(应用等)关联的图像，也可为与进行处理的机器关联的图像。功能图像例如是图标等图像，从与表示作为硬件的机器的实际外观的图像(例如照片)或表示机器其自身的图像区别的意义上来说，也可以说是虚拟(virtual)图像。例如，当由用户选择了与软件关联的功能图像时，显示表示可利用与此功能图像关联的软件来执行的联动功能的信息。以下，对第2实施方式进行详细说明。本实施方式中，为了便于说明，首先以将平面的二维图像(无纵深(z＝0)的图像)显示于空中显示器的情况为例来说明基本的处理流程。随后，对将立体的三维图像显示于空中显示器时的处理进行说明。

图18中表示了第2实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用多个功能来执行的联动功能的信息。所述联动功能管理表中，作为一例，功能ID(例如用于识别软件的ID)、表示功能名(例如软件名)的信息、与表示可利用多个功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表，从而确定可利用多个功能来执行的联动功能。例如，作为功能的软件α是发送数据的软件，作为功能的软件β是对数据添加密码(password)的软件。通过将软件α、β予以组合，例如实现对数据添加密码后予以发送的联动功能。对于其他软件，也同样规定有可执行的联动功能。

图19中表示了显示于空中显示器的画面76。本实施方式中也与第1实施方式同样地，在空中为了表示信息的显示区域(显示范围)而附加显示画面(显示框)76。以下的实施方式中也同样。在画面76上，显示一个或多个功能图像。例如，在画面76上，显示与安装于终端装置16的软件关联的功能图像。图19所示的示例中，显示有功能图像78、80、82、84、86、88、90。

功能图像78是与声音播放功能关联的图像(例如与声音播放软件关联的图像、或与播放声音的机器(例如播放器)关联的图像)。当由用户选择了功能图像78并给予声音播放功能的启动指示时，例如声音播放软件启动而播放声音，或者播放器播放声音。

功能图像80是与密码设定功能关联的图像(例如与密码设定软件关联的图像)。当由用户选择了功能图像80并给予密码设定功能的启动指示时，例如密码设定软件启动，以进行针对数据等的密码设定处理。

功能图像82是与数据发送功能关联的图像(例如与数据发送软件关联的图像)。当由用户选择了功能图像82并给予数据发送功能的启动指示时，例如数据发送软件启动，而将作为发送对象的数据等发送至发送目标。

功能图像84是与打印功能关联的图像(例如与打印软件关联的图像、或与执行打印的机器(例如打印机或多功能一体机)关联的图像)。当由用户选择了功能图像84并给予打印功能的启动指示时，例如打印软件启动，依照所设定的打印条件来进行打印。

功能图像86是与计算功能关联的图像(例如与计算软件关联的图像)。当由用户选择了功能图像86并给予计算功能的启动指示时，计算软件启动。

功能图像88是与电话功能关联的图像。当由用户选择了功能图像88并给予电话功能的启动指示时，显示电话号码的输入画面或地址簿，对由用户所指定的电话号码拨打电话。

功能图像90是与邮件(mail)功能关联的图像(例如与邮件软件关联的图像)。当由用户选择了功能图像90并给予邮件功能的启动指示时，邮件软件启动。

与第1实施方式同样地，当用户指定多个功能图像时，确定部38对与由用户所指定的多个功能图像关联的多个功能进行识别，并参照图18所示的联动功能管理表，由此来确定可利用所述多个功能来执行的联动功能。表示所述联动功能的信息显示于空中显示器。例如，用户通过将多个功能图像彼此相连，或将多个功能图像彼此重合，从而指定所述多个功能图像而显示表示联动功能的信息。若以图19所示的示例来进行说明，则例如当执行了功能图像80、82时(例如将功能图像80、82彼此相连或彼此重合时)，显示表示可利用添加密码的功能和发送数据的功能来执行的联动功能的信息。所述功能图像例如显示在智能电话的主(home)画面或个人计算机的桌面(desktop)画面上，当在所述画面上指定多个功能图像时，在所述画面上显示表示联动功能的信息。另外，当指定了三个以上的功能图像时，也可显示表示可利用三个以上的功能来执行的联动功能的信息。

接下来，对利用存在纵深的立体图像(三维图像)来表达与功能关联的功能图像的情况进行说明。

功能有时具有多个功能。搭载于多功能一体机的功能是搭载有复印功能、传真(FAX)功能、打印功能等。在打印功能中还可分类为黑白/彩色打印、A4/A3尺寸的打印、单面/双面打印等各种功能。这样，在一个功能中搭载有多个功能(以下也称作“子(sub)功能”)的情况下，这些功能存在层级关系，即，能够以层级结构来表达，而对于所述层级结构的层级的深度，利用三维图像的纵深方向的信息来进行表达。当选择了二维图像的功能图像84时，为了进行更精细的设定，从功能图像84的选择后显示的设定画面(子菜单(submenu)画面)开始一边多次显示设定画面，一边设定各种打印条件。

在利用立体图像(三维图像)来表达功能图像84而以空中显示器予以显示的情况下，用户沿着功能图像84的纵深方向移动指尖来选择所期望的子功能，由此来选择所期望的功能(设定有所期望的打印条件的功能)。例如，当沿着功能图像84的纵深方向移动指尖来指定位置时，将与此位置关联的功能(打印条件)显示于空中显示器。若并非所希望的功能(所期望的打印条件)，则使指尖移动到其他位置。即使进行移动，子功能仍以层级结构来显示，因此只要使手朝跟前移动一段来重做，或者横向滑动即可。并且，当指定的是所希望的功能时，进行规定的确定操作。为了实现此种动作，必须预先设定第1实施方式中图7所示的联动功能管理表。

另外，当使与数据关联的图像显示于空中显示器时，也可显示单个数据的图像，但数据文件一般是保存在呈层级结构的文件夹(folder)中。因而，在利用空中显示器来处理数据的情况下，如前述的功能的层级结构那样利用图像来显示根文件夹(root folder)的图像(根图像)，在根图像的纵深方向上显示子文件夹或数据文件的图像。并且，用户也可将指尖放入根图像的内部并使其移动，从而指定保存在子文件夹中的所期望的数据。

＜第3实施方式＞

以下对第3实施方式的系统进行说明。第3实施方式中，当由用户指定了所述机器图像与功能图像时，显示表示可利用与机器图像关联的机器和与功能图像关联的功能来执行的联动功能的信息。以下，对第3实施方式进行详细说明。本实施方式中，为了便于说明，也是以将平面的二维图像(无纵深(z＝0)的图像)显示于空中显示器的情况为例来说明基本的处理流程。

图20中表示了第3实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用机器与功能(例如软件)来执行的联动功能的信息。所述联动功能管理表中，作为一例，ID的组合(机器ID与功能ID的组合)、表示机器名和功能名的信息、与表示可利用机器和功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表，来确定可利用机器与功能来执行的联动功能。例如，通过将作为机器A的PC(A)与作为功能α的数据发送功能予以组合，例如实现利用PC(A)来发送数据的联动功能。对于其他机器与功能，也同样规定有可执行的联动功能。

与第1实施方式、第2实施方式同样地，当用户指定机器图像与功能图像时，确定部38对与由用户所指定的机器图像关联的机器和与功能图像关联的功能进行识别，并参照图20所示的联动功能管理表，由此来确定可利用所述机器和所述功能来执行的联动功能。表示所述联动功能的信息显示于空中显示器。例如，用户通过将机器图像与功能图像彼此相连，或者将机器图像与功能图像彼此重合，由此来指定所述机器图像与所述功能图像而显示表示联动功能的信息。另外，当指定了一个或多个机器图像与一个或多个功能图像时，也可显示表示可利用一个或多个机器与一个或多个功能来执行的联动功能的信息。

图21中表示了显示于空中显示器的画面76。在画面76上，作为一例，显示有机器图像70与功能图像82。机器图像70是与多功能一体机(B)关联的图像，功能图像82是与数据发送功能(例如数据发送软件)关联的图像。例如，当通过所述AR技术等而识别出多功能一体机(B)时，将与所述多功能一体机(B)关联的机器图像70显示于画面76。而且，当在终端装置16中安装有数据发送软件(α)时，将与数据发送软件(α)关联的功能图像82显示于画面76。

例如，当用户如箭头92所示那样将机器图像70与功能图像82彼此相连时，确定部38将与机器图像70关联的多功能一体机(B)识别为联动对象机器，并将与功能图像82关联的数据发送软件(α)识别为联动对象功能。并且，确定部38通过参照图20所示的联动功能管理表，来确定可利用多功能一体机(B)和数据发送软件(α)来执行的联动功能。表示所述联动功能的信息被显示于空中显示器。例如，通过用户在画面76上利用指尖以绘描的方式在多个图像之间移动，从而将所述多个图像相连。另外，如前所述，由于指尖是在空中移动，因此通过人检测装置152来检测所述绘描之类的指尖动作。终端装置16的控制部48探测针对显示于空中显示器的画面76的用户操作。另外，当用户将功能图像82连接至机器图像70时，也显示表示可利用多功能一体机(B)与数据发送软件(α)来执行的联动功能的信息。当用户将一个或多个机器图像与一个或多个功能图像相连时，也可显示表示可利用一个或多个机器与一个或多个功能来执行的联动功能的信息。

图22中表示了另一操作例。例如，当用户如箭头94所示，使机器图像70移动至功能图像82而重合于功能图像82上时，确定部38将与机器图像70关联的多功能一体机(B)识别为联动对象机器，将与功能图像82关联的数据发送软件(α)识别为联动对象功能。并且，确定部38通过参照图20所示的联动功能管理表，从而确定可利用多功能一体机(B)与数据发送软件(α)来执行的联动功能。表示所述联动功能的信息显示于空中显示器。例如，通过用户利用指尖来进行拖拽和拖放操作，从而将图像重合于其他图像。图22所示的示例中，用户对图像70进行拖拽操作，并在重合于功能图像82的位置对机器图像70进行拖放操作。另外，也可根据用户的语音指示来指定要重合的图像。当用户将功能图像82重合于机器图像70上时，也显示表示可利用多功能一体机(B)与数据发送软件(α)来执行的联动功能的信息。当用户将一个或多个机器图像与一个或多个功能图像重合时，也可显示表示可利用一个或多个机器与一个或多个功能来执行的联动功能的信息。

当多个图像重合时，也可生成表示所述重合状态的新的图像并予以显示。例如假设如图22所示，机器图像70与功能图像82彼此重合。此时，如图23所示，显示通过对重合的机器图像70与功能图像82进行分组(grouping)而生成的新的合成图像96。合成图像96例如既可由终端装置16的控制部48所生成，也可由服务器14的控制部36所生成。合成图像96是表示在功能图像82上重合有机器图像70的状态的图像。合成图像96既可为直接表示在功能图像82上重合有机器图像70的状态的图像，也可为示意性地表示此状态的图像(例如图标)。另外，即使在生成有合成图像96的情况下，原本的机器图像70与功能图像82仍保持其状态而显示。

另外，在第1实施方式中，当多个机器图像重合时，也可生成表示所述多个机器图像重合的状态的合成图像，在第2实施方式中，当多个功能图像重合时，也可生成表示所述多个功能图像重合的状态的合成图像。

当如上所述生成有合成图像96时，终端装置16的控制部48使合成图像96保留显示在画面76上。当所述合成图像96重合于其他机器图像，或者重合于其他功能图像时，将与所述机器图像关联的机器或与所述功能图像关联的功能识别为作为联动对象的机器或功能。例如假设如图23所示，识别出显示器(D)，在画面76上显示有与所述显示器(D)关联的机器图像98。当使合成图像96如箭头100所示那样移动而重合于机器图像98上时，将显示器(D)识别为联动对象机器。此时，确定部38通过参照图20所示的联动功能管理表，从而确定可利用多功能一体机(B)、数据发送软件(α)和显示器(D)来执行的联动功能。表示所述联动功能的信息显示于空中显示器。而且，生成表示在与显示器(D)关联的机器图像98上重合有合成图像96的状态的新的合成图像并予以显示。另外，当合成图像96与机器图像98彼此相连时，也可显示表示联动功能的信息。而且，在合成图像96与功能图像彼此重合的情况下、或合成图像96与功能图像彼此相连的情况下，显示表示可利用与所述功能图像关联的功能、多功能一体机(B)和数据发送软件(α)来执行的联动功能的信息。

通过如上所述显示合成图像，并使所述合成图像重合于与下个联动候补机器关联的机器图像或与功能关联的功能图像，从而能够增加进行联动的机器或功能。而且，由于合成图像表示与作为联动对象的机器或功能关联的图像重合的状态，因此通过显示合成图像，从而对于用户而言，容易在视觉上知晓哪个机器或功能被指定为作为联动对象的机器或功能。

所述合成图像也可被用作在下次以后执行联动功能时的快捷方式用的图像。例如，当用户使用终端装置16来给予将合成图像登记为快捷方式用图像的指示时，在空中显示器上显示所述登记用画面。在所述登记画面上，显示合成图像，并且显示表示可利用作为联动对象的机器和功能来执行的联动功能的登记内容的信息。例如，将联动功能名、联动功能的概要和表示联动所需的机器和功能的信息，显示为表示登记内容的信息。用户也可使用终端装置16来对登记内容(例如联动功能名、联动功能的概要等)进行编辑。当用户在登记画面上给予有登记指示时，将合成图像登记为快捷方式用图像。而且，当由用户编辑了登记内容时，也将所述编辑内容关联于合成图像而登记。生成作为合成图像的快捷方式用图像并显示于空中显示器。快捷方式用图像既可由终端装置16所生成，也可由服务器14所生成。当生成多个快捷方式用图像并予以登记时，也可在空中显示器上显示快捷方式用图像的一览。另外，快捷方式用图像与表示登记内容的信息存储在终端装置16中。作为另一例，快捷方式用图像与表示登记内容的信息也可关联于用户账户信息而存储在服务器14中。此时，当将用户账户信息从终端装置16发送至服务器14时，将与所述用户账户信息关联的信息(快捷方式用图像与表示登记内容的信息)从服务器14发送至终端装置16，并显示于空中显示器。

另外，在快捷方式用图像中，也可对应于作为联动对象的每个机器或每个功能，而包含表示机器或功能的状态(status)的信息(例如图像等)。例如，在作为联动对象的机器或功能能够执行联动功能的状态的情况下，将表示此意旨的图像(例如绿色或蓝色的图像)显示为表示状态的信息。在作为联动对象的机器或功能无法执行联动功能的状态的情况下，将表示此意旨的图像(例如白色或红色的图像)显示为表示状态的信息。所谓能够执行联动功能的状态，例如是指当前机器或功能未被使用的状态、未发生故障的状态等。所谓无法执行联动功能的状态，例如是指机器或功能正被使用的状态、发生了故障的状态等。例如，终端装置16从联动对象机器获取表示联动对象机器的状态的信息，并获取表示联动对象功能的状态的信息，且基于所述信息来显示状态信息。信息的获取也可由服务器14来进行。

在空中显示器上显示有快捷方式用图像的情况下，当用户指定快捷方式用图像而指示了联动功能的执行时(例如当用户对快捷方式用图像进行了点击(click)操作或双击(double click)操作时)，显示表示与所述快捷方式用图像关联的联动功能的信息，或者控制所述联动功能的执行。

如上所述，通过将联动功能与快捷方式用图像相关联地进行管理，从而在下次以后，用于执行联动功能的用户的操作负担得以减轻。

另外，当由用户对作为重合对象的图像进行了操作后(例如进行了拖拽操作后)，在画面76上未显示图像的区域解除了所述操作时(例如进行了拖放操作时)，也可解除联动功能。例如假设如图22所示，机器图像70重合于功能图像82上，且如图23所示，生成合成图像96并予以显示。此时，当用户在画面76上未显示图像的区域解除合成图像96的操作时，可利用多功能一体机(B)与数据发送软件(α)来执行的联动功能得以解除。即，用户将合成图像96拖拽操作至未显示图像的区域，并在此区域进行拖放操作，由此来解除联动功能。借此，能够利用简便的操作来解除联动功能。当然，也可在画面上显示用于解除联动功能的按钮图像(例如图标)，用户通过操作此按钮图像(例如通过按下按钮图像)来解除联动功能。

而且，当将与数据(也称作文件)关联的图像(例如图标)重合于机器图像上时，终端装置16的控制部48也可将所述数据登记为与所述机器图像关联的机器的处理对象。当由用户给予了处理的执行指示时，所述机器对所登记的数据执行由用户所指定的处理。数据例如为文档数据、图像数据等。例如，当将文档数据重合于与多功能一体机关联的机器图像上时，将所述文档数据登记为多功能一体机的处理对象。当由用户对所述多功能一体机给予了打印指示时，通过所述多功能一体机来打印所登记的所述文档数据。

而且，当将与数据关联的图像重合于功能图像上时，终端装置16的控制部48也可将所述数据登记为与所述功能图像关联的功能的处理对象。当由用户给予了处理的执行指示时，对所登记的数据执行所述功能的处理。例如，当将文档数据重合于与数据发送软件关联的功能图像上时，将所述文档数据登记为发送对象。当用户给予了发送指示时，将所登记的所述文档数据发送至目标。

而且，当在将与数据关联的图像重合于机器图像上而登记为处理对象后，将所述机器图像重合于功能图像上时，终端装置16的控制部48将所述数据登记为可利用与所述机器图像关联的机器和与所述功能图像关联的功能来执行的联动功能的处理对象。同样，当在将与数据关联的图像重合于功能图像上而登记为处理对象后，将所述功能图像重合于机器图像上时，终端装置16的控制部48将所述数据登记为可利用与所述功能图像关联的功能和与所述机器图像关联的机器来执行的联动功能的处理对象。当由用户给予了所述联动功能的执行指示时，对所登记的数据执行联动功能的处理。

以下，对用于执行联动功能的另一操作进行说明。

图24中表示了显示于空中显示器的画面76。例如，当用户如箭头102所示，将与数据发送软件(α)关联的功能图像82从与多功能一体机(B)关联的机器图像70操作至与显示器(D)关联的机器图像98时，确定部38确定可利用数据发送软件(α)、多功能一体机(B)和显示器(D)来执行的联动功能。表示所述联动功能的信息显示于空中显示器。作为图像的操作，用户既可对功能图像82与机器图像70、98进行指定，也可将功能图像82与机器图像70、98相连，还可将功能图像82重合于机器图像70、98上。可由数据发送软件(α)、多功能一体机(B)和显示器(D)来执行的联动功能，例如是将通过多功能一体机(B)的扫描而生成的图像数据发送至显示器(D)并予以显示的功能。如图25所示，在空中显示器上显示有画面104，在所述画面104上，显示有表示所述联动功能的信息。当用户选择了“是”时，执行所述联动功能，当用户选择了“否”时，画面返回用于选择图像的画面等。

图26中表示了另一操作例。在终端装置16的画面76上，显示有机器图像98、106与功能图像84。例如，机器图像106是与显示器(D)关联的图像。当通过AR技术等而识别出显示器(D)与摄像机(E)时，显示与显示器(D)关联的机器图像98和与摄像机(E)关联的机器图像106。而且，功能图像84是与打印功能(例如打印软件)关联的图像。例如，当在终端装置16中安装有打印软件时，在画面76上显示功能图像84。

例如，当用户如符号108所示那样选择多个机器图像(例如机器图像98、106)(例如分组)，且如箭头110所示那样，将所述多个机器图像统一重合于功能图像84，或者将所述所选择的区域与功能图像84相连时，确定部38确定可利用显示器(D)、摄像机(E)和打印软件来执行的联动功能。所述联动功能是对保存于摄像机中的图像与显示于显示器上的图像进行打印的功能。将表示所述联动功能的信息显示于空中显示器。例如，如图27所示，在空中显示器上显示有画面104，在所述画面104上显示有表示所述联动功能的信息。当用户选择了“是”时，执行联动功能，当用户选择了“否”时，画面返回画面76等画面。

图26所示的示例中，选择了多个机器图像，并将所述选择的多个机器图像操作至功能图像，但也可选择多个功能图像，并将所述选择的多个功能图像操作至机器图像。而且，也可选择机器图像与功能图像，并将所述选择的机器图像与功能图像操作至机器图像或功能图像。当然，也可选择多个机器图像，并将所述所选择的多个机器图像操作至其他机器图像，还可选择多个功能图像，并将所述选择的多个功能图像操作至其他功能图像。

图28中表示了又一操作例。假设在空中显示器的画面76上，显示有机器图像70、106以及功能图像78、82、86、88、90。例如假设使与功能图像86关联的功能(例如计算软件)和与机器图像70关联的多功能一体机(B)联动。当用户进行用于所述联动的操作时，有时用户会操作到功能图像86以外的功能图像或机器图像70以外的机器图像。例如，作为用于联动的操作，当用户想要将功能图像86与机器图像70彼此相连，而如轨迹112所示那样，在画面76上通过指尖从功能图像86朝向机器图像70进行绘描时(在画面76上进行触摸时)，沿着所述轨迹112而显示的机器图像106与功能图像82也会被指定。此时，与机器图像106关联的摄像机(E)和与功能图像82关联的数据发送软件(α)也会被指定为联动对象。所述指定并非用户所意图的指定。

为了应对所述问题，例如当机器图像或功能图像在其他机器图像上重合了预定时间以上的期间时，确定部38将与所述其他机器图像关联的机器识别为联动对象机器。同样，当机器图像或功能图像在其他功能图像上重合了预定时间以上的期间时，确定部38将与所述其他功能图像关联的功能识别为联动对象功能。

或者，当从功能图像86朝向机器图像70绘描时，一边改变纵深方向的位置一边使指尖移动，以避开其他图像78、82、88、90、106的显示位置。例如，在各图像的纵深方向的位置相同地一致的情况下，用户指定了功能图像86后，在将手稍许抽回的状态下使指尖从功能图像86移动至机器图像70为止并进行触碰，从而指定机器图像70。

若以图28所示的示例来进行说明，则当用户沿着轨迹112来使功能图像86移动至机器图像70上，并将功能图像86在机器图像70上重合预定时间以上的期间时，确定部38将与机器图像70关联的多功能一体机(B)识别为联动对象机器。此时，显示表示可利用计算软件与多功能一体机(B)来执行的联动功能的信息。作为另一例，也可当用户指定了功能图像86后，在画面76上通过指尖沿着轨迹112而从功能图像86绘描至机器图像70，以将机器图像70指定了预定时间以上的期间时，确定部38将与机器图像70关联的多功能一体机(B)识别为联动对象机器。也可在功能图像86被指定了预定时间以上的期间时，确定部38将与功能图像86关联的计算软件识别为联动对象功能。借此，与沿着轨迹112而显示的机器图像106关联的机器和与功能图像82关联的功能不会被指定为作为联动对象的机器或功能，因此可防止用户未意图的机器或功能被选择为联动对象。另外，图28中，是将显示于一个画面76上的功能图像86与机器图像70作为联动对象，但也可将显示于空中显示器的不同画面上分别显示的图像作为联动对象。即，也可跨越画面来指定联动对象。

图29中表示了又一操作例。在空中显示器上显示有画面114。画面114是作为基本操作画面的桌面画面，例如包含主显示区域116与副显示区域118。

在主显示区域116中，显示有机器图像、功能图像、与文件关联的图像、与文件夹关联的图像等。而且，当软件被执行时(启动时)，在主显示区域116上显示所述软件的操作画面(例如文档编辑用的画面、电子表格用的画面、图像查看器(viewer)、图像处理用的画面、网页浏览器(Web browser)等)。而且，表示联动功能的信息也显示于主显示区域116。

副显示区域118是显示在画面114的下部区域的横长的区域，是被称作所谓的任务栏(task bar)的区域。在副显示区域118中，例如显示机器图像、功能图像、其他的图标等。显示于副显示区域118的图像既可为具有原本的图像经缩小的尺寸的图像，也可为具有与原本的图像为相同尺寸的图像，还可为具有原本的图像经放大的尺寸的图像。图29所示的示例中，在副显示区域118中，显示了经缩小的图像。例如，图像120是功能图像78的缩小图像，图像122是功能图像86的缩小图像，图像124是功能图像90的缩小图像。当然，也可将机器图像的缩小图像显示于副显示区域118。在副显示区域118中，既可显示预定的机器图像、功能图像、其他的图标等，也可显示由用户所指定的机器图像、功能图像、其他的图标等。另外，副显示区域118既可为显示在画面114上部的横长的区域，也可为显示在画面114右侧部或左侧部中的任一处的纵长的区域。

通过用户的操作，既可使显示于副显示区域118的图像移动至主显示区域116，也可使显示于主显示区域116的图像移动至副显示区域118。图29所示的示例中，如箭头126所示，使图像124从副显示区域118移动至主显示区域116。此时，终端装置16的控制部48对作为缩小图像的图像124进行放大，并使放大后的功能图像90显示于主显示区域116内。经移动的图像124也可不显示于副显示区域118。而且，也可如箭头128所示，使功能图像90从主显示区域116移动至副显示区域118。此时，终端装置16的控制部48对功能图像90进行缩小，并使缩小后的图像124显示于副显示区域118内。经移动的功能图像90也可不显示于主显示区域116。

主显示区域116相当于联动用区域的一例，对于显示于所述主显示区域116的机器图像或功能图像，可进行用于显示联动功能的操作。即，与所述各实施方式同样地，用户对显示于主显示区域116的机器图像或功能图像进行操作，由此来指定作为联动对象的机器或功能，并显示表示可利用所述指定的机器或功能来执行的联动功能的信息。

例如也可为：当用户不使用联动功能时，使机器图像与功能图像移动至副显示区域118，而要使用联动功能时，使与执行所述联动功能所需的机器关联的机器图像或与功能关联的功能图像从副显示区域118移动至主显示区域116。借此，在主显示区域116上不显示与联动功能的执行所不需要的机器关联的机器图像或与功能关联的功能图像，因此用于联动的用户操作变得容易。

所述第1实施方式至第3实施方式中，若在联动功能管理表中未登记可利用由用户所指定的机器或功能来执行的联动功能，则服务器14的确定部38判断为未登记有可利用由用户所指定的机器或功能来执行的联动功能。此时，服务器14的控制部36输出表示无法通过所指定的机器或功能来执行联动功能的消息(message)。所述消息被显示于空中显示器。即使在此种情况下，根据机器的运行状况、设置机器的环境(周边环境)、机器的功能变化(更新)、软件对处理的执行状况等，联动功能也有时变得可用。例如，当选择了多功能一体机与干燥机(dryer)作为连接对象机器时，尽管最初不存在可通过多功能一体机与干燥机来执行的联动功能，但当在设置多功能一体机的环境中发生了结露时，便可通过干燥机来去除或防止结露。此时，通过利用多功能一体机与干燥机而可执行的联动功能变得可用，因此也可将表示此联动功能的信息显示于空中显示器。例如，服务器14的控制部36也可对各机器的运行状况、设置各机器的环境(周边环境)、各机器的功能的更新状况、软件对处理的执行状况等进行监控，并基于所述监控结果来判断联动功能的可用或不可用。若举多功能一体机与干燥机的组合为例来进行说明，则控制部36在多功能一体机的周边环境满足特定条件时(例如，当在多功能一体机的周边环境发生了结露时)，判断为联动功能可用，并确定(识别)使用干燥机的联动功能。对于机器的运行状况也同样，控制部36在所识别或指定的机器群符合特定的运行状况时，判断为利用所述机器群的联动功能可用。而且，对机器的功能进行了更新，并根据更新后的功能而联动功能变得可用的情况，或者软件变得可用的情况，或者软件得到更新而联动功能变得可用的情况等时也同样。

以下，关联处理进行说明。

(关联处理1：与联动功能相关的信息的显示切换处理)

以下对关联处理1进行说明。第1实施方式中，也可根据多个机器的选择顺序来切换与联动功能相关的信息的显示。以下，参照图30至图32来详细说明所述处理。

图30中表示了作为联动功能管理信息34的另一例的联动功能管理表。所述联动功能管理表中，作为一例，表示机器ID的组合的信息、表示联动对象机器名(例如各机器的种类)的信息、表示联动功能的信息(联动功能信息)、表示连接顺序的信息、表示优先顺位的信息彼此对应。机器ID与机器名相当于设备识别信息的一例。连接顺序对应于机器的指定顺序，例如对应于将机器图像相连的顺序或重合的顺序。例如，当用户依序指定了多个机器时，所述指定顺序相当于连接顺序。而且，当用户将第1机器图像连接至第2机器图像时，与第1机器图像关联的第1机器的指定顺序为1号，与第2机器图像关联的第2机器的指定顺序为2号。而且，当用户将第1机器图像重合于第2机器图像上时，与第1机器图像关联的第1机器的指定顺序为1号，与第2机器图像关联的第2机器的指定顺序为2号。优先顺位是与联动功能相关的信息的显示的优先顺位。例如，机器ID为“A”的机器是PC(个人计算机)，机器ID为“B”的机器是多功能一体机。通过使PC(A)与多功能一体机(B)联动，例如实现“扫描转发功能”与“打印功能”作为联动功能。“扫描转发功能”是将通过多功能一体机(B)的扫描而生成的图像数据转发至PC(A)的功能。“打印功能”是将保存在PC(A)中的数据(例如图像数据或文档数据)发送至多功能一体机(B)并通过多功能一体机(B)予以打印的功能。例如，当从多功能一体机(B)向PC(A)连接机器时，即，当由用户依照多功能一体机(B)、PC(A)的顺序来指定各机器时，“扫描转发功能”的优先顺位成为“第1位”，“打印功能”的优先顺位成为“第2位”。此时，与“扫描转发功能”相关的信息较之与“打印功能”相关的信息而优先显示。与此相反地，当从PC(A)向多功能一体机(B)连接机器时，即，当由用户依照PC(A)、多功能一体机(B)的顺序来指定各机器时，“打印功能”的优先顺位成为“第1位”，“扫描转发功能”的优先顺位成为“第2位”。此时，与“打印功能”相关的信息较之与“扫描转发功能”相关的信息而优先显示。

例如，当由用户依照多功能一体机(B)、PC(A)的顺序而指定了各机器时，将所述指定顺序指定为连接顺序。例如，用户将与多功能一体机(B)关联的机器图像连接至与PC(A)关联的机器图像，或者将与多功能一体机(B)关联的机器图像重合于与PC(A)关联的机器图像上，由此来指定各机器与连接顺序。表示机器连接顺序的信息从终端装置16发送至服务器14。服务器14的确定部38在图30所示的联动功能管理表中，确定跟PC(A)与多功能一体机(B)的组合对应的联动功能。由此来确定通过使PC(A)与多功能一体机(B)联动而执行的联动功能。而且，当由用户指定机器的连接顺序时，确定部38在联动功能管理表中，确定与所述连接顺序对应的优先顺位。若参照图30来举具体例进行说明，则由于PC(A)与多功能一体机(B)被指定为联动对象机器，因此由它们执行的联动功能为“扫描转发功能”与“打印功能”。而且，由于是从多功能一体机(B)向PC(A)连接机器(B→A)，因此“扫描转发功能”的优先顺位为“第1位”，“打印功能”的优先顺位为“第2位”。

与如上所述经确定的联动功能相关的信息和表示优先顺位的信息从服务器14发送至终端装置16。终端装置16的控制部48根据所述优先顺位，使与联动功能相关的信息作为与联动功能候补相关的信息而显示于空中显示器。

图31中表示了显示于空中显示器的画面130。在所述画面130上，显示有与联动功能候补相关的信息。由于“扫描转发功能”的优先顺位为“第1位”，“打印功能”的优先顺位为“第2位”，因此与“扫描转发功能”相关的信息较之与“打印功能”相关的信息而优先(例如上位)显示。例如，作为与“扫描转发功能”相关的信息，显示“将由多功能一体机(B)所扫描的数据转发至PC(A)。”这一“扫描转发功能”的说明文。而且，作为与“打印功能”相关的信息，显示“对位于PC(A)中的数据进行打印。”这一“打印功能”的说明文。

当由用户指定了联动功能并给予了执行指示时，执行所指定的联动功能。例如，当由用户按下“是”按钮时，执行与所述“是”按钮关联的联动功能。而且，在画面上显示有“返回”按钮，通过用户按下“返回”按钮，从而中止机器的连接处理。

另外，联动功能的确定处理和优先顺位的确定处理也可由终端装置16来进行。

作为另一例，当由用户依照PC(A)、多功能一体机(B)的顺序而指定了各机器时，将所述指定顺序指定为连接顺序。例如，用户将与PC(A)关联的机器图像连接至与多功能一体机(B)关联的机器图像，或者将与PC(A)关联的机器图像重合于与多功能一体机(B)关联的机器图像上，由此来指定各机器与连接顺序。表示机器连接顺序的信息从终端装置16发送至服务器14。若参照图30所示的联动功能管理表，则“打印功能”的优先顺位为“第1位”，“扫描转发功能”的优先顺位为“第2位”。此时，如图32所示，在画面130上，与“打印功能”相关的信息较之与“扫描转发功能”相关的信息而优先(例如上位)显示。

如上所述，根据机器的指定顺序，来变更与联动功能相关的信息的显示顺位。机器的连接顺序兼作在各机器中利用的功能的顺序、或在联动的机器间移动的数据的移动顺序，指定机器的操作兼作对功能的顺序或数据的移动顺序进行指定的操作。因此，通过根据连接顺序来改变与联动功能相关的信息的显示顺位，从而优先显示与预测为用户可能要利用的联动功能相关的信息。即，优先显示与用户利用的可能性高的联动功能相关的信息。例如，当以多功能一体机(B)、PC(A)的顺序来选择各机器时，预测为用户将利用“在PC(A)之前先利用多功能一体机(B)的功能，从多功能一体机(B)向PC(A)转发数据”这一联动功能。而且，当用户以PC(A)、多功能一体机(B)的顺序来选择各机器时，预测为用户将利用“在多功能一体机(B)之前先利用PC(A)的功能，从PC(A)向多功能一体机(B)转发数据”这一联动功能。因此，通过根据选择机器的顺序来改变与联动功能相关的信息的显示顺位，从而优先通知与用户利用的可能性高的联动功能相关的信息。

关联处理1也可适用于第2实施方式。此时，联动功能管理表中，作为一例，表示功能ID的组合的信息、表示联动对象功能名的信息、表示联动功能的信息、表示连接顺序的信息、与表示优先顺位的信息彼此对应。连接顺序对应于功能的指定顺序，例如对应于将功能图像相连的顺序或重合的顺序。例如，当用户依序指定多个功能时，所述指定顺序相当于连接顺序。而且，当用户将第1功能图像连接至第2功能图像时，与第1功能图像关联的第1功能的指定顺序为1号，与第2功能图像关联的第2功能的指定顺序为2号。而且，当用户将第1功能图像重合于第2功能图像上时，与第1功能图像关联的第1功能的指定顺序为1号，与第2功能图像关联的第2功能的指定顺序为2号。如上所述，通过参照联动功能管理表，从而确定与所指定的多个功能的组合对应的联动功能，进而，确定与作为所述指定顺序的连接顺序对应的优先顺位。在空中显示器中，根据所述优先顺位来显示与各联动功能相关的信息。

关联处理1也可适用于第3实施方式。此时，联动功能管理表中，作为一例，表示机器ID和功能ID的组合的信息、表示联动对象机器名和功能名的信息、表示联动功能的信息、表示连接顺序的信息、与表示优先顺位的信息彼此对应。连接顺序对应于机器和功能的指定顺序，例如对应于将机器图像与功能图像相连的顺序或重合的顺序。例如，当用户依序指定了机器与功能时，所述指定顺序相当于连接顺序。而且，当用户将机器图像连接至功能图像时，与机器图像关联的机器的指定顺序为1号，与功能图像关联的功能的指定顺序为2号。与此相反地，当用户将功能图像连接至机器图像时，与功能图像关联的功能的指定顺序为1号，与机器图像关联的机器的指定顺序为2号。而且，当用户将机器图像重合于功能图像上时，与机器图像关联的机器的指定顺序为1号，与功能图像关联的功能的指定顺序为2号。与此相反地，当用户将功能图像重合于机器图像上时，与功能图像关联的功能的指定顺序为1号，与机器图像关联的机器的指定顺序为2号。如上所述，通过参照联动功能管理表，从而确定与所指定的机器和功能的组合对应的联动功能，进而，确定与作为所述指定顺序的连接顺序对应的优先顺位。在空中显示器中，根据所述优先顺位来显示与各联动功能相关的信息。

(关联处理2：使用机器的部分的联动处理)

以下，对关联处理2进行说明。也可对与机器关联的机器图像内的每个位置分配不同的功能。当由用户指定了机器图像内的位置时，显示跟利用与由用户所指定的位置对应的功能的联动功能相关的信息。以下对此处理进行详细说明。另外，关联处理2中所使用的“机器图像内(的)位置”，并非指立体图像中的纵深方向(三维坐标系中的z轴方向)的位置，而是指平面图像上的图像内(三维坐标系中的x、y轴方向)的位置。

图33中表示了机器功能管理表的一例。所述机器功能管理表的数据是作为机器功能管理信息32而存储在服务器14中。所述机器功能管理表中，作为一例，机器ID、表示机器名(例如机器的种类)的信息、表示机器图像内位置的信息、表示与所述机器图像内位置对应的功能的信息(功能信息)与图像ID相对应。机器图像内位置是与机器关联的机器图像内的特定位置(特定部位)，例如是示意性地表示机器的机器图像内的特定位置、或由摄像机所拍摄的机器图像内的特定位置。对于机器图像内的每个特定位置，对应有不同的功能。

图34中表示了在空中显示器上显示的画面的一例。例如，识别出多功能一体机(B)与PC(A)，且在所述画面132上显示有机器图像70、134。而且，也识别出多功能一体机(B)与PC(A)中所含的部分。部分的识别也是通过使用第1实施方式的识别技术(例如AR技术)来实现。例如，通过拍摄机器的各部分来适用无标记型AR技术，从而识别各部分。

机器图像134是与PC(A)关联的图像。例如，对于机器图像70中与多功能一体机(B)的本体部分对应的特定位置(部分图像70a)，分配有“打印功能”。对于机器图像70中与多功能一体机(B)的原稿罩(cover)、原稿玻璃(glass)或自动原稿供纸装置对应的特定位置(部分图像70b)，分配有“扫描功能”。对于机器图像70中与后处理装置对应的特定位置(部分图像70c)，分配有“装订功能”。“装订功能”是将输出的纸张通过订书钉进行固定的功能。而且，对于机器图像134中与PC(A)的本体部分对应的特定位置(部分图像134a)，分配有“数据保存功能”。对于机器图像134中与PC(A)的显示部对应的特定位置(部分图像134b)，分配有“画面显示功能”。“数据保存功能”是将从其他装置送来的数据保存至PC(A)的功能。“画面显示功能”是将从其他装置送来的数据显示于PC(A)的功能。

另外，终端装置16的控制部48也可使对机器图像内的特定位置分配的功能的名称(例如打印或扫描等)显示于画面132。由此，将便于了解特定位置对应有哪种功能的信息提供给用户。当然，也可不显示功能的名称。

当由用户在机器图像中指定了对应有功能的位置时，与所述指定的位置对应的功能被指定为联动对象功能。用户通过指尖，将机器图像中对应有功能的特定位置(部分图像)相连。例如，如箭头136所示，用户通过指尖，将部分图像70b与部分图像134b相连。由此，将与包含部分图像70b的机器图像70关联的多功能一体机(B)和与包含部分图像134b的机器图像134关联的PC(A)指定为联动对象机器，并且指定与部分图像70b对应的“扫描功能”和与部分图像134b对应的“画面显示功能”。

当识别出联动对象机器(例如PC(A)与多功能一体机(B))时，服务器14的确定部38在图7所示的联动功能管理表中，确定通过使PC(A)与多功能一体机(B)联动而实现的联动功能。而且，确定部38通过参照图33所示的机器功能管理表，从而确定与由用户在机器图像内所指定的特定位置对应的功能。并且，确定部38在通过使PC(A)与多功能一体机(B)联动而实现的联动功能群中，提高利用与由用户指定的位置对应的功能的联动功能的优先顺位，而降低不利用所述功能的联动功能的优先顺位。

与如上所述经确定的联动功能相关的信息和表示优先顺位的信息从服务器14发送至终端装置16。终端装置16的控制部48根据所述优先顺位，使与联动功能相关的信息作为与联动功能候补相关的信息而显示于空中显示器。

例如，如图35所示，终端装置16的控制部48使画面138显示于空中显示器，并使与联动功能候补相关的信息显示于所述画面138。由于用户依序指定了“扫描功能”与“画面显示功能”，因此将与通过使“扫描功能”和“图像显示功能”联动而执行的联动功能“扫描转发显示功能”相关的信息，优先(例如上位)于与其他联动功能相关的信息而显示。例如，较之与通过使“扫描功能”和“数据保存功能”联动而执行的联动功能“扫描转发保存功能”相关的信息，而优先显示与“扫描转发显示功能”相关的信息。另外，扫描转发显示功能是将通过多功能一体机(B)的扫描而生成的数据转发至PC(A)并显示于PC(A)的画面的功能。扫描转发保存功能是将通过多功能一体机(B)的扫描而生成的数据转发至PC(A)并保存于PC(A)的功能。图35所示的示例中，作为与各联动功能相关的信息，显示有各联动功能的说明文。

根据关联处理2，当联动对象机器具有多个功能时，各别地指定功能，并优先显示与利用所述指定的功能的联动功能相关的信息。由此，优先显示预测为用户将要利用的联动功能。

另外，联动功能既可为利用彼此相同的机器或互不相同的机器的部分彼此组合的功能，也可为利用机器整体与机器部分的组合的功能，还可为利用机器整体彼此的组合的功能。

而且，也可将关联处理1、关联处理2加以组合，从而根据机器或部分的指定顺序，来切换与联动功能相关的信息的显示。

而且，当用户仅指定了一个机器或一个部分时，将表示可由所述一个机器或一个部分来执行的单独功能的信息显示于空中显示器。

(关联处理3：使用机器的部分的联动处理的另一例)

以下，参照图36和图37，对作为关联处理3的、使用部分图像的联动处理的另一例进行说明。

图36中表示了机器功能管理表的一例。所述机器功能管理表的数据作为机器功能管理信息32而存储于服务器14中。机器功能管理表中，作为一例，机器ID、表示机器名(例如机器的种类)的信息、表示机器的部分的名称(例如部分的种类)的信息、作为用于识别所述部分的部分识别信息的部分ID、表示分配给所述部分的功能(所述部分所具有的功能)的信息、和用于识别与所述部分关联的部分图像的部分图像ID彼此对应。部分图像是表示通过摄像机的拍摄而获得的机器的部分的外观的图像。当然，示意性地表示机器的部分的部分图像也可对应于所述部分。例如，对于机器的每个部分分配有不同的功能。

若举具体例进行说明，则对于PC(A)的显示部分配有画面显示功能，对于与所述显示部关联的部分图像的部分图像ID，对应于有表示画面显示功能的信息。画面显示功能是将信息显示于PC(A)的功能。对于PC(A)的本体部分配有数据保存功能，对于与所述本体部关联的部分图像的部分图像ID，对应于有表示数据保存功能的信息。数据保存功能是将数据保存于PC(A)的功能。

而且，对于多功能一体机(B)的本体部分配有打印功能，对于与所述本体部关联的部分图像的部分图像ID，对应有表示打印功能的信息。对于多功能一体机(B)的读取部(例如与多功能一体机(B)的原稿罩、原稿玻璃或自动原稿供纸装置对应的部分)分配有扫描功能，对于与所述读取部关联的部分图像的部分图像ID，对应有表示扫描功能的信息。对于多功能一体机(B)的后处理装置分配有装订功能，随后，对于与处理装置关联的部分图像的部分图像ID，对应有表示装订功能的信息。装订功能是将所输出的纸张通过订书钉进行装订的功能。

对机器的部分所分配的功能例如通过使用无标记型AR技术来确定(识别)。例如，当通过摄像机(例如终端装置16的摄像机42)而拍摄到机器的部分时，将表示所述部分的外观图像数据从终端装置16发送至服务器14。服务器14的确定部38在机器功能管理表中，确定(识别)与所述外观图像数据对应的功能。由此来确定(识别)分配给所拍摄的部分的功能。例如，当通过摄像机42拍摄到多功能一体机(B)的本体部时，将表示多功能一体机(B)的本体部的外观图像数据从终端装置16发送至服务器14。服务器14的确定部38在机器功能管理表中，确定与所述外观图像数据对应的打印功能。由此来确定分配给多功能一体机(B)的本体部的功能为打印功能。

当然，对机器的部分所分配的功能也可通过使用标记型AR技术来确定(识别)。例如，在机器的各部分，设有对用于识别部分的部分识别信息(例如部分ID)进行编码所得的二维条形码等标记。当通过摄像机拍摄到设于部分的标记并适用标记型AR技术时，获取此部分的部分识别信息(例如部分ID)。标记型AR技术的适用既可由终端装置16来进行，也可由服务器14来进行。当这样获取部分识别信息时，服务器14的确定部38在机器功能管理表中，确定(识别)与所述部分识别信息(例如部分ID)对应的功能。

图37中表示了联动功能管理表的一例。所述联动功能管理表的数据作为联动功能管理信息34而存储在服务器14中。所述联动功能管理表是表示利用多个部分所具有的功能的联动功能的信息，所述联动功能管理表中，作为一例，表示机器的部分的组合的信息、表示部分ID的组合的信息、与表示利用所述组合中所含的多个部分所具有的功能的联动功能的信息彼此对应。当然，联动功能管理表中，表示机器的部分和机器整体的组合的信息、与表示利用所述机器的部分所具有的功能和机器整体所具有的功能的联动功能的信息也可对应。

若举具体例进行说明，则对于PC(A)的显示部与多功能一体机(B)的本体部的组合，分配有作为联动功能的打印功能，对于表示PC(A)的显示部的部分ID与多功能一体机(B)的本体部的部分ID的组合的信息，对应有表示作为联动功能的打印功能的信息。作为联动功能的打印功能例如是将保存于PC(A)中的数据发送至多功能一体机(B)，并通过多功能一体机(B)来打印所述数据的功能。

而且，对于多功能一体机(B)的本体部与投影机(C)的本体部的组合，分配有作为联动功能的打印功能，对于表示多功能一体机(B)的本体部的部分ID与投影机(C)的本体部的部分ID的组合的信息，对应有表示作为联动功能的打印功能的信息。作为联动功能的打印功能例如是将由投影机(C)所投影的数据发送至多功能一体机(B)，并通过多功能一体机(B)来打印所述数据的功能。

而且，对于多功能一体机(B)的读取部与投影机(C)的本体部的组合，分配有作为联动功能的扫描投影功能，对于表示多功能一体机(B)的读取部的部分ID与投影机(C)的本体部的部分ID的组合的信息，对应有表示作为联动功能的扫描投影功能的信息。作为联动功能的扫描投影功能例如是将通过多功能一体机(B)的扫描而生成的数据发送至投影机(C)，并通过投影机(C)来投影所述数据的功能。

另外，联动功能既可为利用同一机器中所含的多个部分所具有的功能的功能，也可为利用互不相同的多个机器的部分所具有的功能的功能。而且，联动功能还可为利用三个以上的部分所具有的功能的功能。

例如，当利用标记型AR技术或无标记型AR技术，而确定(识别)出机器的多个部分(例如互不相同的多个机器的多个部分或同一机器的多个部分)时，服务器14的确定部38在联动功能管理表中，确定(识别)与所识别出的多个部分的组合对应的联动功能。由此来确定(识别)利用所识别(例如拍摄)的多个部分所具有的功能的联动功能。例如，当通过终端装置16的摄像机42而拍摄到多功能一体机(B)的本体部与投影机(C)的本体部，从而识别出多功能一体机(B)的本体部与投影机(C)的本体部时，服务器14的确定部38在联动功能管理表中，确定作为与多功能一体机(B)的本体部和投影机(C)的本体部的组合对应的联动功能的打印功能等。

与关联处理2同样，当指定了多个部分时，通过参照联动功能管理表，从而确定可利用所述多个部分来执行的联动功能，并将表示所述联动功能的信息显示于终端装置16。

而且，通过将关联处理1、关联处理3予以组合，也可根据机器图像或部分图像的指定顺序来切换与联动功能相关的信息的显示。

另外，部分图像也可为可从机器图像分离而移动的图像。例如，当如图38所示，用户沿着箭头142所示的方向使部分图像70b移动而重合于部分图像134b上时，确定可利用与部分图像70b关联的功能和与部分图像134b关联的功能来执行的联动功能，并显示表示所述联动功能的信息。当然，当将部分图像重合于机器图像的整体时，也可显示表示可利用与部分图像关联的功能和与机器图像关联的机器来执行的联动功能的信息。

也可将关联处理2、关联处理3适用于第3实施方式。例如，如图39所示，在画面140上，显示有与多功能一体机(B)关联的机器图像70和与数据发送软件(α)关联的功能图像82。此时，当用户将部分图像70b与功能图像82相连时，确定可利用与部分图像70b关联的功能和与功能图像82关联的功能来执行的联动功能，并显示表示所述联动功能的信息。而且，当用户沿着箭头144所示的方向使部分图像70b移动而重合于功能图像82上时，也可显示表示可利用与部分图像70b关联的功能和与功能图像82关联的功能来执行的联动功能的信息。

而且，也可将关联处理1、关联处理2、关联处理3适用于第3实施方式。此时，根据机器图像、部分图像或功能图像的指定顺序，来切换与联动功能相关的信息的显示。例如，根据将各图像相连的顺序或重合的顺序，来切换与联动功能相关的信息的显示。

而且，功能图像也可包含多个部分图像。此时，当对功能图像整体中的每个部分分配有不同的功能，且指定功能图像整体中的部分时，也可指定对所述指定的部分分配的功能。在此情况下，当指定了功能图像中的部分图像与机器图像中的部分图像时，也确定可利用与各部分图像关联的各功能来执行的联动功能，并显示与所述联动功能相关的信息。

也可将所述第1实施方式至第3实施方式予以组合。例如，终端装置16的控制部48也可切换执行第1控制模式、第2控制模式和第3控制模式。第1控制模式是与第1实施方式对应的控制模式，且是如下所述的模式，即：当指定了多个机器图像时，对可利用与所述多个机器图像关联的多个机器来执行的联动功能的显示进行控制。第2控制模式是与第2实施方式对应的控制模式，且是如下所述的模式，即：当指定了多个功能图像时，对可利用与所述多个功能图像关联的多个功能来执行的联动功能的显示进行控制。第3控制模式是与第3实施方式对应的控制模式，且是如下所述的模式，即：当指定了机器图像与功能图像时，对可利用与所述机器图像关联的机器和与所述功能图像关联的功能来执行的联动功能的显示进行控制。

例如，当如图11所示，在空中显示器的画面中显示有机器图像而未显示功能图像时，控制部48执行第1控制模式。而且，当如图19所示，在画面中显示有功能图像而未显示机器图像时，控制部48执行第2控制模式。而且，当如图21所示，在画面中显示有机器图像与功能图像时，控制部48执行第3控制模式。

例如，当在图29所示的主显示区域116内显示有机器图像而未显示功能图像时，执行第1控制模式。当在主显示区域116内显示有功能图像而未显示机器图像时，执行第2控制模式。当在主显示区域116内显示有机器图像与功能图像时，执行第3控制模式。例如，用户使机器图像或功能图像在主显示区域116与副显示区域118之间出入，由此来改变显示于主显示区域116内的图像，并与此相应地改变控制模式。

(其他实施方式)

当在画面中的特定的显示区域内显示有机器图像与功能图像时，也可在终端装置16上显示表示可利用与所述机器图像关联的机器和与所述功能图像关联的功能来执行的联动功能的信息。例如，当用户在画面中使与想要联动的机器关联的机器图像和与功能关联的功能图像移动到所述特定的显示区域内，而给予联动功能的显示指示时，显示表示可利用所述机器与所述功能来执行的联动功能的信息。

也可根据空中显示器中的机器图像的显示位置与功能图像的显示位置的关系来变更联动功能。例如，当机器图像的显示位置与功能图像的显示位置的关系符合第1位置关系时(例如将机器图像与功能图像横向排列配置时)，在终端装置16上显示表示与此第1位置关系相应的联动功能的信息。当所述位置关系符合第2位置关系时(例如将机器图像与功能图像纵向排列配置时)，在终端装置16上显示表示与此第2位置关系相应的联动功能(跟与第1位置关系相应的联动功能不同的功能)的信息。例如，当用户在画面上使机器图像与功能图像移动而给予联动功能的显示指示时，显示表示跟此时的机器图像与功能图像之间的位置关系相应的联动功能的信息。通过进行此种控制，从而能够利用简便的操作(例如对图像进行排序的操作)来变更联动功能。

而且，也可当机器图像的显示位置与功能图像的显示位置的关系符合第1位置关系时，显示表示可利用与所述机器图像关联的机器和与所述功能图像关联的功能来执行的联动功能的信息，当所述关系符合第2位置关系时，显示表示所述机器所具有的单独功能的信息和表示所述功能(单独功能)的信息。借此，能够通过简便的操作来切换单独功能的显示与联动功能的显示。

而且，终端装置16的控制部48也可使联动功能的一览显示于空中显示器，并使表示可执行由用户从所述一览中选择的联动功能的机器或功能的信息显示于空中显示器。此种机器或功能是通过参照所述联动功能管理表而确定。所述确定例如是由确定部38来进行，通过所述确定处理而确定的信息从服务器14发送至终端装置16并显示于空中显示器。当然，也可由终端装置16来进行所述确定处理。例如，当由用户所选择的联动功能是通过利用第1机器与第2功能(例如软件)而可执行的功能时，将表示第1机器的信息(例如与第1机器关联的图像或名称等)与表示第2机器的信息(例如与第2机器关联的图像或名称等)显示于空中显示器。借此，将执行由用户所选择的联动功能所需的机器或功能提供给用户。另外，当用户所选择的联动功能可由多个机器来执行时，将表示所述多个机器的信息显示于空中显示器，当所述联动功能可由多个功能来执行时，将表示所述多个功能的信息显示于空中显示器。另外，显示于空中显示器的联动功能的一览既可为预先登记的联动功能的一览，也可在预定的时机或任意时机受到更新。而且，当所述用户无法利用执行由用户所选择的联动功能所需的软件时(例如未安装于终端装置16时、或未被给予利用许可时)，也可将表示利用所述软件所需的操作等的信息显示于空中显示器。例如显示敦促用户安装所述软件的信息、或表示获得利用权限所需的操作的信息等。

作为一例，所述图像形成装置10、服务器14和终端装置16各自是通过硬件与软件的协动来实现。具体而言，图像形成装置10、服务器14和终端装置16各自具备未图示的CPU等一个或多个处理器。所述一个或多个处理器通过读出未图示的存储装置中存储的程序来执行，从而实现图像形成装置10、服务器14和终端装置16的各部的功能。所述程序是经由光盘(Compact Disc，CD)或数字通用光盘(Digital Versatile Disk，DVD)等记录介质，或者经由网络等通信路径而存储在存储装置中。作为另一例，图像形成装置10、服务器14和终端装置16各自的各部例如也可通过处理器、电子电路或专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)等硬件资源而实现。在此实现中，也可利用存储器等元件。作为又一例，图像形成装置10、服务器14和终端装置16各自的各部也可通过数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(Field ProgrammableGate Array，FPGA)等而实现。

Claims (18)

1.一种信息处理装置，其特征在于，包括：

控制部件，对与显示在空中的图像的纵深方向的信息关联的功能的通知进行控制。

2.根据权利要求1所述的信息处理装置，其特征在于，

所述控制部件根据所述图像的纵深方向的信息来控制所述图像的显示。

3.根据权利要求2所述的信息处理装置，其特征在于，

所述控制部件对显示所述图像的颜色的浓度进行控制。

4.根据权利要求3所述的信息处理装置，其特征在于，

所述控制部件在所述图像的纵深方向的信息表示用户对显示在空中的所述图像所指定的纵深方向的位置时，使所述图像中的从所述位置往靠近所述用户的一侧的图像部分的颜色变浅。

5.根据权利要求1所述的信息处理装置，其特征在于，

所述控制部件对下述联动功能的通知进行控制，所述联动功能是通过用户对显示在空中的多个图像中的至少一个图像的纵深方向的信息进行操作，从而能利用与由所述用户所操作的纵深方向的信息关联的功能来执行。

6.根据权利要求5所述的信息处理装置，其特征在于，

所述控制部件在所述至少一个图像的纵深方向的信息表示所述用户对显示在空中的所述多个图像中的所述至少一个图像所指定的纵深方向的位置时，对能利用与由所述用户所指定的纵深方向的位置关联的功能来执行的联动功能的通知进行控制。

7.根据权利要求6所述的信息处理装置，其特征在于，

所述控制部件对下述联动功能的通知进行控制，所述联动功能能利用与包含由所述用户所指定的纵深方向的位置的、所述至少一个图像内的部分图像关联的功能来执行。

8.根据权利要求6所述的信息处理装置，其特征在于，

与由所述用户所操作的纵深方向的信息对应的图像是与机器关联的机器图像或与功能关联的功能图像。

9.根据权利要求6所述的信息处理装置，其特征在于，

与由所述用户所操作的纵深方向的信息对应的所述多个图像是与具有通信功能的第1机器和第2机器分别关联的机器图像，

所述第1机器包括：

多个通信部件，与所述第2机器进行通信；以及

执行控制部件，当通过所述多个通信部件而与所述第2机器之间依据特定的通信规格来进行通信时，对能使用所述第1机器与所述第2机器来执行的联动功能的执行进行控制。

10.根据权利要求5至9中任一项所述的信息处理装置，其特征在于，

所述控制部件根据所述用户对显示在空中的所述多个图像中的所述至少一个图像的纵深方向的信息的操作，来设定所述联动功能中所含的各功能的通知的优先顺位。

11.根据权利要求10所述的信息处理装置，其特征在于，

所述控制部件根据通过所述用户的操作而指定的所述多个图像的纵深方向的信息的位置关系，来设定所述联动功能中所含的各功能的通知的优先顺位。

12.根据权利要求11所述的信息处理装置，其特征在于，

所述控制部件从配置在靠近所述用户的位置处的图像开始，依序决定优先顺位。

13.根据权利要求10所述的信息处理装置，其特征在于，

所述控制部件根据按照所述多个图像的纵深方向的信息所述用户将显示在空中的所述多个图像相连的顺序，来设定所述联动功能中所含的各功能的通知的优先顺位。

14.根据权利要求10所述的信息处理装置，其特征在于，

所述控制部件根据使所述多个图像按照所述多个图像的纵深方向的信息重合的顺序，来设定所述联动功能中所含的各功能的通知的优先顺位。

15.根据权利要求1所述的信息处理装置，其特征在于，

所述控制部件在用户对所述图像的纵深方向的信息进行操作时，进行与执行操作的所述用户相应的通知。

16.根据权利要求15所述的信息处理装置，其特征在于，

所述控制部件在探测到对所述图像的纵深方向的信息进行操作的多个用户时，对分配给各用户的目标进行通知。

17.根据权利要求16所述的信息处理装置，其特征在于，

所述目标是空中以外的显示部件。

18.一种存储程序的非暂时性的计算机可读介质，其特征在于，所述程序使计算机执行信息处理的处理，所述处理包括：

对与显示在空中的图像的纵深方向的信息关联的功能的通知进行控制。