CN110515682B - 信息处理装置、非暂时性计算机可读介质和信息处理方法 - Google Patents

Abstract

信息处理装置、非暂时性计算机可读介质和信息处理方法。信息处理装置包括控制器。当用户给出针对设备的操作指令时，所述控制器将所述操作指令从搭载在所述信息处理装置中的多个操作助理当中的能够控制所述设备的操作助理发送到所述设备。

Description

信息处理装置、非暂时性计算机可读介质和信息处理方法

技术领域

本公开涉及信息处理装置、非暂时性计算机可读介质和信息处理方法。

背景技术

一些设备搭载操作助理。例如，操作助理对来自用户的问题做出响应或者执行任务。

日本未审查专利申请公开No.2002-513185(PCT申请的翻译)描述了一种仅访问被授权收集用户感兴趣的信息的互联网站点的智能助理。

日本未审查专利申请公开No.2002-41276描述了一种基于语音合成和动画做出反应的拟人助理。

发明内容

在一些情况下，设备可以搭载多个操作助理。

因此，本公开的目的是改进在设备搭载多个操作助理时的可操作性。

根据本公开的第一方面，提供了一种包括控制器的信息处理装置。当用户给出针对设备的操作指令时，所述控制器将所述操作指令从搭载在所述信息处理装置中的多个操作助理当中的能够控制所述设备的操作助理发送到所述设备。

根据本公开的第二方面，所述控制器控制能够控制所述设备的操作助理的图像的显示。

根据本公开的第三方面，所述控制器还与所述图像关联地控制所述设备的操作结果的通知。

根据本公开的第四方面，所述设备搭载操作助理，并且能够控制所述设备的操作助理是能够与搭载在所述设备中的操作助理交互的操作助理。

根据本公开的第五方面，能够与搭载在所述设备中的操作助理交互的操作助理是能够与搭载在所述设备中的操作助理交换消息的操作助理。

根据本公开的第六方面，能够与搭载在所述设备中的操作助理交互的操作助理是与搭载在所述设备中的操作助理的类型相同的类型的操作助理。

根据本公开的第七方面，当搭载在所述设备中的操作助理是能够与搭载在所述信息处理装置中的多个操作助理交互的操作助理时，所述控制器使用搭载在所述信息处理装置中的多个操作助理中的任何一个作为能够控制所述设备的操作助理。

根据本公开的第八方面，能够控制所述设备的操作助理是能够与被搭载在连接到所述设备的另一设备中并且能够控制所述设备的操作助理交互的操作助理，并且所述操作指令经由所述另一设备被提供给所述设备。

根据本公开的第九方面，所述另一设备搭载多个操作助理，并且能够控制所述设备的操作助理是能够与作为搭载在所述另一设备中的多个操作助理当中的一个操作助理并且能够控制所述设备的操作助理交互的操作助理。

根据本公开的第十方面，所述控制器从搭载在所述信息处理装置中的多个操作助理当中的能够控制连接到所述设备的另一设备的操作助理发送所述操作指令。

根据本公开的第十一方面，所述操作指令包括用于执行要由所述设备执行的功能的指令，并且能够控制所述设备的操作助理是能够将用于执行所述功能的所述指令提供给所述设备的操作助理。

根据本公开的第十二方面，所述设备搭载多个操作助理，并且能够控制所述设备的操作助理是能够与作为搭载在所述设备中的多个操作助理当中的一个操作助理并且能够控制所述功能的操作助理交互的操作助理。

根据本公开的第十三方面，能够控制所述设备的操作助理是能够与被搭载在连接到所述设备的另一设备中并且能够控制所述功能的操作助理交互的操作助理，并且所述操作指令经由所述另一设备被提供给所述设备。

根据本公开的第十四方面，当用于执行所述功能的所述指令无法被提供给所述设备时，所述控制器控制无法将用于执行所述功能的所述指令提供给所述设备的原因的通知。

根据本公开的第十五方面，当能够将用于执行所述功能的所述指令提供给所述设备的操作助理不在搭载在所述信息处理装置中的多个操作助理当中时，所述控制器还控制无法将用于执行所述功能的所述指令提供给所述设备的原因的通知。

根据本公开的第十六方面，能够控制所述设备的操作助理是在所述信息处理装置中作为主操作助理进行工作的操作助理。

根据本公开的第十七方面，所述设备搭载多个操作助理，并且能够控制所述设备的操作助理与搭载在所述设备中的多个操作助理当中的在所述设备中作为主操作助理进行工作的操作助理交换信息。

根据本公开的第十八方面，所述设备搭载多个操作助理，并且当能够与能够控制所述设备的操作助理交换信息的操作助理不是搭载在所述设备中的多个操作助理当中的在所述设备中作为主操作助理进行工作的操作助理而是搭载在所述设备中的多个操作助理当中的在所述设备中作为副操作助理进行工作的操作助理时，所述控制器将所述操作指令发送到所述副操作助理并且控制所述设备。

根据本公开的第十九方面，提供了一种存储程序的非暂时性计算机可读介质，该程序使计算机执行用于信息处理的过程。所述过程包括，当针对第一设备的操作指令由用户通过使用第二设备来给出时，将所述操作指令从搭载在所述第二设备中的多个操作助理当中的能够控制所述第一设备的操作助理提供给所述第一设备。

根据本公开的第二十方面，提供了一种信息处理方法，该信息处理方法包括，当用户将针对设备的操作指令提供给信息处理装置时，将所述操作指令从搭载在所述信息处理装置中的多个操作助理当中的能够控制所述设备的操作助理发送到所述设备。

根据本公开的第一、第十九和第二十方面，能够改进在设备搭载多个操作助理时的可操作性。

根据本公开的第二方面，可以向用户提供能够控制设备的操作助理的图像。

根据本公开的第三方面，可以将操作结果提供给用户。

根据本公开的第四、第五、第六、第七、第八、第九和第十方面，能够通过操作助理之间的交互来控制设备。

根据本公开的第十一、第十二和第十三方面，能够向设备提供用于执行功能的指令。

根据本公开的第十四和第十五方面，可以提供无法将用于执行功能的指令提供给设备的原因的通知。

根据本公开的第十六和第十七方面，能够通过使用在设备中作为主操作助理进行工作的操作助理来控制设备。

根据本公开的第十八方面，能够通过使用在设备中作为副操作助理进行工作的操作助理来控制设备。

附图说明

将基于下图详细地描述本公开的示例性实施方式，其中：

图1是例示了根据本公开的第一示例性实施方式的信息处理系统的配置的框图；

图2是例示了设备的配置的框图；

图3是中继器的立体图；

图4例示了功能管理表；

图5例示了根据示例1-1的过程；

图6例示了根据示例1-1的屏幕；

图7A、图7B和图7C例示了根据示例1-2的过程；

图8A、图8B和图8C例示了根据示例1-3的过程；

图9例示了根据示例1-4的过程；

图10例示了根据示例1-4的屏幕；

图11例示了根据示例1-5的过程；

图12是例示了可由操作助理控制的功能和设备的表。

图13例示了根据示例1-5的过程；

图14例示了根据示例1-5的过程；

图15A和图15B例示了根据示例1-6的过程；

图16A和图16B例示了根据示例1-7的过程；

图17例示了根据示例2-1的过程；

图18例示了根据示例2-2的过程；

图19例示了根据示例2-2的屏幕；

图20例示了根据示例2-3的过程；

图21例示了根据示例2-4的过程；

图22例示了根据示例2-6的过程；

图23例示了根据示例2-7的过程；

图24例示了根据示例2-7的过程；

图25例示了根据第三示例性实施方式的过程；

图26是例示了根据第四示例性实施方式的信息处理系统的配置的框图；

图27例示了根据示例4-1的过程；

图28例示了根据示例4-2的过程；

图29例示了根据示例4-3的过程；

图30例示了根据示例4-5的屏幕；以及

图31例示了根据示例4-5的过程。

具体实施方式

第一示例性实施方式

将参照图1描述根据本公开的第一示例性实施方式的信息处理系统。图1例示了根据第一示例性实施方式的信息处理系统的示例。

根据第一示例性实施方式的信息处理系统包括多个设备。在图1所例示的示例中，信息处理系统包括设备10A至10R。图1所例示的设备10A至10R是示例，并且信息处理系统可以包括除图1所例示的那些以外的设备。信息处理系统还可以包括服务器。在下文中，除非需要将设备10A至10R彼此区分开，否则设备10A至10R被统称为“设备10”并且单独地称为“设备10”。

设备10中的每一个均具有与另一设备10进行通信的功能。设备10中的每一个均可以经由无线通信或有线通信与另一设备10进行通信。例如，设备10中的每一个均可以经由诸如互联网或任何其它网络的通信路径与另一设备10进行通信，直接地与另一设备10进行通信，经由充当集线器的中继器与另一设备10进行通信，或者经由云基础设施或服务器与另一设备10进行通信。设备10中的每一个均可以是所称的物联网(IoT)设备。

设备10各自是具有功能的设备。设备10的示例包括具有图像形成功能(诸如扫描功能、打印功能、复印功能或传真功能)的图像形成设备、个人计算机(PC)、平板PC、智能电话、移动电话、机器人(诸如人形机器人、非人形动物形状的机器人或任何其它类型的机器人)、投影仪、诸如液晶显示器的显示设备、记录设备、再现设备、诸如摄像头的成像设备、冰箱、电饭煲、微波炉、咖啡机、真空吸尘器、洗衣机、空调、照明设备、钟表、安全监视摄像头、机动车辆、两轮车辆、飞机(例如，无人驾驶飞行器(被称作无人机))、游戏控制台和各种类型的感测设备(诸如温度传感器、湿度传感器、电压传感器和电流传感器)。设备10可以各自是向用户输出信息的设备(诸如图像形成设备或PC)或不向用户输出信息的设备(诸如感测设备)。执行在下面描述的协作功能的多个设备10可以全部是向用户输出信息的设备，或者它们中的一些可以是向用户输出信息的设备，而其它设备10可以是不向用户输出信息的设备；否则，它们中的全部都可以是不向用户输出信息的设备。设备10的构思可以包括一般设备。例如，可以在设备10的构思中包括信息设备、视频设备、音频设备和其它设备。

设备10中的每一个均可以执行独立功能或者与任何其它设备10协作地工作以执行协作功能。例如，独立功能是使用单个设备10可执行的功能。例如，协作功能是使用多个设备10可执行的功能。在独立功能和协作功能中，例如，使用包括在设备10中的硬件或软件。设备10中的每一个当不与任何其它设备10协作地工作时，可以独立地接收来自用户的指令并且执行独立功能。应当理解的是，信息处理系统包括在不从用户接收指令的情况下执行功能的设备10(例如，感测设备)。

现在将描述协作功能。设备10的所有部分、设备10的特定部分、软件的特定功能、包括多个功能的聚合功能等可以被用于协作功能。例如，当为设备10的每个部分指派功能时，协作功能可以是使用设备10的所述部分的功能。将描述具体示例。具有多个图像形成功能的多功能设备包括：主体，其被指派了打印功能；读取器(例如，与文档盖、文档玻璃和自动文档馈送器对应的一部分)，其被指派了扫描功能；以及后处理设备，其被指派了后处理功能(诸如装订功能)。在这种情况下，多功能设备的主体、读取器和后处理设备可以被用于协作功能。另选地，作为软件，作为功能的逐块合集的聚合功能(诸如机器人过程自动化(RPA))可以被用于协作功能。当软件具有多个功能时，协作功能可以是使用所述多个功能中的一些的功能。聚合功能由多个功能组成，并且所述多个功能被同时地或顺序地执行以执行由聚合功能实现的过程。另选地，协作功能可以是使用仅硬件、仅软件或硬件和软件二者的功能。

协作功能可以是通过使不同类型的多个设备10协作地工作而可执行的功能或者可以是通过使相同类型的多个设备10协作地工作而变得可执行的功能。协作功能可以是在多个设备10协作地工作之前不可用的功能。例如，使具有打印功能的设备10(打印机)和具有扫描功能的设备10(扫描仪)协同地工作以实施协作功能，即复印功能。也就是说，使打印功能和扫描功能协作地工作以使复印功能变得可执行。

协作功能的构思可以包括使多个设备10协作地工作以使新功能变得可执行的复合功能。例如，可以组合多个显示器以实现增强显示功能作为复合功能。作为另一示例，可以组合电视机和记录器以实现记录功能作为复合功能。记录功能可以是例如记录正在电视机上显示的图像的功能。可以组合多个摄像头以实现成像区域扩展功能作为复合功能。成像区域扩展功能是例如拍摄图像的功能，其中摄像头的相应的成像区域被并在一起。电话可以与翻译机器或翻译软件组合以实现电话对话翻译功能(通过电话翻译对话的功能)作为复合功能。因此，协作功能的构思可以包括通过使相同类型的多个设备10或多件软件协作地工作而变得可执行的功能，以及通过使不同类型的多个设备10或多件软件协作地工作而变得可执行的功能。

另选地，多个设备10可以建立连网家庭(通过使用IoT技术经由网络互连诸如家用电器的设备10的系统)，并且连网家庭可以使用协作功能。在这种情况下，设备10可以经由特定服务器互连或者可以在没有特定服务器的干预的情况下互连。

另选地，多个设备10可以通过使用IFTTT(如果这样，则那样(if this,thenthat))协作地工作以执行协作功能。也就是说，当在特定设备10中发生协作功能的内容是触发器的事件时，另一设备10可以执行动作(处理)。例如，可以执行协作功能，使得由作为设备10的传感器检测到门的打开触发接通诸如照明设备的另一设备10的动作。还可以在协作功能的构思中包括被执行为使得由特定设备10执行的动作触发另一设备10执行另一动作的功能。另选地，可以在协作功能的构思中包括用于使得多个web服务能够协作地工作的功能或使得多个系统、服务等能够通过使用API来协作地工作的应用编程接口(API)协作。

在图1所例示的示例中，设备10A、10D和10P是中继器。设备10B和设备10Q是机器人。设备10C和设备10R是摄像头。设备10E和设备10N是PC。设备10F、10G、10L和10M是作为终端设备的示例的智能电话。设备10H和设备10K是具有图像形成功能的多功能设备。

例如，中继器可以控制连接到中继器的另一设备10(例如，包括在另一设备10中的硬件或安装在另一设备10中的软件)。中继器可以通过使用互联网等来获取各种各样的信息。中继器可以充当服务器或者可以被配置为例如管理数据或用户信息。中继器可以是所称的智能扬声器(具有通信功能和扬声器功能的设备)或具有通信功能但不具有扬声器功能的设备。中继器可以被放置在室内(诸如在房间里的地板、天花板或桌子上)或者可以被放置在室外。中继器可以是可移动设备(例如，自推进设备)。

终端设备是诸如PC、平板PC、智能电话或移动电话的设备。终端设备可以是诸如腕表型终端、腕带型终端、眼镜型终端、戒指型终端、隐形眼镜型终端、身体嵌入式终端或入耳式可穿戴终端的可穿戴终端。终端设备可以包括诸如柔性显示器的显示设备。柔性显示器的示例包括有机电致发光(EL)显示器(柔性有机EL显示器)、电子纸显示器和柔性液晶显示器。可以使用采用任何其它显示方法的柔性显示器。例如，柔性显示器是具有柔性可变形显示部分使得显示器可被弯曲、折叠、卷绕、扭曲和/或拉伸的显示器。终端设备可以被完全形成为柔性显示器或者可以被在功能上或物理上划分成柔性显示器和其它元件。

例如，设备10A至10R中的每一个均被配置为根据来自用户的指令独立地或者不管用户是否给出指令都自动地执行独立功能。例如，用作中继器的设备10A、10D和10P中的每一个均获取各种各样的信息并且根据来自用户的指令或者不管用户是否给出指令都自动地将信息提供给用户。用作机器人的设备10B和设备10Q中的每一个均根据来自用户的指令或者不管用户是否给出指令都自动地执行各种任务。用作摄像头的设备10C和设备10R中的每一个均拍摄图像并且根据来自用户的指令或者不管用户是否给出指令都自动地生成图像数据(运动图像数据或静止图像数据)。用作PC的设备10E和设备10N中的每一个均根据来自用户的指令或者不管用户是否给出指令都自动地执行各种类型的处理。用作智能电话的设备10F、10G、10L和10M中的每一个均根据来自用户的指令或者不管用户是否给出指令都自动地执行各种类型的处理。用作多功能设备的设备10H和设备10K中的每一个均根据来自用户的指令或者不管用户是否给出指令都自动地执行图像形成过程。

另外，设备10中的每一个均可以执行在其中设置的协作功能。例如，指示协作功能的内容的设置信息被存储在被用于协作功能的设备10中，并且设备10中的每一个均与其它设备10协作地工作以执行提供所存储的设置信息指示的协作功能。

设备10中的每一个均搭载用于协助用户的一个或更多个操作助理(或个人助理)。操作助理被配置为例如控制搭载操作助理的设备10或者控制任何其它设备10。操作助理可以控制构成设备10的硬件或安装在设备10中的控制软件。例如，操作助理分析用户给出的指令并且根据该指令来控制设备10以控制由用户指定的功能的执行。

操作助理还可以具有与用户交互的功能。也就是说，操作助理可以充当用户的交互伙伴。例如，操作助理分析用户产生的话语，基于分析的结果生成响应，并且向用户提供响应。

当用户经由话音输入、文本输入或任何其它方法向操作助理提供指令或话语时，例如，操作助理对输入信息应用诸如词法分析的自然语言处理以分析指令或话语。

操作助理是通过例如执行操作助理程序来实现的。操作助理程序安装在设备10中的每一个中。应当理解的是，可以将操作助理程序安装在诸如服务器的外部设备中并且可以从服务器向设备10提供操作助理的功能。

可以通过人工智能(AI)来实现操作助理。例如，操作助理可以具有基于AI的学习功能并且具有通过使用该学习功能来做出类似人的决定的能力。另选地，可以使用基于神经网络的深度学习，或者可以使用用于部分地加强学习区域的强化学习等。可以使用诸如遗传算法、聚类分析、自组织映射或集成学习的任何其它技术。应当理解的是，可以使用任何其它AI相关技术。操作助理可以充当用作自动响应AI的聊天机器人(利用AI的自动对话程序)。

操作助理可以根据来自与当前登录到操作助理的用户帐户关联的用户的指令进行工作。

在第一示例性实施方式中，当特定设备10(请求设备10)向另一设备10(被请求设备10)发送指示连接请求的信息时，搭载在另一设备10(被请求设备10)中的操作助理被设置为从操作助理并且致使作为从操作助理而操作。从操作助理是根据来自除从操作助理以外的不同的操作助理的指令来控制的。

在一些情况下，例如，当设备10具有独立功能或协作功能时，当设备10用于执行独立功能或协作功能时，当用户做出连接请求时，或者当通过特定设备10来使用另一设备10时，特定设备10向另一设备10发送指示连接请求的信息。在这种情况下，搭载在作为被请求设备的另一设备10中的操作助理被设置为从操作助理。应当理解的是，当发生任何其它事件时可以从特定设备10向另一设备10发送指示连接请求的信息。

下文参照图2详细地描述设备10中的每一个的配置。图2例示了设备10中的每一个的示例配置。图2例示了设备10共同具有的配置，但是未例示特定于设备10中的每一个的配置。

通信单元12是通信接口并且具有向另一设备发送数据的功能和从另一设备接收数据的功能。通信单元12可以是具有无线通信功能的通信接口或者可以是具有有线通信功能的通信接口。通信单元12例如支持一种或更多种通信方案，并且可以根据适合于通信伙伴的通信方案(即，由通信伙伴所支持的通信方案)与通信伙伴进行通信。通信方案的示例包括用于红外通信、可见光通信、Wi-Fi(注册商标)通信以及诸如近场通信(NFC)的短距离无线通信的方案。短距离无线通信的示例包括基于Felica(注册商标)、蓝牙(注册商标)和射频识别符(RFID)的通信。通信单元12可以支持第五代移动通信系统(5G)。应当理解的是，基于任何其它方案的无线通信可以被用作短距离无线通信。通信单元12可以根据通信伙伴在通信方案或频带之间切换或者可以根据周围条件在通信方案或频带之间切换。频带可以包括例如2.4GHz和5GHz。

用户接口(UI)单元14包括显示单元和操作单元。显示单元是诸如液晶显示器的显示设备。显示单元可以是柔性显示器。操作单元是包括例如触摸板和键盘的输入设备。UI单元14可以是用作显示单元和操作单元二者的用户接口(例如，包括触摸显示器的用户接口或具有在上面电子地显示键盘等的显示器的设备)。UI单元14可以包括诸如麦克风的音频收集单元或诸如扬声器的音频生成单元。在这种情况下，可以经由话音输入将信息输入到设备10，或者可以经由音频输出信息。注意的是，信息处理系统可以包括不包括UI单元14的设备10。例如，不向用户输出信息的感测设备可以不包括UI单元14。

存储单元16是诸如硬盘或存储器(例如，固态驱动器(SSD))的存储设备。存储单元16存储例如各种类型的数据、各种程序等。程序包括例如操作系统(OS)、一个或更多个操作助理程序和各种应用程序。在一些设备10中，存储单元16不存储OS或应用程序。存储单元16可以存储指示其它设备10的地址(诸如网际协议(IP)地址或媒体访问控制(MAC)地址)的设备地址信息、指示服务器的地址(诸如IP地址或MAC地址)的服务器地址信息等。

执行单元18被配置为执行功能。例如，当设备10是图像形成设备时，执行单元18执行诸如扫描功能、打印功能或复印功能的图像形成功能。当设备10是机器人时，执行单元18执行机器人的功能(诸如移动功能或提升功能)。当设备10是摄像头时，执行单元18执行图像拍摄功能。

控制单元20被配置为控制设备10的每个单元的操作。例如，控制单元20执行诸如执行程序、控制由通信单元12执行的通信、使用UI单元来控制信息通知(诸如显示信息或者输出音频)、使用UI单元14来接受输入到设备10的信息、将信息写入到存储单元16、从存储单元16读取信息以及控制执行单元18的操作。控制单元20包括助理控制单元22。

在第一示例性实施方式中，助理控制单元22被配置为根据设备10之间的连接将操作助理设置为主操作助理或从操作助理以使操作助理作为主操作助理或从操作助理进行工作。助理控制单元22可以将搭载在包括助理控制单元22的设备10中的操作助理设置为主操作助理或从操作助理或者可以将搭载在任何其它设备10中的操作助理设置为主操作助理或从操作助理。如上所述，从操作助理是根据来自除了从操作助理以外的不同的操作助理的指令来控制的。主操作助理对应于不同的操作助理的示例。

下文参照图3详细地描述中继器的外观。图3是中继器的立体图。作为示例，图3例示了用作中继器的设备10A。设备10F和设备10P也可以具有与设备10A的配置类似的配置或者可以具有不同的配置。

设备10A是所称的智能扬声器并且具有通信功能和话音助理功能。设备10A包括基本上圆柱形的主体24。主体24在其侧表面上包括麦克风26、扬声器28、显示单元30以及发光单元32和34。主体24还包括位于其顶表面上的传感器36。主体24的形状不限于图3所例示的形状。主体24可以具有任何形状，只要麦克风26和扬声器28被包括在中继器中即可。麦克风26、扬声器28、显示单元30、发光单元32和34以及传感器36可以被设置在除了图3所例示的位置以外的位置处。

麦克风26充当收集设备10A周围的声音的音频收集设备。例如，由麦克风26拾取用户的话音。

当用户正在与操作助理交互时，由操作助理产生的话语从扬声器28被输出为语音。可以从扬声器28输出任何其它类型的音频，诸如音乐、电视节目的音频或无线电节目的音频。

显示单元30是显示设备。显示单元30可以是还用作操作单元的用户接口(诸如触摸板)。

发光单元32包括一个或更多个光源(例如，光源38、40和42)并且以与搭载在设备10A中的操作助理的设置对应的方式发射光。诸如年龄、性别、职业和个性等的设置项目被设置在操作助理中。操作助理对用户做出响应或者根据设置项目执行任务。例如，当设置项目中的占用指示“医生”时，从光源38和42发射蓝色光并且从光源40发射黄色光。当以不同的方式设置设置项目时，发光单元32以与设置对应的方式发射光。

发光单元34包括一个或更多个光源(例如，光源44、46和48)并且以与当前登录到搭载在设备10A中的操作助理的用户帐户对应的方式发光。例如，当用户B当前登录到搭载在设备10A中的操作助理时，从光源44和48发射蓝色光并且从光源46发射黄色光。当不同的用户当前登录到操作助理时，发光单元34以与登录用户对应的方式发射光。

发光单元32和34可以按难以区分的方式设置在主体24上。例如，包括在发光单元32和34中的所有光源可以用于表示操作助理或用户账户的设置。另选地，可以通过使用每个光源的发光模式(诸如闪烁的方式或持续时间)来表示操作助理或用户账户的设置。

传感器36检测用户的姿势。设备10A执行与所检测到的姿势对应的过程。例如，设备10A可以单独执行过程或者根据所检测到的姿势来控制另一设备10的操作。

下文参照图4详细地描述协作功能。图4例示了功能管理表的示例。功能管理表是用于管理在设备10中设置的协作功能的表。功能管理表的数据可以被存储在设置有协作功能的设备10中或者存储在用于设置协作功能的设备10中。另选地，功能管理表的数据可以被存储在用于控制设备10的服务器中或在中继器中。例如，当用户通过使用用作智能电话的设备10F来提供用于设置协作功能的指令时，功能管理表的数据可以被存储在设备10F中。当在连接到用作中继器的设备10A的设备10中设置协作功能时，功能管理表可以被存储在设备10A中。

在功能管理表中，作为示例，指示用于协作功能的多个设备10的信息和指示在所述多个设备10中设置的协作功能的内容的信息彼此关联。下文描述功能管理表中登记的协作功能的具体示例。

指示用作PC的设备10E和用作多功能设备的设备10H的组合的信息与指示在设备10E和设备10H中设置的协作功能的信息关联。协作功能是“扫描并传送功能”和“打印功能”。扫描并传送功能是“扫描(读取)图像以使用具有扫描功能的多功能设备(设备10H)来生成图像数据并且将图像数据从多功能设备(设备10H)传送到PC(设备10E)”的功能。打印功能是“将保存在PC(设备10E)中的数据发送到多功能设备(设备10H)并且使用该多功能设备来打印数据”的功能。当用户给出要执行扫描并传送功能的指令时，设备10E和设备10H执行扫描并传送功能。同样地，当用户给出要执行打印功能的指令时，设备10E和设备10H执行打印功能。

此外，指示用作摄像头的设备10C和用作机器人的设备10B的组合的信息与指示在设备10B和设备10C中设置的协作功能的信息关联。协作功能是“在由摄像头(设备10C)检测到可疑的人时，将机器人(设备10B)派遣到检测到可疑的人的位置”的功能。当协作功能被设置为活动的(处于开启状态)时，设备10B和设备10C执行协作功能。

此外，指示多功能设备和投影仪的组合的信息与指示在多功能设备和投影仪的组合中设置的协作功能的信息关联。协作功能是“投影功能”和“打印功能”。投影功能是“扫描图像以使用具有扫描功能的多功能设备来生成图像数据并且使用投影仪来投影图像数据”的功能。打印功能是“将由投影仪投影的图像数据发送到多功能设备并且使用该多功能设备来打印图像数据”的功能。当用户给出要执行投影功能的指令时，多功能设备和投影仪执行投影功能。同样地，当用户给出要执行打印功能的指令时，多功能设备和投影仪执行打印功能。

此外，指示门打开/关闭传感器和照明设备的组合的信息与指示在门打开/关闭传感器和照明设备的组合中设置的协作功能的信息关联。协作功能是“在使用门打开/关闭传感器检测到门打开时，接通照明设备”的功能。当协作功能被设置为活动的(处于开启状态)时，门打开/关闭传感器和照明设备执行协作功能。

图4所例示的协作功能是示例，并且可以在设备10中设置其它协作功能。另外，可以设置使用软件的协作功能。

下文详细地描述根据第一示例性实施方式的一些示例。

示例1-1

将参照图5描述根据示例1-1的过程。图5例示了设备10的示例。在示例1-1中，用作智能电话的设备10F对应于请求设备，并且用作中继器的设备10A对应于被请求设备。也就是说，设备10F向设备10A发送指示连接请求的信息。例如，当包括在设备10A中的独立功能被执行时，当设备10F用于在设备10A中设置独立功能时，当设备10F和设备10A协作地工作以执行协作功能时，当设备10F用于在设备10A中设置协作功能时，当设备10F用于通过设备10A在另一设备10中设置协作功能时，当通过设备10F来使用图设备10A时，或者当用户通过使用设备10F来给出要发送连接请求的指令时，设备10F向设备10A发送指示连接请求的信息。应当理解的是，当发生任何其它事件时设备10F可以向设备10A发送指示连接请求的信息。

设备10F搭载操作助理A1。设备10A搭载操作助理A2。例如，操作助理A1和操作助理A2可以是相同类型的或不同类型的。例如，操作助理A1和操作助理A2可以具有相同类型的人工智能(AI)或者可以具有不同类型的人工智能(AI)。即使操作助理A1和操作助理A2是相同类型的(例如，即使操作助理A1和操作助理A2具有相同类型的AI)，当版本不同时，当可控功能或设备不同时，当可用的用户不同时，或者当登录用户帐户不同时，操作助理A1和操作助理A2也可以作为不同的操作助理被处理。如果操作助理A1和操作助理A2具有不同的学习程度，则操作助理A1和操作助理A2可以作为不同的操作助理被处理。

在图5所例示的示例中，设备10F对应于第一设备的示例，并且设备10A对应于第二设备的示例。此外，操作助理A1对应于第一操作助理的示例，并且操作助理A2对应于第二操作助理的示例。

当指示连接请求的信息被从设备10F发送到设备10A时，助理控制单元22将搭载在请求设备10F中的操作助理A1设置为主操作助理以使操作助理A1作为主操作助理进行工作。此外，助理控制单元22将搭载在被请求设备10A中的操作助理A2设置为从操作助理以使操作助理A2作为从操作助理进行工作。也就是说，助理控制单元22在操作助理A1与操作助理A2之间建立主从关系。用作从操作助理的操作助理A2根据来自用作主操作助理的操作助理A1的指令进行工作。例如，当用户通过使用设备10F来向操作助理A1给出旨在供设备10A使用的指令时，操作助理A1将该指令提供给搭载在设备10A中的操作助理A2。操作助理A2根据该指令进行工作。例如，操作助理A2根据来自操作助理A1的指令来控制设备10A的操作。

上述的主从关系可以由请求设备10F的助理控制单元22、由被请求设备10A的助理控制单元22或者由包括在诸如服务器的外部设备中的助理控制单元22来建立。

例如，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。此外，设备10F的助理控制单元22向设备10A发送指示针对从操作助理的指令的信息(包括用于将操作助理A1识别为主操作助理的信息)以将搭载在设备10A中的操作助理A2设置为根据来自搭载在设备10F中的操作助理A1的指令进行工作的从操作助理。

作为另一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。在从设备10F接收到指示连接请求的信息(包括用于将操作助理A1识别为主操作助理的信息)时，设备10A的助理控制单元22将操作助理A2设置为根据来自搭载在设备10F中的操作助理A1的指令进行工作的从操作助理。

作为又一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F向诸如服务器的外部设备发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息以及指示设备10F和设备10A的相应地址的设备地址信息。在接收到上述的信息时，外部设备的助理控制单元22向设备10F发送指示主操作助理的信息以将操作助理A1设置为主操作助理并且向设备10A发送指示从操作助理的信息以将操作助理A2设置为从操作助理。

在主从关系在操作助理A1与操作助理A2之间成立的时段中，在一些情况下，可以在没有操作助理A1的干预的情况下向操作助理A2提供指令。例如，可以直接地向设备10A提供指令或者可以在没有操作助理A1的干预的情况下从除设备10F以外的设备10向设备10A提供指令。在这些情况下，操作助理A2不是根据在没有操作助理A1的干预的情况下提供给操作助理A2的指令进行工作，而是根据来自操作助理A1的指令进行工作。在这种情况下，在以在下面所描述的方式终止主从关系之后，操作助理A2根据在主从关系成立的时段中在没有操作助理A1的干预的情况下提供给操作助理A2的指令进行工作。应当理解的是，甚至在主从关系成立的时段中，只要没有从操作助理A1向操作助理A2提供指令，操作助理A2就可以根据在没有操作助理A1的干预的情况下提供给操作助理A2的指令进行工作。

当在指示连接请求的信息从设备10F被发送到设备10A的时间，操作助理A2正执行任务时，助理控制单元22在任务完成之后将操作助理A2设置为从操作助理。应当理解的是，连接请求优先。在这种情况下，助理控制单元22暂时地停止由操作助理A2当前执行的任务并且将操作助理A2设置为从操作助理。在主从关系被终止之后，操作助理A2恢复已被停止的任务。

当使用作从操作助理的操作助理A2结束与来自用作主操作助理的操作助理A1的指令对应的任务时，助理控制单元22终止上述的主从关系。例如，当设备10A结束与来自设备10F的指令对应的独立功能的执行时，助理控制单元22终止操作助理A1与操作助理A2之间的主从关系。作为另一示例，设置使用设备10F和设备10A的协作功能。当协作功能的执行完成时，助理控制单元22终止操作助理A1与操作助理A2之间的主从关系。主从关系的终止可以由请求设备10F的助理控制单元22、由被请求设备10A的助理控制单元22或者由包括在外部设备中的助理控制单元22来执行。在主从关系被终止之后，操作助理A2根据提供给操作助理A2的指令进行工作，而不管指令是否是从操作助理A1提供的。

根据示例1-1，搭载在被请求设备10中的操作助理根据来自搭载在请求设备10中的操作助理的指令进行工作。因此，因为在操作助理之间建立了主从关系，所以当设备10彼此连接时可以适当地控制设备10。

如果从与当前登录到搭载在设备10A中的操作助理A2的用户账户关联的用户获得许可，则助理控制单元22可以将操作助理A2设置为从操作助理。例如，在已接收到指示连接请求的信息的设备10A的显示单元上显示用于询问用户是否许可将操作助理A2设置为从操作助理的消息。如果设备10A的用户授予许可，则助理控制单元22将操作助理A2设置为从操作助理。如果设备10A的用户未授予许可，则助理控制单元22不将操作助理A2设置为从操作助理。在这种情况下，操作助理A2根据提供给操作助理A2的指令进行工作，而不管指令是否是从操作助理A1提供的。因此，如果被请求设备10的用户授予许可，则被请求设备10中的操作助理被设置为从操作助理。这可以防止被请求设备10中的操作助理在没有用户的许可的情况下被设置为从操作助理。

下文参照图6描述主从关系成立的时段中的屏幕。图6例示了屏幕的示例。屏幕50是显示在请求设备10F上的屏幕。

设备10F的控制单元20使UI单元14的显示单元显示屏幕50，并且在屏幕50上显示各种各样的信息。屏幕50是用于允许用户与操作助理交互的用户接口(对话用户接口)。也就是说，屏幕50是用于在操作助理与用户之间交换消息的用户接口。屏幕50显示由用户输入到设备10F的信息(诸如字符串或图像)以及指示由操作助理产生的话语的内容的信息(诸如字符串或图像)。用户与操作助理之间的交互是所称的聊天型交互(即，交互通过用户与操作助理之间的消息的实时传输向前移动的类型)。例如，设备10F已在其中安装了用于与操作助理交互的程序(例如，聊天程序)。聊天程序被执行以显示屏幕50。

操作助理显示区域显示与搭载在设备10F中的操作助理A1关联的图像52(诸如图标)。用户显示区域显示与用户关联的图像54(诸如图标或图片)。当搭载在设备10A中的操作助理A2正在作为从操作助理进行工作时，操作助理显示区域显示与操作助理A2关联的图像56(诸如图标)。代替图像或除了图像之外，可以显示用于识别用户和每个操作助理的字符串。

在屏幕50上，在用户与操作助理A1和操作助理A2之间执行交互。在交互期间，将由操作助理A1产生的话语58的内容与图像52关联地显示，将由操作助理A2产生的话语60的内容与图像56关联地显示，并且将由用户产生的话语62的内容与图像54关联地显示。旨在供操作助理A2使用的指令通过操作助理A1提供。与用作从操作助理的操作助理A2关联的图像56可以不必显示在屏幕50上。

其他用户可以参与用户与操作助理A1和操作助理A2之间的交互。在这种情况下，与其他用户关联的图像被显示在屏幕50上。由其他用户产生的话语的内容与图像关联地显示在屏幕50上。

用户可以通过使用语音或姿势来向操作助理提供消息。在这种情况下，可以不一定显示屏幕50。即使当使用语音或姿势时，也可以显示屏幕50并且可以将语音或姿势的内容作为字符串显示在屏幕50上。

例如，当用户在屏幕50上向操作助理A1提供要执行使用设备10F和设备10A的协作功能的指令时，操作助理A1控制协作功能的执行。例如，操作助理A1控制设备10F并且向操作助理A2提供要执行协作功能的指令。以这种方式，协作功能被执行。

示例1-2

将参照图7A、图7B和7C描述根据示例1-2的过程。图7A、图7B和7C例示了设备10的示例。在示例1-2中，如在示例1-1中一样，设备10F对应于请求设备，并且设备10A对应于被请求设备。

如图7A所例示的，设备10F搭载操作助理A1。设备10A搭载操作助理A2。与帐户α关联的用户当前登录到搭载在设备10F中的操作助理A1。与账户β关联的用户当前登录到搭载在设备10A中的操作助理A2。

设备10F对应于第一设备的示例，并且设备10A对应于第二设备的示例。此外，操作助理A1对应于第一操作助理的示例，并且操作助理A2对应于第二操作助理的示例。此外，帐户α对应于第一帐户的示例，并且帐户β对应于第二帐户的示例。

当指示连接请求的信息被从设备10F发送到设备10A时，如图7B所例示的，助理控制单元22使帐户β从操作助理A2登出并且使当前登录到请求设备10F中的操作助理A1的帐户α登录到操作助理A2。这允许助理控制单元22将操作助理A2设置为从操作助理。此外，助理控制单元22将帐户α当前登录到的操作助理A1设置为主操作助理。以这种方式，助理控制单元22在操作助理A1与操作助理A2之间建立主从关系。用作从操作助理的操作助理A2根据来自帐户α当前登录到的操作助理A1的指令进行工作。例如，当与账户α关联的用户通过使用设备10F来向操作助理A1提供旨在供设备10A使用的指令时，操作助理A1将指令提供给搭载在设备10A中的操作助理A2。操作助理A2根据指令进行工作。因此，操作助理A2根据来自与账户α关联的用户的指令进行工作。

如在示例1-1中一样，上述的主从关系可以由请求设备10F的助理控制单元22、由被请求设备10A的助理控制单元22或者由搭载在诸如服务器的外部设备中的助理控制单元22来建立。

例如，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。此外，设备10F的助理控制单元22向设备10A发送帐户控制信息。帐户控制信息包括用于提供指令来使当前登录到被请求设备10A中的操作助理A2的帐户β从操作助理A2登出的信息，以及用于提供指令来使当前登录到搭载在请求设备10F中的操作助理A1的帐户α登录到操作助理A2的信息。设备10F的助理控制单元22将帐户控制信息发送到设备10A以使帐户β从操作助理A2登出并且使帐户α登录到操作助理A2。这允许操作助理A2不根据来自与账户β(设备10A)关联的用户的指令而根据来自与账户α(设备10F)关联的用户的指令进行工作。

作为另一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。此外，设备10F的助理控制单元22向设备10A发送指示当前登录到搭载在设备10F中的操作助理A1的帐户α的信息。在从设备10F接收到指示连接请求的信息和指示帐户α的信息时，设备10A的助理控制单元22使帐户β从操作助理A2登出并且使帐户α登录到操作助理A2。这允许操作助理A2不是根据来自与账户β(设备10A)关联的用户的指令而根据来自与账户α(设备10F)关联的用户的指令进行工作。

作为又一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F向诸如服务器的外部设备发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息以及指示设备10F和设备10A的相应地址的设备地址信息。在接收到上述的信息时，外部设备的助理控制单元22将指示主操作助理的信息发送到设备10F以将操作助理A1设置为主操作助理。此外，外部设备的助理控制单元22从设备10F获取指示帐户α的信息并且向设备10A发送包括所获取的信息的帐户控制信息以使帐户β从操作助理A2登出并且使帐户α登录到操作助理A2。

如在示例1-1中一样，在主从关系在操作助理A1与操作助理A2之间成立的时段中，在一些情况下，可以在没有操作助理A1的干预的情况下向操作助理A2提供指令。在这种情况下，操作助理A2不是根据在没有操作助理A1的干预的情况下提供给操作助理A2的指令(来自除账户α以外的账户的指令)进行工作，而根据来自操作助理A1(账户α)的指令进行工作。在这种情况下，在主从关系被终止之后，操作助理A2根据在主从关系成立的时段中在没有操作助理A1的干预的情况下提供给操作助理A2的指令进行工作。应当理解的是，甚至在主从关系成立的时段中，只要没有从操作助理A1向操作助理A2提供指令，操作助理A2就可以根据在没有操作助理A1的干预的情况下提供给操作助理A2的指令进行工作。

当帐户α从操作助理A2登出时，助理控制单元22终止上述的主从关系。例如，当设备10A结束与来自设备10F的指令对应的独立功能的执行并且账户α从操作助理A2登出时，助理控制单元22终止操作助理A1与操作助理A2之间的主从关系。作为另一示例，设置使用设备10F和设备10A的协作功能。当协作功能的执行完成并且帐户α从操作助理A2登出时，助理控制单元22终止操作助理A1与操作助理A2之间的主从关系。更具体地，如图7C所例示的，助理控制单元22使帐户α从操作助理A2登出并且使帐户β再次登录到操作助理A2。这允许操作助理A2不是根据来自与账户α关联的用户的指令(来自操作助理A1的指令)而是根据来自与账户β关联的用户的指令进行工作。另选地，当账户α根据用户给出的指令从操作助理A2登出时，助理控制单元22可以使账户β登录到操作助理A2以终止主从关系。如在示例1-1中一样，上述的主从关系在包括在设备10F、设备10A或外部设备中的助理控制单元22的控制下被终止。

根据示例1-2，控制账户登录到搭载在被请求设备10中的操作助理和从搭载在被请求设备10中的操作助理登出使得搭载在被请求设备10中的操作助理能够根据来自搭载在请求设备10中的操作助理的指令进行工作。因此，因为在操作助理之间建立了主从关系，所以当设备10彼此连接时可以适当地控制设备10。

指示从用作主操作助理的操作助理A1提供给用作从操作助理的操作助理A2的指令的信息未被存储在设备10A中。例如，当帐户α从操作助理A2登出时，被请求设备10A的助理控制单元22删除指示来自设备10A的指令的信息。指示指令的信息可以由请求设备10F的助理控制单元22或者由包括在外部设备中的助理控制单元22从设备10A中删除。这可以防止指示指令的信息从设备10A泄漏并且确保指示指令的信息的安全性。指示设备10F已被连接到设备10A的历史信息可以被存储在设备10A中。可以在示例1-1中执行或者可以在以下示例中执行指示指令的信息的删除或历史信息的存储。

如在示例1-1中一样，可以在设备10F的显示单元上显示用于与操作助理交互的屏幕50。

另外，如果从与当前登录到搭载在被请求设备10A中的操作助理A2的帐户α关联的用户获得许可，则助理控制单元22可以使帐户β从操作助理A2登出并且使得帐户α登录到操作助理A2。如果未获得许可，则助理控制单元22保持帐户β到操作助理A2的登录并且不允许帐户α登录到操作助理A2。这可以防止帐户β从操作助理A2注销并且防止操作助理A2在没有与帐户β关联的用户的许可的情况下被设置为从操作助理。

示例1-3

将参照图8A、图8B和图8C描述根据示例1-3的过程。图8A、图8B和图8C例示了设备10的示例。在示例1-3中，如在示例1-1中一样，设备10F对应于请求设备，并且设备10A对应于被请求设备。

如图8A所例示的，设备10F搭载操作助理A1。设备10A搭载操作助理A2。与帐户α关联的用户当前登录到搭载在设备10F中的操作助理A1。与账户β关联的用户当前登录到搭载在设备10A中的操作助理A2。

设备10F对应于第一设备的示例，并且设备10A对应于第二设备的示例。此外，操作助理A1对应于第一操作助理的示例，并且操作助理A2对应于第二操作助理的示例。此外，帐户α对应于第一帐户的示例，并且帐户β对应于第二帐户的示例。

当将指示连接请求的信息从设备10F发送到设备10A时，如图8B所例示的，助理控制单元22将在设备10A上启用的操作助理从操作助理A2切换到搭载在设备10F中的操作助理A1。这允许助理控制单元22将在设备10A上启用的操作助理设置为根据来自设备10F的指令进行工作的从操作助理。

例如，助理控制单元22完成搭载在设备10A中的操作助理A2的激活(或者将操作助理A2设置为关闭状态)，激活设备10A上的操作助理A1(或者将操作助理A1设置为开启状态)，然后将操作助理A1设置为从操作助理。例如，当前在设备10A上执行用于操作助理A2的操作助理程序。助理控制单元22结束操作助理程序以完成操作助理A2的激活。此外，助理控制单元22执行用于设备10A上的操作助理A1的操作助理程序以激活操作助理A1。此外，助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。用作从操作助理的操作助理A1根据来自用作主操作助理的操作助理A1的指令进行工作。

当设备10A已在其中安装了用于操作助理A1的操作助理程序时，助理控制单元22执行所安装的操作助理程序。当设备10A尚未在其中安装操作助理程序时，助理控制单元22从诸如服务器的外部设备下载操作助理程序，将操作助理程序安装到设备10A中，并且执行所安装的操作助理程序。

此外，助理控制单元22使当前登录到用作设备10F中的主操作助理的操作助理A1的帐户α登录到作为设备10A中的从操作助理进行工作的操作助理A1。这允许用作从操作助理的操作助理A1根据来自与账户α关联的用户的指令进行工作。当操作助理A2的激活结束时，使帐户β自动地从操作助理A2登出。

如在示例1-1中一样，上述的主从关系可以由请求设备10F的助理控制单元22、由被请求设备10A的助理控制单元22或者由包括在诸如服务器的外部设备中的助理控制单元22来建立。

例如，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。此外，设备10F的助理控制单元22向设备10A发送助理控制信息。助理控制信息是指示要在操作助理之间切换的指令的信息。具体地，助理控制信息是用于提供要将在设备10A上启用的操作助理切换到搭载在设备10F中的操作助理A1的指令的信息。设备10F的助理控制单元22将助理控制信息发送到设备10A以将在设备10A上启用的操作助理从操作助理A2切换到操作助理A1。

作为另一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。此外，设备10F的助理控制单元22向设备10A发送指示搭载在设备10F中的操作助理A1的信息。在从设备10F接收到指示连接请求的信息和指示操作助理A1的信息时，设备10A的助理控制单元22将在设备10A上启用的操作助理从操作助理A2切换到操作助理A1。

作为又一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F向诸如服务器的外部设备发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息以及指示设备10F和设备10A的相应地址的设备地址信息。在接收到上述的信息时，外部设备的助理控制单元22将指示主操作助理的信息发送到设备10F以将搭载在设备10F中的操作助理A1设置为主操作助理。此外，外部设备的助理控制单元22从设备10F获取指示操作助理A1的信息并且将获取的信息发送到设备10A以将在设备10A上启用的操作助理从操作助理A2切换到操作助理A1。

如在示例1-1中一样，在上述的主从关系成立的时段中，在一些情况下，可以在没有用作主操作助理的操作助理A1的干预的情况下向用作从操作助理的操作助理A1提供指令。在这种情况下，用作从操作助理的操作助理A1不是根据在没有用作主操作助理的操作助理A1的干预的情况下提供的指令进行工作，而是根据来自用作主操作助理的操作助理A1的指令进行工作。在这种情况下，在主从关系被终止之后，操作助理A2根据在主从关系成立的时段中在没有主操作助理的干预的情况下提供的指令进行工作。应当理解的是，甚至在主从关系成立的时段中，只要没有从主操作助理向从操作助理提供指令，从操作助理就可以根据在没有主操作助理的干预的情况下提供给从操作助理的指令进行工作。

当使用作从操作助理的操作助理A1结束与来自用作主操作助理的操作助理A1的指令对应的任务时，助理控制单元22终止上述的主从关系。例如，当设备10A结束与来自设备10F的指令对应的独立功能的执行时，助理控制单元22终止操作助理A1与操作助理A2之间的主从关系。作为另一示例，设置使用设备10F和设备10A的协作功能。当协作功能的执行完成时，助理控制单元22终止主从关系。更具体地，如图8C所例示的，在主从关系被终止之后，助理控制单元22再次将在设备10A上启用的操作助理从操作助理A1切换回到操作助理A2。例如，助理控制单元22结束用于设备10A上的操作助理A1的操作助理程序的执行并且执行用于操作助理A2的操作助理程序。此外，助理控制单元22使帐户β再次登录到操作助理A2。这禁用在设备10A上运行的操作助理A1并且启用设备10A上的操作助理A2。操作助理A2根据提供给操作助理A2的指令进行工作，而不管指令是否是从操作助理A1提供的。如在示例1-1中一样，上述的主从关系由搭载在设备10F、设备10A或外部设备中的助理控制单元22来终止。

根据示例1-3，将在被请求设备10上启用的操作助理切换到在请求设备10上启用的操作助理，从而允许搭载在被请求设备10中的操作助理根据来自搭载在请求设备10中的操作助理的指令进行工作。因此，因为在操作助理之间建立了主从关系，所以当设备10彼此连接时可以适当地控制设备10。

如在示例1-1中一样，可以在设备10F的显示单元上显示用于与操作助理交互的屏幕50。

另外，如果从与当前登录到搭载在被请求设备10A中的操作助理A2的帐户β关联的用户获得许可，则助理控制单元22可以将在被请求设备10A上启用的操作助理从操作助理A2切换到操作助理A1。如果未获得许可，则助理控制单元22不切换在设备10A上启用的操作助理。这可以防止在设备10A上启用的操作助理在没有与账户β关联的用户的许可的情况下被从操作助理A2切换到另一操作助理。

示例1-4

将参照图9描述根据示例1-4的过程。图9例示了设备10的示例。在示例1-4中，如在示例1-1中一样，设备10F对应于请求设备，并且设备10A对应于被请求设备。

设备10F搭载操作助理A1。设备10A搭载操作助理A2。

设备10F对应于第一设备的示例，并且设备10A对应于第二设备的示例。此外，操作助理A1对应于第一操作助理的示例，并且操作助理A2对应于第二操作助理的示例。

当指示连接请求的信息被从设备10F发送到设备10A时，助理控制单元22通过使用用作第三操作助理的标准操作助理As来控制搭载在设备10A中的操作助理A2以使操作助理A2作为从操作助理进行工作。此外，助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。标准操作助理As具有与例如多种类型的操作助理交互并且控制所述多种类型的操作助理的功能。例如，标准操作助理As与操作助理A1和操作助理A2交换消息并且控制操作助理A1和操作助理A2。标准操作助理As可以通过使多个操作助理协作地工作来单独地控制多个操作助理或者横向地控制多个操作助理。

标准操作助理As可以具有多种类型的操作助理共同具有的功能。在这种情况下，标准操作助理As可以具有或者可以不具有多种类型的操作助理不共同具有的功能。例如，标准操作助理As具有操作助理A1和操作助理A2共同具有的功能，但不具有操作助理A1和操作助理A2不共同具有的功能。

能够与多种类型的操作助理交互的标准操作助理As可以是与任何其它助理相比具有更低性能的功能的操作助理。

例如，标准操作助理As接收来自用作主操作助理的操作助理A1的指令并且根据该指令来控制用作从操作助理的操作助理A2。这允许操作助理A2根据通过标准操作助理As从操作助理A1接收的指令进行工作。

标准操作助理As可以被搭载在请求设备10F、被请求设备10A或诸如服务器的外部设备中。在图9所例示的示例中，标准操作助理As被搭载在外部设备64中。也就是说，用于标准操作助理As的操作助理程序被存储在外部设备64中。操作助理程序被执行以在外部设备64上操作标准操作助理As。

如在示例1-1中一样，上述的主从关系可以由请求设备10F的助理控制单元22、由被请求设备10A的助理控制单元22或者由包括在诸如服务器的外部设备(例如，外部设备64)中的助理控制单元22来建立。

例如，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。此外，设备10F的助理控制单元22向外部设备64发送控制请求信息。控制请求信息是用于请求外部设备64使用标准操作助理As来执行控制的信息，并且是包括指示被请求设备10A的地址的设备地址信息的信息。设备10F的助理控制单元22将控制请求信息发送到外部设备64以激活搭载在外部设备64中的标准操作助理As，并且使标准操作助理As控制搭载在被请求设备10A中的操作助理A2。搭载在设备10F中的操作助理A1向标准操作助理As发送指示指令的信息。标准操作助理As根据指令来控制操作助理A2。也就是说，操作助理A2根据通过标准操作助理As从操作助理A1提供的指令进行工作。因此，操作助理A2作为从操作助理进行工作。

作为另一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。在从设备10F接收到指示连接请求的信息时，设备10A的助理控制单元22将上述的控制请求信息发送到外部设备64以激活搭载在外部设备64中的标准操作助理As，并且使标准操作助理As控制搭载在设备10A中的操作助理A2。操作助理A2根据通过标准操作助理As从操作助理A1提供的指令进行工作。因此，操作助理A2作为从操作助理进行工作。

作为又一示例，当设备10F向设备10A发送指示连接请求的信息时，设备10F向外部设备64发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息以及指示设备10F和设备10A的相应地址的设备地址信息。在接收到上述的信息时，外部设备64的助理控制单元22将指示主操作助理的信息发送到设备10F以将搭载在设备10F中的操作助理A1设置为主操作助理。此外，外部设备64的助理控制单元22激活搭载在外部设备64中的标准操作助理As，并且使标准操作助理As控制搭载在设备10A中的操作助理A2。操作助理A2根据通过标准操作助理As从操作助理A1提供的指令进行工作。因此，操作助理A2作为从操作助理进行工作。

如在示例1-1中一样，在上述的主从关系成立的时段中，在一些情况下，可以在没有标准操作助理As的干预的情况下向用作从操作助理的操作助理A2提供指令。在这种情况下，操作助理A2不是根据在没有标准操作助理As的干预的情况下提供的指令进行工作，而是根据通过标准操作助理As从操作助理A1提供的指令进行工作。在这种情况下，在主从关系被终止之后，操作助理A2根据在主从关系成立的时段中在没有标准操作助理As的干预的情况下提供的指令进行工作。应当理解的是，甚至在主从关系成立的时段中，只要没有从标准操作助理As向操作助理A2提供指令，操作助理A2就可以根据在没有标准操作助理As的干预的情况下提供给操作助理A2的指令进行工作。

当使用作从操作助理的操作助理A2结束与来自用作主操作助理的操作助理A1的指令对应的任务时，助理控制单元22终止上述的主从关系。例如，当设备10A结束与来自设备10F的指令对应的独立功能的执行时，助理控制单元22终止操作助理A1与操作助理A2之间的主从关系。作为另一示例，设置使用设备10F和设备10A的协作功能。当协作功能的执行完成时，助理控制单元22终止主从关系。这允许操作助理A2根据提供给操作助理A2的指令进行工作，而不管指令是否是通过标准操作助理As从操作助理A1提供的。如在示例1-1中一样，上述的主从关系由包括在设备10F、设备10A或外部设备64中的助理控制单元22终止。

根据示例1-4，搭载在被请求设备10中的操作助理是通过标准操作助理来控制的。因此，当设备10彼此连接时，可以适当地控制设备10。

助理控制单元22可以通过使用标准操作助理来控制搭载在请求设备10中的操作助理。在图9所例示的示例中，搭载在请求设备10F中的操作助理A1根据来自搭载在外部设备64中的标准操作助理As的指令进行工作。例如，当用户通过使用设备10F来向操作助理提供指令时，将指示指令的信息从设备10F发送到外部设备64。在接收到指示指令的信息时，标准操作助理As根据指令来控制操作助理A1和操作助理A2。当使用设备10F和设备10A的协作功能的执行完成时，助理控制单元22终止操作助理A1与标准操作助理As之间的主从关系。这允许操作助理A1根据提供给操作助理A1的指令进行工作，而不管指令是否是通过标准操作助理As给出的。

另外，如在示例1-3中一样，助理控制单元22可以将在请求设备10A上启用的操作助理从操作助理A2切换到标准操作助理As。当设备10A已在其中安装了用于标准操作助理As的操作助理程序时，助理控制单元22执行在设备10A上安装的操作助理程序以在设备10A上激活标准操作助理As。此外，助理控制单元22在设备10A上结束用于操作助理A2的操作助理程序的执行。当设备10A尚未在其中安装操作助理程序时，助理控制单元22将操作助理程序下载到设备10A中并且执行所下载的操作助理程序。搭载在设备10A中的标准操作助理As根据例如通过搭载在外部设备64中的标准操作助理As从操作助理A1提供的指令进行工作。搭载在设备10A中的标准操作助理As可以根据在没有搭载在外部设备64中的标准操作助理As的干预的情况下从操作助理A1提供的指令进行工作。当协作功能的执行完成时，助理控制单元22再次将在设备10A上启用的操作助理从标准操作助理As切换回到操作助理A2。

助理控制单元22可以将在请求设备10F上启用的操作助理从操作助理A1切换到标准操作助理As。搭载在设备10F中的标准操作助理As通过搭载在外部设备64中的标准操作助理As或者在没有搭载在外部设备64中的标准操作助理As的干预的情况下向在设备10A上启用的操作助理(操作助理A2或标准操作助理As)提供指令。当协作功能的执行完成时，助理控制单元22再次将在设备10F上启用的操作助理从标准操作助理As切换回到操作助理A1。

下文参照图10描述在主从关系成立的时段中显示的屏幕。图10例示了屏幕的示例。屏幕50是显示在请求设备10F上的屏幕。

设备10F的控制单元20使UI单元14的显示单元显示屏幕50。屏幕50是用于在用户与标准操作助理As之间交换消息的用户接口。例如，当在设备10F上启用的操作助理被从操作助理A1切换到标准操作助理As时，在用户与屏幕50上的标准操作助理As之间交换消息。屏幕50具有显示与标准操作助理As关联的图像66的操作助理显示区域，并且由标准操作助理As产生的话语68的内容与图像66关联地显示。屏幕50还具有显示与用户关联的图像54的用户显示区域。

在屏幕50上，在用户与标准操作助理As之间执行交互。例如，当用户向屏幕50上的标准操作助理As提供指令以执行使用设备10F和设备10A的协作功能时，标准操作助理As控制协作功能的执行。例如，标准操作助理As控制设备10F和设备10A以使设备10F和设备10A执行协作功能。

即使在设备10F上启用的操作助理未被从操作助理A1切换到标准操作助理As，也可以在屏幕50上显示与标准操作助理As关联的图像66。即使当在屏幕50上显示图像66时，与用户交互的交互伙伴也可以是操作助理A1。应当理解的是，可以在屏幕50上显示与实际上与用户交互的操作助理A1关联的图像，并且可以不在屏幕50上显示图像66。

另外，如果从与当前登录到搭载在被请求设备10A中的操作助理A2的帐户β关联的用户获得许可，则助理控制单元22可以将操作助理A2设置为从操作助理。如果未获得许可，则助理控制单元22不将操作助理A2设置为从操作助理。这可以防止搭载在被请求设备10A中的操作助理A2在没有与当前登录到搭载在被请求设备10A中的操作助理A2的帐户关联的用户的许可的情况下被设置为从操作助理。

控制单元20可以在屏幕50上显示与用户的直接对话伙伴(操作助理)关联的图像或与除直接对话伙伴以外的不同的操作助理关联的图像。例如，当标准操作助理As是直接对话伙伴时，如图10所例示的，控制单元20可以在屏幕50上显示与标准操作助理As关联的图像66或者可以在屏幕50上显示与搭载在设备10F中的操作助理A1关联的图像。当标准操作助理As是直接对话伙伴时，尽管用户实际上与标准操作助理As交换消息，然而可以显示与操作助理A1关联的图像。在这种情况下，向用户提供正在操作助理A1与用户之间交换消息的印象。可以在被请求设备10的显示单元上显示用于在用户与操作助理之间交换消息的屏幕。在这种情况下，可以将与搭载在被请求设备10中的操作助理关联的图像显示为用户的对话伙伴的图像，或者可以将与标准操作助理As关联的图像显示为对话伙伴的图像。

注意的是，指示多个操作指令的信息可以从请求设备10F被发送到外部设备64并且可以被存储在外部设备64中。也就是说，可以向搭载在外部设备64中的标准操作助理As提供多个操作指令。在这种情况下，标准操作助理As将每个操作指令发送到操作目标设备10。

示例1-5

将参照图11描述根据示例1-5的过程。图11例示了设备10的示例。在示例1-5中，如在示例1-1中一样，设备10F对应于请求设备，并且设备10A对应于被请求设备。

在示例1-5中，设备10搭载多个操作助理。可以基于与其它设备10的关系从多个操作助理当中选择要启用的操作助理。可以基于要执行的目标功能(独立功能或协作功能)从多个操作助理当中选择要启用的操作助理。

例如，搭载在相同设备10中的多个操作助理是不同类型的操作助理。例如，多个操作助理是具有不同类型的人工智能(AI)的操作助理。作为另一示例，即使多个操作助理是相同类型的操作助理(例如，即使多个操作助理具有相同类型的AI)，当版本不同时，当可控功能或设备不同时，当可用的用户不同时，或者当登录用户帐户不同时，多个操作助理也可以作为不同的操作助理被处理。

下文详细地描述示例1-5。如图11所例示的，设备10F搭载操作助理A1。设备10A搭载操作助理A4和操作助理A5。因此，设备10A搭载多个操作助理。

例如，对于每个操作助理，预先确定可由操作助理控制的一个或更多个功能、可由操作助理控制的一个或更多个设备、可由操作助理控制的设备的数量等。例如，如图12所例示的，操作助理A4能够控制诸如扫描功能、打印功能和复印功能的图像形成功能并且能够控制用作多功能设备的设备10H和设备10K。操作助理A5能够控制图像拍摄功能并且能够控制用作摄像头的设备10C。

当将指示连接请求的信息从设备10F发送到设备10A时，助理控制单元22从搭载在设备10A中的操作助理A4和操作助理A5当中选择能够控制要执行的目标功能的操作助理作为从操作助理。例如，当用户提供要将图像形成功能作为独立功能来执行或者要使用图像形成功能来执行协作功能的指令时，助理控制单元22选择能够执行图像形成功能的操作助理A4作为从操作助理。此外，助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。操作助理A1与用作从操作助理的操作助理A4交换信息以控制所指示的功能的执行。例如，助理控制单元22执行用于操作助理A4的操作助理程序以激活操作助理A4，将操作助理A4设置为从操作助理，并且结束用于操作助理A5的操作助理程序的执行以禁用操作助理A5。

当操作助理A4和操作助理A5都能够控制要执行的目标功能时，助理控制单元22可以随机地选择操作助理A4和操作助理A5中的任何一个作为从操作助理，可以选择具有更大数量的可控设备或功能的操作助理作为从操作助理，可以选择具有更少负载的操作助理作为从操作助理，或者可以选择当前不在执行过程的操作助理作为从操作助理。

当指示连接请求的信息从设备10F被发送到设备10A时，助理控制单元22可以基于可控设备的数量从搭载在设备10A中的操作助理A4和操作助理A5当中选择从操作助理。例如，助理控制单元22选择具有最大数量的可控设备的操作助理作为从操作助理。例如，操作助理A4能够控制两个设备10，并且操作助理A5能够控制一个设备10。在这种情况下，助理控制单元22选择操作助理A4作为从操作助理。操作助理A1与用作从操作助理的操作助理A4交换信息以控制所指示的功能的执行。

当可由操作助理A4控制的设备的数量等于可由操作助理A5控制的设备的数量时，助理控制单元22可以随机地选择操作助理A4和操作助理A5中的任何一个作为从操作助理，可以选择具有更大数量的可控功能的操作助理作为从操作助理，可以选择具有更少负载的操作助理作为从操作助理，或者可以选择当前不在执行过程的操作助理作为从操作助理。

作为又一示例，当指示连接请求的信息从设备10F被发送到设备10A时，助理控制单元22可以基于可控功能的数量从搭载在设备10A中的操作助理A4和操作助理A5当中选择从操作助理。例如，助理控制单元22选择具有最大数量的可控功能的操作助理作为从操作助理。

当可由操作助理A4控制的功能的数量等于可由操作助理A5控制的功能的数量时，助理控制单元22可以随机地选择操作助理A4和操作助理A5中的任何一个作为从操作助理，可以选择具有更大数量的可控设备的操作助理作为从操作助理，可以选择具有更少负载的操作助理作为从操作助理，或者可以选择当前不在执行过程的操作助理作为从操作助理。

如果从与当前登录到被请求设备10A中的操作助理A4和操作助理A5的用户帐户关联的用户获得许可，则助理控制单元22可以选择从操作助理。如果未获得许可，则助理控制单元22不选择从操作助理。

在图11所例示的示例中，被请求设备10A搭载多个操作助理。另选地，请求设备10F可以搭载多个操作助理。例如，如图13所例示的，请求设备10F搭载操作助理A1和操作助理A6。请求设备10A搭载操作助理A2。

当设备10F向设备10A发送指示连接请求的信息时，如在上述的示例中一样，搭载在设备10A中的操作助理A2被设置为从操作助理。此外，助理控制单元22可以从搭载在设备10F中的操作助理A1和操作助理A6当中选择主操作助理。

例如，助理控制单元22可以选择能够控制要执行的目标功能(独立功能或协作功能)的操作助理作为主操作助理。将描述具体示例。当用户提供要将图像形成功能作为独立功能来执行或者要使用图像形成功能来执行协作功能的指令时，助理控制单元22从操作助理A1和操作助理A6当中选择能够控制图像形成功能的操作助理作为主操作助理。当操作助理A1能够控制图像形成功能并且操作助理A6无法控制图像形成功能时，助理控制单元22选择操作助理A1作为主操作助理。在这种情况下，操作助理A1与操作助理A2交换信息以控制所指示的功能的执行。例如，助理控制单元22执行用于操作助理A1的操作助理程序以激活操作助理A1，将操作助理A1设置为主操作助理，并且结束用于操作助理A6的操作助理程序以禁用操作助理A6。

当操作助理A1和操作助理A6都能够控制要执行的目标功能时，助理控制单元22可以随机地选择操作助理A1和操作助理A6中的任何一个作为主操作助理，可以选择具有更大数量的可控设备或功能的操作助理作为主操作助理，可以选择具有更少负载的操作助理作为主操作助理，或者可以选择当前不在执行过程的操作助理作为主操作助理。

作为另一示例，助理控制单元22可以基于可控设备的数量选择主操作助理。例如，助理控制单元22选择具有最大数量的可控设备的操作助理作为主操作助理。当操作助理A1与操作助理A6相比能够控制更大数量的设备时，助理控制单元22选择操作助理A1作为主操作助理。在这种情况下，操作助理A1与操作助理A2交换信息以控制所指示的功能的执行。

当可由操作助理A1控制的设备的数量等于可由操作助理A6控制的设备的数量时，助理控制单元22可以随机地选择操作助理A1和操作助理A6中的任何一个作为主操作助理，可以选择具有更大数量的可控功能的操作助理作为主操作助理，可以选择具有更少负载的操作助理作为主操作助理，或者可以选择当前不在执行过程的操作助理作为主操作助理。

作为又一示例，助理控制单元22可以基于可控功能的数量选择主操作助理。例如，助理控制单元22选择具有最大数量的可控功能的操作助理作为主操作助理。

当可由操作助理A1控制的功能的数量等于可由操作助理A6控制的功能的数量时，助理控制单元22可以随机地选择操作助理A1和操作助理A6中的任何一个作为主操作助理，可以选择具有更大数量的可控设备的操作助理作为主操作助理，可以选择具有更少负载的操作助理作为主操作助理，或者可以选择当前不在执行过程的操作助理作为主操作助理。

如图14所例示的，外部设备64可以搭载多个标准操作助理。在图14所例示的示例中，外部设备64搭载标准操作助理Asa和标准操作助理Asb。如在选择从操作助理和主操作助理时一样，助理控制单元22基于一个或更多个可控设备、可控设备的数量、一个或更多个可控功能或可控功能的数量从标准操作助理Asa和标准操作助理Asb当中选择控制从操作助理的标准操作助理。

对从操作助理的选择、对主操作助理的选择以及对标准操作助理的选择可以由设备10F的助理控制单元22、由设备10A的助理控制单元22或者由诸如服务器的外部设备的助理控制单元22来执行。此外，图12所例示的信息可以被存储在设备10中的每一个中或者可以被存储在诸如服务器的外部设备中。

注意的是，包括在信息处理系统中的设备10中的全部都可以搭载多个操作助理，或者包括在信息处理系统中的设备10中的一些可以搭载多个操作助理，而其它设备10可以搭载单个操作助理。例如，诸如智能电话和智能扬声器的设备10可以搭载多个操作助理，并且诸如传感器和家用电器的设备10可以搭载单个操作助理(对诸如传感器和家用电器的设备10中的每一个唯一的操作助理)。

根据示例1-5，即使当设备10搭载多个操作助理时，也可以适当地设置多个操作助理之间的主从关系并且可以执行功能。

示例1-6

将参照图15A和图15B描述根据示例1-6的过程。图15A和图15B例示了设备10的示例。

例如，设备10F搭载操作助理A1。设备10A搭载操作助理A2。设备10D搭载操作助理A7。

如图15A所例示的，当指示连接请求的信息从设备10F被发送到设备10A时，搭载在设备10F中的操作助理A1作为主操作助理进行工作并且搭载在设备10A中的操作助理A2作为从操作助理进行工作。例如，如图15B所例示的，在设备10A上启用的操作助理被从操作助理A2切换到操作助理A1。应当理解的是，可以在不用切换在设备10A上启用的操作助理的情况下执行与上述的示例1-1和示例1-2中的那些过程类似的过程。

当指示连接请求的信息从设备10A被发送到设备10D时，搭载在设备10D中的操作助理A7作为从操作助理进行工作，其将在设备10A上启用的操作助理(例如，切换之后的操作助理A1)识别为主操作助理。例如，如图15B所例示的，在设备10D上启用的操作助理从操作助理A6被切换到操作助理A1。

如上所述，当三个或更多个设备10被连接时，搭载在已接收到指示连接请求的信息的设备10中的操作助理被一个接一个地设置为从操作助理。因此，可以适当地控制设备10。

示例1-7

将参照图16A和图16B描述根据示例1-7的过程。图16A和图16B例示了设备10的示例。在示例1-7中，如在示例1-1中一样，设备10F对应于请求设备，并且设备10A对应于被请求设备。

如图16A所例示的，被请求设备10A搭载多个操作助理。例如，设备10A搭载操作助理A4和操作助理A5。请求设备10F搭载操作助理A1。此外，作为示例，设备10A被连接到作为第三设备的设备10S和设备10T。设备10S是具有图像拍摄功能的摄像头，并且设备10T是PC。

例如，设备10S是与操作助理A5对应的设备。也就是说，设备10S是可由操作助理A5控制的设备。设备10T是与操作助理A4对应的设备。也就是说，设备10T是可由操作助理A4控制的设备。以这种方式，对于每个设备，设置能够对应于该设备的操作助理。注意的是，设备10S和设备10T中的每一个均可以搭载或者可以不搭载操作助理。

可以为每种类型的操作助理确定能够对应于设备的操作助理，或者可以为每个用户帐户确定能够对应于设备的操作助理。例如，与操作助理A5的类型相同的类型的操作助理能够以与操作助理A5的方式类似的方式控制设备10S，或者甚至如果操作助理被与操作助理A5的用户帐户不同的用户账户使用，则与操作助理A5的类型相同的类型的操作助理可能无法控制设备10S。可以基于操作助理的版本确定操作助理是否能够对应于设备。这同样适用于操作助理A4。

当指示连接请求的信息从设备10F被发送到设备10A时，助理控制单元22从搭载在设备10A中的操作助理A4和操作助理A5当中选择能够控制第三设备的操作助理作为从操作助理。例如，当设备10S被用户指定为要使用的第三设备时或者当用户指定了包括在设备10S中的功能(例如，图像拍摄功能)时，助理控制单元22选择能够控制设备10S的操作助理A5作为从操作助理。

例如，当在设备10A上启用操作助理A4时，助理控制单元22将在设备10A上启用的操作助理从操作助理A4切换到操作助理A5。在图16A所例示的示例中，操作助理A4被激活，然而操作助理A5未被激活。当前被激活的操作助理A4通过实线来描绘，并且未被激活的操作助理A5通过虚线来描绘。例如，用于操作助理A4的操作助理程序被执行并且操作助理A4正处于激活，然而用于操作助理A5的操作助理程序未被执行并且操作助理A5未被激活。

当操作助理A5在图16A所例示的状态下被选择为从操作助理时，如图16B所例示的，助理控制单元22完成操作助理A4的激活并且激活操作助理A5。在图16B中，当前被激活的操作助理A5通过实线来描绘，并且未被激活的操作助理A4通过虚线来描绘。例如，用于操作助理A5的操作助理程序被执行并且操作助理A5正处于激活，然而用于操作助理A4的操作助理程序的执行结束并且操作助理A4没有操作。

用作从操作助理的操作助理A5根据来自主操作助理的指令进行工作。在上述的示例中，操作助理A5控制设备10S。例如，操作助理A5从设备10S获取通过利用设备10S拍摄图像而生成的图像数据并且将该图像数据发送到请求设备10F。

主操作助理可以是搭载在设备10F中的操作助理A1或者可以是搭载在外部设备中的另一操作助理。

当操作助理A4和操作助理A5都能够控制设备10S时，助理控制单元22可以选择操作助理A4和操作助理A5中的任何一个作为从操作助理，可以选择具有更大数量的可控设备或功能的操作助理作为从操作助理，可以选择具有更少负载的操作助理作为从操作助理，或者可以选择当前不在执行过程的操作助理作为从操作助理。另选地，可以根据与示例1-5中的标准类似的标准来选择从操作助理。

对从操作助理的选择和对主操作助理的选择可以由设备10F的助理控制单元22、由设备10A的助理控制单元22或者由诸如服务器的外部设备的助理控制单元22来执行。

根据示例1-7，能够与要使用的设备10对应的操作助理被选择为从操作助理，并且因此可以适当地控制设备10。

例如，在当前登录到请求设备中的操作助理的用户帐户与当前登录到被请求设备中的操作助理的用户帐户不同时或者当请求设备中的操作助理和被请求设备中的操作助理是不同类型的操作助理时，请求设备中的操作助理和被请求设备中的操作助理可能难以交换消息。结果，所对应的设备可能难以协作地工作。甚至在这种情况下，第一示例性实施方式也可以使得请求设备中的操作助理和被请求设备中的操作助理能够交换消息并且因此使得所对应的设备能够协作地工作。

第二示例性实施方式

下文描述根据本公开的第二示例性实施方式的信息处理系统。类似于根据第一示例性实施方式的信息处理系统，根据第二示例性实施方式的信息处理系统包括一个或更多个设备10。此外，根据第二示例性实施方式的设备10具有与根据第一示例性实施方式的设备10相同的或基本上相同的配置。

在第二示例性实施方式中，请求设备10搭载多个操作助理。所述多个操作助理是不同类型的操作助理。例如，所述多个操作助理是具有不同类型的人工智能(AI)的操作助理。作为另一示例，即使所述多个操作助理是相同类型的操作助理(例如，即使所述多个操作助理具有相同类型的AI)，当版本不同时，当可控设备或功能不同时，当可用的用户不同时，或者当登录用户帐户不同时，所述多个操作助理也可以作为不同的操作助理被处理。

请求设备10的助理控制单元22被配置为，当用户向请求设备10给出针对另一设备10的操作指令时，从搭载在请求设备10(信息处理装置的示例)中的多个操作助理当中选择能够控制另一设备10的操作助理并且向另一设备10发送指示来自所选择的操作助理的操作指令的信息。

上述的另一设备10可以或者可以不搭载操作助理。此外，另一设备10可以是直接地连接到请求设备10的设备或者可以是经由诸如中继器的设备间接地连接到请求设备10的设备。

在第二示例性实施方式中，未在操作助理之间建立主从关系。也就是说，未设置主操作助理或从操作助理。

下文详细地描述根据第二示例性实施方式的一些示例。

示例2-1

将参照图17描述根据示例2-1的过程。图17例示了设备10的示例。在示例2-1中，设备10F是请求设备。设备10A是被请求设备和操作目标设备。也就是说，设备10F向设备10A发送指示操作指令的信息。例如，当包括在设备10A中的独立功能被执行时，当设备10F用于在设备10A中设置独立功能时，当设备10F和设备10A协作地工作以执行协作功能时，当设备10F用于在设备10A中设置协作功能时，当设备10F用于通过设备10A在另一设备10中设置协作功能时，当通过设备10F来使用设备10A时，或者当用户通过使用设备10F来给出要发送操作指令的指令时，设备10F向设备10A发送指示操作指令的信息。应当理解的是，当发生任何其它事件时，设备10F可以向设备10A发送指示操作指令的信息。用户可以在不用指定操作助理的情况下给出针对设备10的操作指令。

设备10F搭载操作助理A1和操作助理A6。设备10A搭载操作助理A1。例如，操作助理A1和操作助理A6是不同类型的操作助理。例如，操作助理A1和操作助理A6是具有不同类型的人工智能(AI)的操作助理。作为另一示例，即使操作助理A1和操作助理A6是相同类型的操作助理(例如，即使操作助理A1和操作助理A6具有相同类型的AI)，当版本不同时，当可控功能或设备不同时，当可用的用户不同时，或者当登录用户帐户不同时，操作助理A1和操作助理A6也可以作为不同的操作助理被处理。

此外，搭载在设备10F中的操作助理A1和搭载在设备10A中的操作助理A1是相同类型的操作助理。作为另一示例，搭载在设备10F中的操作助理A1和搭载在设备10A中的操作助理A1可以是相同类型的操作助理，但是可以具有不同的版本，可以具有不同的可控功能或设备，或者可以可被不同的用户使用，或者不同的用户帐户可以正在登录。

此外，设备10中的每一个均存储管理信息。管理信息包括用于识别搭载在设备10中的操作助理的助理识别信息。设备10中的每一个的助理控制单元22参照包括在管理信息中以识别搭载在设备10中的操作助理的助理识别信息。例如，设备10中的每一个均发送并接收用于识别包括在其中的操作助理的助理识别信息，使得管理信息被以任何定时、周期性地或者以由用户指定的定时更新。应当理解的是，管理信息可以被存储在诸如服务器的设备中并且助理控制单元22可以参照存储在诸如服务器的设备中以识别搭载在设备10中的操作助理的管理信息。

例如，用于识别设备10F的设备识别信息和用于识别搭载在设备10F中的操作助理A1和操作助理A6的助理识别信息被彼此关联地登记在管理信息中。关于搭载在其它设备10中的操作助理的信息也被以类似的方式登记在管理信息中。

当设备10F向设备10A发送指示操作指令的信息时，设备10F的助理控制单元22参照管理信息并且从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够控制设备10A的操作助理。更具体地，助理控制单元22参照管理信息以识别搭载在被请求设备10A中的操作助理A1，并且从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够与搭载在设备10A中的操作助理A1交互的操作助理。也就是说，助理控制单元22选择能够与搭载在设备10A中的操作助理A1交换消息的操作助理。例如，与搭载在设备10A中的操作助理A1的类型相同的类型的操作助理是能够与操作助理A1交换消息的操作助理。因此，助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择操作助理A1作为能够控制设备10A的操作助理。

助理控制单元22向设备10A发送指示来自搭载在设备10F中的操作助理A1的操作指令的信息。也就是说，搭载在设备10F中的操作助理A1向搭载在设备10A中的操作助理A1发送指示操作指令的信息。搭载在设备10A中的操作助理A1接收从搭载在设备10F中的操作助理A1发送的指示操作指令的信息，并且根据该操作指令来控制设备10A。

例如，指示操作指令的信息包括指示可使用设备10A执行的过程的信息。搭载在设备10A中的操作助理A1使设备10A根据操作指令来执行过程。

根据示例2-1，当请求设备10搭载多个操作助理时，从所述多个操作助理当中选择能够控制被请求设备10的操作助理，并且指示操作指令的信息被从所选择的操作助理发送到被请求设备10。这可以允许操作请求设备10的用户在不知道搭载在被请求设备10或请求设备10中的操作助理的情况下给出操作指令，从而导致设备10或操作助理的可操作性的改进。例如，用户不需要手动地指定能够控制操作目标设备10的操作助理，并且可以改进可操作性。

示例2-2

将参照图18和图19描述根据示例2-2的过程。图18例示了设备10的示例。图19例示了用于在用户与操作助理之间交换消息的屏幕的示例。

设备10A被连接到用作摄像头的设备10S和用作PC的设备10T。设备10P被连接到用作机器人的设备10U和用作多功能设备的设备10V。设备10D被连接到用作多功能设备的设备10W。设备10A、10P和10D是中继器。设备10F是请求设备。在示例2-2中，操作目标设备10通过中继器进行工作。

设备10F搭载操作助理A1和操作助理A6。设备10A搭载操作助理A1。设备10P搭载操作助理A6。设备10D搭载标准操作助理As。标准操作助理As具有与例如操作助理A1和操作助理A6共同的功能。

设备10S、10T、10U、10V和10W中的每一个均可以或者可以不搭载操作助理。

设备10S是与操作助理A1、A2、A3和A6对应的设备。也就是说，设备10S是可由操作助理A1、A2、A3和A6中的每一个控制的设备。设备10S被连接到设备10A并且通过搭载在设备10A中的操作助理A1来控制。

设备10T是与操作助理A1和操作助理A2对应的设备。也就是说，设备10T是可由操作助理A1和操作助理A2中的每一个控制的设备。设备10T被连接到设备10A并且通过搭载在设备10A中的操作助理A1来控制。

设备10U是与操作助理A1和操作助理A6对应的设备。也就是说，设备10U是可由操作助理A1和操作助理A6中的每一个控制的设备。设备10U被连接到设备10P并且通过搭载在设备10P中的操作助理A6来控制。

设备10V是与操作助理A6对应的设备。也就是说，设备10V是可由操作助理A6控制的设备。设备10V被连接到设备10P并且通过搭载在设备10P中的操作助理A6来控制。

设备10W是与操作助理A1、A3和As对应的设备。也就是说，设备10W是可由操作助理A1、A3和As控制的设备。设备10W被连接到设备10D并且通过搭载在设备10D中的操作助理As来控制。

下文参照图19详细地描述根据示例2-2的过程。设备10F的控制单元20使UI单元14的显示单元显示屏幕70。屏幕70是用于在用户与操作助理之间交换消息的用户接口。屏幕70具有显示与操作助理关联的图像72的操作助理显示区域。屏幕70还具有显示与用户关联的图像74的用户显示区域。图像72不是表示特定操作助理的图像，而是指示用户正在与操作助理交互的图像。例如，图像72是与接收用户产生的话语的受理处(reception desk)关联的图像。

在屏幕70上，在用户与操作助理之间执行交互。此时，交互伙伴可以是搭载在设备10F中的操作助理A1或操作助理A6或者是在交互时为激活的操作助理。

在交互期间，将操作助理产生的话语76的内容与图像72关联地显示，并且将用户产生的话语78的内容与图像74关联地显示。

例如，当用户通过话语78给出针对设备10S(摄像头)的操作指令时，设备10F的助理控制单元22搜索设备10A，该设备10A是连接到设备10S并搭载能够控制设备10S的操作助理的设备(中继器)，并且该设备10A搭载在请求设备10F中搭载的操作助理A1和操作助理A6中的至少一个作为被请求设备10。此时，用户可以在不用指定操作助理的情况下给出针对设备10S的操作指令。下文详细地描述此过程。

例如，上述的管理信息还包括用于识别连接到设备10中的每一个的另一设备10的设备识别信息，以及用于识别能够控制另一设备10的操作助理(与另一设备10对应的操作助理)的助理识别信息。

将描述具体示例。在管理信息中，用于识别设备10A的设备识别信息、用于识别连接到设备10A的设备10S的设备识别信息、用于识别能够控制设备10S的操作助理A1、A2、A3和A6中的每一个的助理识别信息、用于识别连接到设备10A的设备10T的设备识别信息以及用于识别能够控制设备10T的操作助理A1和操作助理A2中的每一个的助理识别信息被彼此关联地登记。

同样地，在管理信息中，用于识别设备10P的设备识别信息、用于识别连接到设备10P的设备10U的设备识别信息、用于识别能够控制设备10U的操作助理A1和操作助理A6中的每一个的助理识别信息、用于识别连接到设备10P的设备10V的设备识别信息以及用于识别能够控制设备10V的操作助理A6的助理识别信息被彼此关联地登记。

同样地，用于识别设备10D的设备识别信息、用于识别连接到设备10D的设备10W的设备识别信息以及用于识别能够控制设备10W的操作助理A1、A3和As中的每一个的助理识别信息彼此关联。

此外，如上所述，用于识别设备10A的设备识别信息和用于识别搭载在设备10A中的操作助理A1的助理识别信息被彼此关联地登记在管理信息中。

同样地，用于识别设备10P的设备识别信息和用于识别搭载在设备10P中的操作助理A6的助理识别信息被彼此关联地登记在管理信息中。

同样地，用于识别设备10D的设备识别信息和用于识别搭载在设备10D中的操作助理As的助理识别信息被彼此关联地登记在管理信息中。

设备10F的助理控制单元22参照上述的管理信息搜索设备10A，该设备10A是连接到设备10S并搭载能够控制设备10S的操作助理的设备，并且该设备10A搭载在请求设备10F中搭载的操作助理A1和操作助理A6中的至少一个作为被请求设备10。也就是说，设备10A被连接到操作目标设备10S并且搭载能够控制设备10S的操作助理A1。此外，设备10A搭载在请求设备10F中搭载的操作助理A1。因此，助理控制单元22选择设备10A作为被请求设备。

此外，设备10F的助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够控制设备10S的操作助理A1。也就是说，设备10F的助理控制单元22从操作助理A1和操作助理A6当中选择能够与搭载在被请求设备10A中的操作助理A1(能够控制设备10S的操作助理A1)交换消息的操作助理。例如，与搭载在设备10A中的操作助理A1的类型相同的类型的操作助理是能够与操作助理A1交换消息的操作助理。因此，助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择操作助理A1作为能够控制设备10S的操作助理。

助理控制单元22从搭载在设备10F中的操作助理A1向搭载在设备10A中的操作助理A1发送指示针对设备10S的操作指令的信息。

搭载在设备10A中的操作助理A1根据操作指令来控制设备10S。例如，当操作指令具有指示用期望看到设备10S在昨天上午10:00到上午11:00之间拍摄的图像的内容时，搭载在设备10A中的操作助理A1从设备10S获取图像数据。此外，搭载在设备10A中的操作助理A1将该图像数据发送到搭载在设备10F中的操作助理A1。该图像数据被提供给设备10F上的用户。

当操作助理A1被选择为能够在设备10F上控制设备10S的操作助理时，如图19所例示的，在后续交互中，控制单元20将与操作助理关联的图像72切换为与操作助理A1关联的图像80。将由操作助理A1产生的话语82的内容与图像80关联地显示。

此外，控制单元20控制设备10S的操作结果的通知。例如，如图19所例示的，控制单元20与图像80关联地在屏幕70上显示与作为设备10S的操作结果从设备10S获取的图像数据(例如，运动图像文件)关联的图像84(例如，图标)。当在图像84被指定的情况下给出再现指令时，运动图像文件被再现。

当设备10S的操作完成时，控制单元20再次将与操作助理A1关联的图像80切换回到图像72。

代替图像80或者除了图像80之外，控制单元20还可以在屏幕70上显示用于识别操作助理A1的字符串(例如，操作助理A1的名称)。此外，与操作助理A1关联的话语82的内容可以包括用于识别操作助理A1的字符串。这同样适用于与受理处关联的图像72或与用户关联的图像74。

此外，当用户给出针对设备10U(机器人)的操作指令时，设备10F的助理控制单元22参照上述的管理信息搜索设备10P，该设备10P是连接到设备10U并搭载能够控制设备10U的操作助理的设备(中继器)，并且该设备10P搭载在请求设备10F中搭载的操作助理A1和操作助理A6中的至少一个作为被请求设备10。也就是说，设备10P被连接到操作目标设备10U并且搭载能够控制设备10U的操作助理A6。此外，设备10P搭载在请求设备10F中搭载的操作助理A6。因此，助理控制单元22选择设备10P作为被请求设备。

此外，设备10F的助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够控制设备10U的操作助理A6。也就是说，设备10F的助理控制单元22从操作助理A1和操作助理A6当中选择能够与搭载在被请求设备10P中的操作助理A6(能够控制设备10U的操作助理A6)交换消息的操作助理。例如，与搭载在设备10P中的操作助理A6的类型相同的类型的操作助理是能够与操作助理A6交换消息的操作助理。因此，助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择操作助理A6作为能够控制设备10U的操作助理。

助理控制单元22从搭载在设备10F中的操作助理A6向搭载在设备10P中的操作助理A6发送指示针对设备10U的操作指令的信息。搭载在设备10P中的操作助理A6根据操作指令来控制设备10U。此外，控制单元20控制设备10U的操作结果的通知。

此外，当用户给出针对设备10W(多功能设备)的操作指令时，设备10F的助理控制单元22参照上述的管理信息搜索设备10D，该设备10D是连接到设备10W并搭载能够控制设备10W的操作助理的设备(中继器)，并且该设备10D搭载在请求设备10F中搭载的操作助理A1和操作助理A6中的至少一个作为被请求设备10。也就是说，设备10D被连接到操作目标设备10W并且搭载能够控制设备10W的操作助理As。此外，设备10D搭载能够与搭载在请求设备10F中的操作助理A1和操作助理A6交互的标准操作助理As。因此，助理控制单元22选择设备10D作为被请求设备。

此外，设备10F的助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够控制设备10W的操作助理。也就是说，设备10F的助理控制单元22从操作助理A1和操作助理A6当中选择能够与搭载在被请求设备10D中的操作助理As交换消息的操作助理。操作助理A1和操作助理A6都能够与标准操作助理As交换消息。因此，助理控制单元22选择操作助理A1和操作助理A6中的任何一个作为能够控制设备10W的操作助理。例如，助理控制单元22从操作助理A1和操作助理A6当中选择当前不在执行过程的操作助理、具有与标准操作助理As共同的更大数量的功能的操作助理、具有更少负载的操作助理等作为能够控制设备10W的操作助理。这里，作为示例，假定操作助理A1被选择。

助理控制单元22从搭载在设备10F中的操作助理A1向搭载在设备10D中的标准操作助理As发送指示针对设备10W的操作指令的信息。搭载在设备10D中的标准操作助理As根据操作指令来控制设备10W。此外，控制单元20控制设备10W的操作结果的通知。

根据示例2-2，如在示例2-1中一样，操作请求设备10的用户能够在不知道搭载在被请求设备10或请求设备10中的操作助理的情况下给出操作指令。因此，可以改进设备10或操作助理的可操作性。

示例2-3

将参照图20描述根据示例2-3的过程。图20例示了设备10的示例。在示例2-3中，设备10F是请求设备。设备10A是中继器。设备10A被连接到设备10S。

设备10F搭载操作助理A1和操作助理A6。设备10A不搭载操作助理。设备10S搭载操作助理A1。在示例2-3中，操作目标设备10S通过用作中继器的设备10A进行工作。

当设备10F通过设备10A向设备10S发送指示用于操作设备10S的操作指令的信息时，设备10F的助理控制单元22参照管理信息并且从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够控制设备10S的操作助理。更具体地，助理控制单元22参照管理信息以识别搭载在被请求设备10S中的操作助理A1，并且从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够与搭载在设备10S中的操作助理A1交互的操作助理。也就是说，助理控制单元22选择能够与搭载在设备10S中的操作助理A1交换消息的操作助理。例如，助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择操作助理A1作为能够控制设备10S的操作助理。

助理控制单元22从搭载在设备10F中的操作助理A1向设备10S发送指示操作指令的信息。也就是说，搭载在设备10F中的操作助理A1向搭载在设备10S中的操作助理A1发送指示操作指令的信息。指示操作指令的信息经由用作中继器的设备10A从设备10F被发送到设备10S。搭载在设备10S中的操作助理A1接收从搭载在设备10F中的操作助理A1发送的指示操作指令的信息，并且根据操作指令来控制设备10S。

例如，指示操作指令的信息包括指示可使用设备10S执行的过程的信息。搭载在设备10A中的操作助理A1使设备10A根据操作指令来执行过程。

根据示例2-3，当通过不搭载操作助理的中继器来控制搭载操作助理的设备10时，操作请求设备10的用户能够在不知道搭载在请求设备10或被请求设备10中的操作助理的情况下给出操作指令。

示例2-4

将参照图21描述根据示例2-4的过程。图21例示了设备10的示例。在示例2-4中，设备10F是请求设备。设备10A是被请求设备并且被用作中继器。设备10A被连接到设备10S和设备10T。

设备10F搭载操作助理A1和操作助理A6。设备10A搭载操作助理A1和操作助理A6。以这种方式，在示例2-4中，用作中继器的设备10A还搭载多个操作助理。设备10S和设备10T中的每一个均不搭载操作助理。

设备10S是与操作助理A1对应的设备。也就是说，设备10S是可由操作助理A1控制的设备。设备10S被连接到设备10A并且由搭载在设备10A中的操作助理A1控制。

设备10T是与操作助理A6对应的设备。也就是说，设备10T是可由操作助理A6控制的设备。设备10T被连接到设备10A并且由搭载在设备10A中的操作助理A6控制。

当设备10F向设备10A发送指示用于操作设备10S的操作指令的信息时，设备10F的助理控制单元22参照管理信息以从搭载在设备10A中的操作助理A1和操作助理A6当中指定能够控制设备10S的操作助理A1。助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择能够与搭载在设备10A中的操作助理A1交互的操作助理A1作为能够控制设备10S的操作助理。

助理控制单元22从搭载在设备10F中的操作助理A1向搭载在设备10A中的操作助理A1发送指示操作指令的信息。搭载在设备10A中的操作助理A1接收从搭载在设备10F中的操作助理A1发送的指示操作指令的信息，并且根据操作指令来控制设备10S。也就是说，助理控制单元22从搭载在设备10F中的操作助理A1和操作助理A6当中选择操作助理A1作为能够控制连接到设备10A的设备10S的操作助理，并且从所选择的操作助理A1向搭载在设备10A中的操作助理A1发送指示操作指令的信息。

根据示例2-4，还当被请求设备10搭载多个操作助理时，操作请求设备10的用户能够在不知道搭载在请求设备10或被请求设备10中的操作助理的情况下给出操作指令。

注意的是，搭载在设备10F中的操作助理A1可以向搭载在设备10A中的操作助理A1发送消息并且还根据可由搭载在设备10A中的操作助理A6解释的协议来向搭载在设备10A中的操作助理A6发送消息。

示例2-5

将描述根据示例2-5的过程。指示操作指令的信息包括指示用于执行要由被请求设备10执行的目标功能的指令的信息。用于执行功能的指令由操作请求设备10的用户提供。请求设备10的助理控制单元22选择能够向被请求设备10提供用于执行功能的指令的操作助理作为能够控制被请求设备10的操作助理。助理控制单元22从所选择的操作助理向被请求设备10发送指示操作指令的信息。被请求设备10根据被包括在操作指令中的用于执行功能的指令来执行功能。

例如，为每个操作助理确定可控功能，并且指示可由相应的操作助理控制的功能的信息被包括在上述的管理信息中。具体地，在管理信息中，对于每个操作助理，用于识别操作助理的助理识别信息和指示可由操作助理控制的功能的功能信息被彼此关联地登记。助理控制单元22参照管理信息并且选择能够控制通过操作指令所指示的功能的操作助理。

下文参照具体示例描述示例2-5。请求设备10搭载操作助理A1和操作助理A6。被请求设备10是具有诸如打印功能的图像形成功能的多功能设备。

操作助理A1能够控制包括在多功能设备中的图像形成功能的执行。操作助理A6能够控制包括在摄像头中的图像拍摄功能的执行。

例如，当用户通过使用请求设备10来提供要使用被请求设备10来执行打印功能的指令时，助理控制单元22从搭载在请求设备10中的操作助理A1和操作助理A6当中选择能够控制打印功能的执行的操作助理A1。助理控制单元22从所选择的操作助理A1向被请求设备10发送指示包括用于执行打印功能的指令的操作指令的信息。也就是说，操作助理A1根据操作指令来控制被请求设备10以使被请求设备10执行打印功能。被请求设备10根据用于执行打印功能的指令来执行打印功能。

根据示例2-5，当给出要执行功能的指令时，指示操作指令的信息从能够控制功能的操作助理被发送到执行功能的设备。因此，操作请求设备10的用户能够在不知道搭载在请求设备10中的操作助理的情况下给出操作指令。

示例2-6

将参照图22描述根据示例2-6的过程。图22例示了设备10的示例。在示例2-6中，设备10F是请求设备。设备10V是被请求设备。

设备10F搭载操作助理A1和操作助理A6。设备10V搭载操作助理A1和操作助理A6。以这种方式，在示例2-6中，被请求设备10V还搭载多个操作助理。

如在示例2-5中一样，指示操作指令的信息包括指示用于执行要由被请求设备10V执行的目标功能的指令的信息。由操作请求设备10F的用户提供用于执行功能的指令。请求设备10F的助理控制单元22从搭载在被请求设备10V中的多个操作助理当中选择能够控制功能的操作助理。此外，请求设备10F的助理控制单元22从搭载在请求设备10F中的多个操作助理当中选择能够与所选择的操作助理交互的操作助理作为能够控制被请求设备10的操作助理。

下文参照具体示例描述示例2-6。被请求设备10V是具有诸如打印功能的图像形成功能的多功能设备。操作助理A1能够控制包括在多功能设备中的图像形成功能的执行。操作助理A6能够控制包括在摄像头中的图像拍摄功能的执行。

例如，当用户通过使用请求设备10F给出要使用被请求设备10V执行打印功能的指令时，助理控制单元22参照管理信息并且从搭载在被请求设备10V中的操作助理A1和操作助理A6当中选择能够控制打印功能的操作助理A1。此外，助理控制单元22从搭载在请求设备10F中的操作助理A1和操作助理A6当中选择能够与搭载在被请求设备10V中的操作助理A1交互的操作助理A1作为能够控制被请求设备10V的操作助理。

助理控制单元22从搭载在设备10F中的操作助理A1向搭载在设备10V中的操作助理A1发送指示包括用于执行打印功能的指令的操作指令的信息。搭载在设备10V中的操作助理A1接收从搭载在设备10F中的操作助理A1发送的指示操作指令的信息，并且使设备10V根据操作指令来执行打印功能。

根据示例2-6，另外当请求设备10和被请求设备10都搭载多个操作助理时，操作请求设备10的用户能够在不知道操作助理的情况下给出用于执行功能的指令。

此外，在上述的示例2-4(参见图21)中，当用户指定要由设备10S或设备10T执行的目标功能时，助理控制单元22从搭载在设备10A中的操作助理A1和操作助理A6当中选择能够控制功能的操作助理。例如，当用户给出要使用设备10S(摄像头)执行图像拍摄功能的指令时，助理控制单元22从搭载在设备10A中的操作助理A1和操作助理A6当中选择能够控制图像拍摄功能的操作助理A6。此外，助理控制单元22从搭载在请求设备10F中的操作助理A1和操作助理A6当中选择能够与搭载在被请求设备10A中的操作助理A6交互的操作助理A6作为能够控制被请求设备的操作助理。

助理控制单元22从搭载在设备10F中的操作助理A6向搭载在设备10A中的操作助理A6发送指示包括用于执行图像拍摄功能的指令的操作指令的信息。搭载在设备10A中的操作助理A6接收从搭载在设备10F中的操作助理A6发送的指示操作指令的信息，并且使设备10S根据操作指令来执行图像拍摄功能。

因此，另外当示例2-6被应用于示例2-4时，操作请求设备10的用户可以在不知道搭载在设备10中的操作助理的情况下给出用于执行功能的指令。

示例2-7

将参照图23描述根据示例2-7的过程。图23例示了设备10的示例。在示例2-7中，指令由用户给出以执行协作功能，用于执行协作功能的一个或更多个操作助理被选择，并且一个或更多个操作助理控制协作功能的执行。下文详细地描述示例2-7。

在示例2-7中，设备10F是请求设备。设备10A和设备10P是被请求设备并且用作中继器。设备10A被连接到设备10S和设备10T。设备10P被连接到设备10U和设备10V。

设备10F搭载操作助理A1和操作助理A6。设备10A搭载操作助理A1。设备10P搭载操作助理A6。设备10S、10T、10U和10V中的每一个均不搭载操作助理。

在示例2-7中，设备10S和设备10T是与操作助理A1对应的设备。也就是说，设备10S和设备10T是可由操作助理A1控制的设备。设备10S和设备10T被连接到设备10A并且由操作助理A1控制。

设备10U和设备10V是与操作助理A6对应的设备。也就是说，设备10U和设备10V是可由操作助理A6控制的设备。设备10U和设备10V被连接到设备10P并且由操作助理A6控制。

例如，假定用户通过使用请求设备10F给出要将图像拍摄和打印功能作为协作功能来执行的指令。图像拍摄和打印功能是使用设备10S(摄像头)拍摄图像以生成图像数据并且通过使用设备10V(多功能设备)打印图像数据的功能。可以在图像拍摄和打印功能中使用的设备10S和设备10V中、在用作中继器的设备10A和设备10P中或者在请求设备10F中预先设置图像拍摄和打印功能。用户可以在给出用于执行图像拍摄和打印功能的指令时指定要用于图像拍摄和打印功能的设备10S和设备10V。

当用户给出执行图像拍摄和打印功能的指令时，助理控制单元22从搭载在请求设备10F中的操作助理A1和操作助理A6当中选择能够与搭载在连接到设备10S的设备10A中的操作助理A1交互的操作助理A1。助理控制单元22从所选择的操作助理A1向搭载在设备10A中的操作助理A1发送指示包括用于执行图像拍摄和打印功能的指令的操作指令的信息。

搭载在设备10A中的操作助理A1根据从设备10F发送的操作指令从设备10S获取通过利用设备10S拍摄图像而生成的图像数据，并且将该图像数据发送到搭载在设备10F中的操作助理A1。图像数据被暂时地存储在设备10F中。

然后，助理控制单元22从搭载在请求设备10F中的操作助理A1和操作助理A6当中选择能够与搭载在连接到设备10V的设备10P中的操作助理A6交互的操作助理A6。助理控制单元22将指示包括用于执行图像拍摄和打印功能的指令的操作指令的信息和从设备10S获取的图像数据从所选择的操作助理A6发送到搭载在设备10P中的操作助理A6。

搭载在设备10P中的操作助理A6根据从设备10F发送的操作指令将从设备10F发送的图像数据发送到设备10V，并且使设备10V打印图像数据。设备10V打印图像数据。

根据示例2-7，还当通过使用多个设备10来执行协作功能时，操作请求设备10的用户能够在不知道搭载在设备10中的操作助理的情况下给出用于执行协作功能的指令。

在图23所例示的示例中，使用了多个中继器(设备10A和设备10P)。另选地，可以使用单个中继器。例如，如图24所例示的，设备10A被用作中继器。设备10A搭载操作助理A1和操作助理A6。

当用户给出执行图像拍摄和打印功能的指令时，助理控制单元22从搭载在请求设备10F中的操作助理A1向搭载在设备10A中的操作助理A1发送指示包括用于执行图像拍摄和打印功能的指令的操作指令的信息。

搭载在设备10A中的操作助理A1从设备10S获取通过拍摄图像而生成的图像数据并且将该图像数据发送到搭载在设备10F中的操作助理A1。图像数据被暂时地存储在设备10F中。

然后，助理控制单元22从搭载在请求设备10F中的操作助理A6向搭载在设备10A中的操作助理A6发送包括用于执行图像拍摄和打印功能的指令的操作指令的信息以及从设备10S获取的图像数据。

搭载在设备10A中的操作助理A6使设备10V根据从设备10F发送的操作指令打印图像数据。

搭载在设备10A中的操作助理A1可以不必将从设备10S获取的图像数据发送到设备10F。在这种情况下，搭载在设备10A中的操作助理A6可以将图像数据发送到设备10V并且使设备10V打印图像数据。

在上述的示例2-5、2-6和2-7中，当操作助理无法向操作目标设备10提供用于执行功能的指令时，控制单元20可以控制无法提供指令的原因的通知。例如，在一些情况下，操作助理可能不支持要执行的目标功能并且可能无法根据操作助理的版本向设备10提供用于执行功能的指令。另外，在一些情况下，操作助理可控制的功能可能被限制，由于限制，操作助理可能无法向设备10提供用于执行该功能的指令。附加地，在一些情况下，对于当前登录到操作助理的用户帐户可用的功能可能被限制，由于限制，操作助理可能无法向设备10提供用于执行该功能的指令。此外，在一些情况下，标准操作助理可能不支持要执行的目标功能。例如，具有包括在多种类型的操作助理中的共同功能的标准操作助理可能不具有其它功能或者可以具有性能低的其它功能。在这种情况下，标准操作助理可能无法向操作目标设备10提供用于执行功能的指令。

可以在搭载在请求设备10中的操作助理、搭载在被请求设备10中的操作助理或搭载在请求设备10和被请求设备10二者中的操作助理中发生可能导致上述的问题的因素。在任何情况下，用于执行功能的指令无法被提供给设备10。在这种情况下，控制单元20控制无法将指令提供给设备10的原因的通知。

例如，请求设备10提供上述原因的通知。请求设备10的控制单元20可以在请求设备10的UI单元14的显示单元上显示指示原因的信息或者可以经由音频输出信息。

例如，当因为操作助理的版本不支持要执行的目标功能所以无法向操作目标设备10提供用于执行功能的指令时，控制单元20提供指示操作助理的版本不支持要执行的目标功能的信息的通知。

当因为操作助理可控制的功能被限制所以无法向操作目标设备10提供用于执行功能的指令时，控制单元20提供指示对可由操作助理控制的功能有限制的信息的通知。

当因为用户帐户可用的功能被限制所以无法向操作目标设备10提供用于执行功能的指令时，控制单元20提供指示对可被用户帐户使用的功能有限制的信息的通知。

当因为标准操作助理不支持要执行的目标功能所以无法向操作目标设备10提供用于执行功能的指令时，控制单元20提供指示标准操作助理不支持要执行的目标功能的信息的通知。

上述的通知使得能够向用户通知无法向设备10提供用于执行功能的指令的原因。

此外，当请求设备10、被请求设备10或中继器不搭载能够向操作目标设备10提供用于执行要执行的目标功能的指令的操作助理时，无法向操作目标设备10提供用于执行功能的指令。在这种情况下，控制单元20可以提供无法向操作目标设备10提供用于执行功能的指令的原因的通知。例如，控制单元20提供指示请求设备10、被请求设备10或中继器不搭载能够向操作目标设备10提供用于执行要执行的目标功能的指令的操作助理的信息的通知。这可以使得能够向用户通知无法向设备10提供用于执行功能的指令的原因。

第三示例性实施方式

下文描述根据本公开的第三示例性实施方式的信息处理系统。类似于根据第一示例性实施方式的信息处理系统，根据第三示例性实施方式的信息处理系统包括一个或更多个设备10。此外，根据第三示例性实施方式的设备10具有与根据第一示例性实施方式的设备10的配置相同的或基本上相同的配置。

在第三示例性实施方式中，被请求设备10搭载多个操作助理并且被进一步连接到另一设备10。当指示操作指令的信息被从请求设备10发送到被请求设备10时，助理控制单元22从所述多个操作助理当中选择能够控制另一设备10的操作助理。操作助理根据操作指令来控制另一设备10。

下文参照图25详细地描述根据第三示例性实施方式的过程。图25例示了设备10的示例。作为示例，设备10F对应于请求设备，并且设备10A、10P和10D对应于被请求设备。

设备10A和设备10P搭载操作助理A1和操作助理A6。设备10D搭载标准操作助理As。此外，设备10A被连接到作为第三设备的设备10S和设备10T。设备10P被连接到作为第三设备的设备10U和设备10V。设备10D被连接到作为第三设备的设备10W。设备10A、10P和10D被用作中继器。

设备10F、10S、10T、10U、10V和10W中的每一个均可以或者可以不搭载操作助理。

设备10S是与操作助理A1、A2和A3对应的设备。也就是说，设备10S是可由操作助理A1、A2和A3中的每一个控制的设备。设备10S被连接到设备10A并且由搭载在设备10A中的操作助理A1控制。

设备10T是与操作助理A2和操作助理A6对应的设备。也就是说，设备10T是可由操作助理A2和操作助理A6中的每一个控制的设备。设备10T被连接到设备10A并且由搭载在设备10A中的操作助理A6控制。

设备10U是与操作助理A2和操作助理A6对应的设备。也就是说，设备10U是可由操作助理A2和操作助理A6中的每一个控制的设备。设备10U被连接到设备10P并且由搭载在设备10P中的操作助理A6控制。

设备10V是与操作助理A6对应的设备。也就是说，设备10V是可由操作助理A6控制的设备。设备10V被连接到设备10P并且由搭载在设备10P中的操作助理A6控制。

设备10W是与操作助理A1、A3和As对应的设备。也就是说，设备10W是可由操作助理A1、A3和As控制的设备。设备10W被连接到设备10D并且由搭载在设备10D中的操作助理As控制。

例如，当指示针对设备10S的操作指令的信息从设备10F被发送到设备10A时，设备10A的助理控制单元22从搭载在设备10A中的操作助理A1和操作助理A6当中选择能够控制设备10S的操作助理A1。所选择的操作助理A1根据操作指令来控制设备10S。例如，当操作指令包括用于获取通过利用设备10S拍摄图像而生成的图像数据的指令时，操作助理A1从设备10S获取图像数据并且将该图像数据发送到设备10F。例如，助理控制单元22执行用于操作助理A1的操作助理程序以激活操作助理A1，并且使操作助理A1根据操作指令来执行操作。此外，助理控制单元22可以结束用于操作助理A6的操作助理程序的执行以完成操作助理A6的激活。应当理解的是，可以执行用于操作助理A1和操作助理A6的操作助理程序。在这种情况下，助理控制单元22选择操作助理A1并且使操作助理A1根据操作指令来执行操作。

当指示针对设备10V的操作指令的信息从设备10F被发送到设备10P时，设备10P的助理控制单元22从搭载在设备10P中的操作助理A1和操作助理A6当中选择能够控制设备10V的操作助理A6。所选择的操作助理A6根据操作指令来控制设备10V。例如，当操作指令包括用于使用设备10V来执行打印的指令时，操作助理A6从存储有图像数据的存储位置(诸如从设备10F)获取要打印的图像数据并且将该图像数据发送到设备10V以使设备10V打印该图像数据。

当指示针对设备10W的操作指令的信息被从设备10F发送到设备10D时，设备10D的助理控制单元22使能够控制设备10W的标准操作助理As根据操作指令来执行操作。

助理控制单元22可以选择能够控制要执行的目标功能的操作助理并且使该操作助理控制功能。例如，当针对每个操作助理限制可控功能时，助理控制单元22选择能够控制要执行的目标功能的操作助理。

助理控制单元22可以基于可控设备的数量选择操作助理。例如，助理控制单元22可以选择能够控制操作目标设备并且能够控制最大数量的设备的操作助理，并且可以使操作助理根据操作指令来执行操作。

助理控制单元22可以基于可控功能的数量选择操作助理。例如，助理控制单元22可以选择能够控制要执行的目标功能并且能够控制最大数量的功能的操作助理，并且可以使操作助理根据操作指令来执行操作。

根据第三示例性实施方式，即使当被请求设备10搭载多个操作助理时，也选择能够控制操作目标设备或要执行的目标功能的操作助理，并且通过该操作助理来控制设备或功能。这可以允许操作请求设备10的用户在不知道操作助理的情况下给出操作指令。

第四示例性实施方式

下文描述根据本公开的第四示例性实施方式的信息处理系统。图26例示了根据第四示例性实施方式的信息处理系统的示例。类似于根据第一示例性实施方式的信息处理系统，根据第四示例性实施方式的信息处理系统包括设备10A至10R。

设备10中的每一个均搭载一种或多种类型的操作助理。设备10中的一些可以搭载在其中设置有用户帐户的操作助理。在其中设置有用户帐户的操作助理根据来自使用用户帐户登录到操作助理的用户的指令进行工作，而不根据来自任何其它用户的指令进行工作。

在第四示例性实施方式中，操作助理的类型例如通过符号“A”、“B”和“S”来表示，并且用户帐户例如通过数字“1”和“2”来表示。

例如，相同类型的多个操作助理是根据用于相同类型的操作助理的程序进行工作的操作助理，并且不同类型的操作助理是根据用于不同类型的操作助理的程序进行工作的操作助理。例如，操作助理A1和操作助理A2根据用于相同类型的操作助理的程序进行工作。这同样适用于操作助理B1和操作助理B2。操作助理A1和操作助理B1根据用于不同类型的操作助理的程序进行工作。

术语“相同类型”可以用于指示操作助理或程序具有相同的内容或者可以用于指示仅操作助理或程序的版本是不同的。

例如，操作助理A1和操作助理A2是相同类型“A”的操作助理(例如，根据用于操作助理的相同程序进行工作的操作助理)，但是在其中设置有不同的用户帐户。例如，操作助理A1已在其中设置了用户帐户“1”，并且操作助理A2已在其中设置了用户帐户“2”。也就是说，操作助理A1根据来自使用用户账户“1”登录到操作助理A1的用户的指令进行工作，而不根据来自任何其它用户的指令进行工作。例如，操作助理A1不根据来自具有用户帐户“2”的用户的指令进行工作。这同样适用于操作助理A2。这也同样适用于类型“B”的操作助理。

操作助理S是同样在上述的第一示例性实施方式中描述的标准操作助理。标准操作助理的定义与第一示例性实施方式中描述的定义相同。操作助理S根据来自任何用户的指令进行工作，而不管用户帐户如何。

如图26所例示的，在一些情况下，多个设备10可以搭载相同类型的操作助理或在其中设置有相同的用户帐户的操作助理。在此类情况下，即使用户指定操作助理并且经由话音等给出指令，也难以仅在指令基础上指定指令被给予给哪一个操作助理并且设备10中的哪些搭载操作助理。例如，操作助理具有音频识别功能。在这种情况下，即使用户通过语音来产生用于识别操作助理A1的助理识别信息，操作助理A1被搭载在设备10A、10F、10L等中，并且因此，也难以指定指令被给予给搭载在设备10中的操作助理A1中的哪一个。此外，如果未指定用户帐户，则难以指定指令被给予给操作助理A1和操作助理A2中的哪一个。

此外，当搭载在特定设备10中的操作助理向搭载在另一设备10中的操作助理发送连接请求时，可能难以指定连接请求已被从哪一个操作助理提供给搭载在另一设备10中的操作助理。

在第四示例性实施方式中，为了解决上述的问题，指示连接请求的信息包括用于识别发送连接请求的设备10的设备识别信息和用于识别搭载在设备10中的操作助理的助理识别信息中的至少一种。在已接收到指示连接请求的信息的设备10中，助理控制单元22基于包括在指示连接请求的信息中的识别信息来指定设备10和指示连接请求的信息已被发送到设备10的操作助理。这使得已接收到连接请求的设备10的助理控制单元22能够指定已发送连接请求的设备10和搭载在设备10中的操作助理。指定过程可以由搭载在已接收到连接请求的设备10中的操作助理执行。

下文详细地描述第四示例性实施方式。

示例4-1

将参照图27描述根据示例4-1的过程。图27例示了设备10的示例。作为示例，设备10F对应于请求设备，并且设备10A对应于被请求设备。

设备10F搭载操作助理A1，并且设备10A搭载操作助理B1。设备10F对应于第一设备的示例，并且设备10A对应于第二设备的示例。此外，操作助理A1对应于第一操作助理的示例，并且操作助理B1对应于第二操作助理的示例。

例如，当用户通过使用设备10F来做出针对设备10A的连接请求时，设备10F的助理控制单元22创建指示连接请求的信息，该信息包括设备10F的设备识别信息和操作助理A1的助理识别信息。设备10F将指示连接请求的信息发送到设备10A。

如在上述的第一示例性实施方式中一样，设备10F的助理控制单元22将搭载在设备10F中的操作助理A1设置为主操作助理。

此外，设备10A的助理控制单元22检查从设备10A发送的指示连接请求的信息是否包括识别信息。如果指示连接请求的信息包括设备识别信息，则设备10A的助理控制单元22基于该设备识别信息指定已将指示连接请求的信息发送到设备10A的设备10F。这允许设备10A的助理控制单元22指定向其发送响应的设备10F。当指示连接请求的信息包括助理识别信息时，设备10A的助理控制单元22基于该助理识别信息指定搭载在已发送指示连接请求的信息的设备10F中的操作助理A1。这允许设备10A的助理控制单元22将搭载在设备10F中的操作助理A1指定为搭载在设备10A中的操作助理B1与之交换信息的操作助理。

如上所述，设备10A将已将指示连接请求的信息发送到设备10A的设备10指定为设备10F。另外，设备10A将搭载在设备10A中的操作助理B1将与之交换信息的操作助理指定为操作助理A1。

此外，当指示连接请求的信息包括设备识别信息和助理识别信息中的至少一种时，设备10A的助理控制单元22将搭载在设备10A中的操作助理B1设置为根据来自搭载在设备10F中的操作助理A1的指令进行工作的从操作助理。

因此，如在第一示例性实施方式中一样，搭载在请求设备10F中的操作助理A1被设置为主操作助理，并且搭载在被请求设备10A中的操作助理B1被设置为从操作助理。如上所述，搭载在已做出连接请求的设备10F中的操作助理A1被指定。因此，操作助理B1能够与搭载在已做出连接请求的设备10F中的操作助理A1交换信息。

如上所述，在用作主操作助理的搭载在设备10F中的操作助理A1与用作从操作助理的搭载在设备10A中的操作助理B1之间交换信息。操作助理B1根据来自操作助理A1的指令进行工作。

当指示连接请求的信息不包括设备识别信息或助理识别信息时，设备10A的助理控制单元22不将搭载在设备10A中的操作助理B1设置为从操作助理。

根据示例4-1，当指示连接请求的信息包括识别信息时，被请求设备10能够指定请求设备10和搭载在设备10中的操作助理(搭载在被请求设备10中的操作助理的交互伙伴)。另外，能够在搭载在请求设备10中的操作助理与搭载在被请求设备10中的操作助理之间建立主从关系。

注意的是，当指示连接请求的信息包括设备识别信息而不包括助理识别信息时，被请求设备10A的助理控制单元22基于该设备识别信息指定请求设备10F。在这种情况下，如果被请求设备10A尚未指定搭载在请求设备10F中的操作助理，则搭载在设备10A中的操作助理B1与搭载在所指定的设备10F中的未定义操作助理交换信息。在信息的交换期间，设备10A可以指定搭载在设备10F中的操作助理A1。

当指示连接请求的信息包括助理识别信息而不包括设备识别信息时，被请求设备10A的助理控制单元22基于该助理识别信息将操作助理A1指定为交互伙伴。在这种情况下，如果被请求设备10A尚未指定请求设备10F，则搭载在设备10A中的操作助理B1与所指定的操作助理A1交换信息。在信息的交换期间，设备10A可以指定搭载操作助理A1的设备10F。

当指示连接请求的信息不包括识别信息时，助理控制单元22不在搭载在请求设备10F中的操作助理与搭载在被请求设备10A中的操作助理之间建立主从关系。也就是说，被请求设备10A尚未指定请求设备10F和作为交互伙伴的操作助理，并且因此搭载在被请求设备10A中的操作助理可能难以指定要向设备10中的哪一个或哪一个操作助理发送信息。在这种情形下，将搭载在被请求设备10A中的操作助理设置为从操作助理没有技术意义。因此，助理控制单元22不建立主从关系。

请求设备10F的助理控制单元22可以创建指示连接请求的信息，该信息不包括设备10F的设备识别信息但包括操作助理A1的助理识别信息。所创建的指示连接请求的信息从设备10F被发送到被请求设备10A。被请求设备10A的助理控制单元22基于助理识别信息将操作助理A1指定为操作助理B1的交互伙伴。当一个设备10被放置在被请求设备10A附近并且搭载单个操作助理A1时，设备10A的助理控制单元22能够基于所接收到的助理识别信息将搭载在设备10中的操作助理A1识别为作为操作助理B1的交互伙伴的操作助理(即，主操作助理)。此外，即使当多个设备10被放置在被请求设备10A附近时，当多个设备10中的仅一个设备10搭载单个操作助理A1时，设备10A的助理控制单元22能够基于所接收到的助理识别信息将搭载在一个设备10中的操作助理A1识别为主操作助理并且将所述一个设备10识别为请求设备10。因此，即使指示连接请求的信息不包括设备识别信息，被请求设备10A也能够指定请求设备10F和主操作助理。

请求设备10F的助理控制单元22可以创建指示连接请求的信息，该信息包括设备10F的设备识别信息但不包括操作助理A1的助理识别信息。所创建的指示连接请求的信息从设备10F被发送到被请求设备10A。被请求设备10A的助理控制单元22基于设备识别信息指定请求设备10F。当请求设备10F仅搭载一个操作助理时，设备10F的助理控制单元22将该一个操作助理指定为主操作助理。搭载在设备10F中的操作助理B1将该一个操作助理识别为主操作助理并且与该一个操作助理交换信息。因此，即使指示连接请求的信息不包括助理识别信息，被请求设备10A也能够指定请求设备10F和主操作助理。

示例4-2

将参照图28描述根据示例4-2的过程。图28例示了设备10的示例。作为示例，设备10F对应于请求设备，并且设备10A对应于被请求设备。

设备10F搭载操作助理A1和操作助理B1，并且设备10A搭载操作助理B1。设备10F对应于第一设备的示例，并且设备10A对应于第二设备的示例。此外，搭载在设备10F中的操作助理A1或操作助理B1对应于第一操作助理的示例，并且搭载在设备10A中的操作助理B1对应于第二操作助理的示例。

请求设备10F的助理控制单元22在搭载在设备10F中的操作助理A1和操作助理B1当中确定作为主操作助理进行工作的操作助理。例如，助理控制单元22可以根据由使用设备10F的用户所给出的指令来确定主操作助理或者可以如下所述将主要在设备10F中工作的操作助理确定为主操作助理。这里假定了操作助理A1被确定为主操作助理。

设备10F的助理控制单元22创建指示连接请求的信息，该信息包括设备10F的设备识别信息和操作助理A1的助理识别信息。设备10F将指示连接请求的信息发送到设备10A。

设备10F的助理控制单元22在与搭载在被请求设备10中并且作为从操作助理进行工作的操作助理的关系方面将搭载在设备10F中的操作助理A1设置为主操作助理。

此外，如在示例4-1中一样，设备10A的助理控制单元22检查从设备10F发送的指示连接请求的信息是否包括识别信息。如果指示连接请求的信息包括设备识别信息，则设备10A的助理控制单元22基于该设备识别信息指定已将指示连接请求的信息发送到设备10A的设备10F。这使得设备10A的助理控制单元22能够指定向其发送响应的设备10F。当指示连接请求的信息包括助理识别信息时，设备10A的助理控制单元22基于该助理识别信息指定搭载在已发送指示连接请求的信息的设备10F中的操作助理A1并且将操作助理A1识别为主操作助理。这使得被请求设备10A的助理控制单元22能够在请求设备10F搭载多个操作助理时将搭载在设备10F中的操作助理A1指定为搭载在设备10A中的操作助理B1与之交换信息的主操作助理。

此外，如示例4-1一样，设备10A的助理控制单元22将搭载在设备10A中的操作助理B1设置为根据来自搭载在设备10F中的操作助理A1的指令进行工作的从操作助理。

如上所述，在用作主操作助理的搭载在设备10F中的操作助理A1与用作从操作助理的搭载在设备10A中的操作助理B1之间交换信息。操作助理B1根据来自操作助理A1的指令进行工作。

根据示例4-2，即使当请求设备10搭载多个操作助理时，被请求设备10也能够将主操作助理指定为搭载在被请求设备10中并且作为从操作助理进行工作的操作助理的交互伙伴。另外，能够在搭载在请求设备10中的操作助理与搭载在被请求设备10中的操作助理之间建立主从关系。

当指示连接请求的信息不包括识别信息时，如在示例4-1中一样，不建立上述的主从关系。

示例4-3

将参照图29描述根据示例4-3的过程。图29例示了设备10的示例。作为示例，设备10F对应于请求设备，并且设备10A对应于被请求设备。

设备10F搭载操作助理B1，并且设备10A搭载操作助理B1和操作助理B2。设备10F对应于第一设备的示例，并且设备10A对应于第二设备的示例。此外，搭载在设备10F中的操作助理B1对应于第一操作助理的示例，并且搭载在设备10A中的操作助理B1或操作助理B2对应于第二操作助理的示例。

设备10F的助理控制单元22创建指示连接请求的信息，该信息包括设备10F的设备识别信息、搭载在设备10F中的操作助理B1的助理识别信息以及要作为从属操作助理启用的操作助理的助理识别信息。设备10F将所创建的指示连接请求的信息发送到设备10A。

要作为从操作助理启用的操作助理可以由例如使用设备10F的用户或者通过使用指定在下面描述的方法或任何其它方法的操作助理来指定。

设备10F的助理控制单元22在与搭载在被请求设备10中并且作为从操作助理进行工作的操作助理的关系方面将搭载在设备10F中的操作助理B1设置为主操作助理。

此外，如在示例4-1中一样，设备10A的助理控制单元22检查从设备10F发送的指示连接请求的信息是否包括识别信息。如果指示连接请求的信息包括设备识别信息，则设备10A的助理控制单元22基于该设备识别信息指定已将指示连接请求的信息发送到设备10A的设备10F。这使得设备10A的助理控制单元22能够指定向其发送响应的设备10F。当指示连接请求的信息包括在设备10F中搭载的操作助理B1的助理识别信息时，设备10A的助理控制单元22基于该助理识别信息指定搭载在已发送指示连接请求的信息的设备10F中的操作助理B1并且将操作助理B1识别为主操作助理。当指示连接请求的信息包括要作为从操作助理启用的操作助理的助理识别信息时，设备10A的助理控制单元22基于该助理识别信息将搭载在设备10A中的操作助理B1和操作助理B2中的任何一个指定为从操作助理。例如，当搭载在设备10A中的操作助理B1被指定为要作为从操作助理启用的操作助理时，设备10A的助理控制单元22将操作助理B1设置为根据来自搭载在设备10F中的操作助理B1的指令进行工作的从操作助理。

如上所述，在用作主操作助理的搭载在设备10F中的操作助理B1与用作从操作助理的搭载在设备10A中的操作助理B1之间交换信息。搭载在设备10A中的操作助理B1根据来自搭载在设备10F中的操作助理A1的指令进行工作。

根据示例4-3，即使当被请求设备10搭载多个操作助理时，被请求设备10也能够指定作为从操作助理进行工作的操作助理。另外，能够在搭载在请求设备10中的操作助理与搭载在被请求设备10中的操作助理之间建立主从关系。

当指示连接请求的信息不包括识别信息时，如在示例4-1中一样，不建立上述的主从关系。

示例4-4

将描述根据示例4-4的过程。在示例4-4中，当相同类型的多个操作助理和多个设备10位于搭载主操作助理的设备10附近时，搭载主操作助理的设备10的助理控制单元22基于识别信息指定将接收指令的设备10和从操作助理。术语“在设备10附近”表示例如设备10支持通信的范围或从设备10起的预定范围。

例如，假定了搭载操作助理A1的设备10F向另一设备10发送指示连接请求的信息并且搭载在设备10F中的操作助理A1对应于主操作助理。设备10F对应于第一设备的示例。

搭载用作主操作助理的操作助理A1的设备10F接收将从主操作助理接收指令的从操作助理的助理识别信息和搭载从操作助理的设备10的设备识别信息的输入。将在下面描述输入上述的识别信息的方法。

设备10F的助理控制单元22基于输入到设备10F的助理识别信息识别作为从操作助理进行工作的操作助理，并且基于输入到设备10F的设备识别信息指定搭载从操作助理的设备10。搭载从操作助理的设备10对应于第二设备的示例。

如上所述，当从操作助理和搭载该从操作助理的设备10被指定时，在用作主操作助理的搭载在设备10F中的操作助理A1与该从操作助理之间交换信息。从操作助理根据来自操作助理A1的指令进行工作。

根据示例4-4，即使当相同类型的多个操作助理和多个设备10位于搭载主操作助理的设备附近时，也能够指定从操作助理和搭载该从操作助理的设备10并且在主操作助理与从操作助理之间建立主从关系。

示例4-5

将描述示例4-5。当设备10搭载多个操作助理时，可以在所述多个操作助理当中确定作为主操作助理进行工作的操作助理和作为副操作助理进行工作的操作助理。通常，主操作助理在设备10上操作并且对来自用户的请求做出响应。然而，当主操作助理难以处理的请求等被提供给主操作助理时，副操作助理根据该请求等进行工作。可以在所述多个操作助理当中确定空闲操作助理。这里，主操作助理在操作助理之间的主从关系上面不限于主操作助理，并且是主要在搭载多个操作助理的设备10中工作的操作助理。

例如，“主”或“副”操作助理由用户确定。图30例示了设置屏幕。设备10的控制单元20使UI单元14根据由用户给出的指令来显示设置屏幕86并且在设置屏幕86上显示用于识别搭载在设备10中的操作助理的信息。例如，搭载在设备10A中的“主”或“副”操作助理被假定为被确定。设备10A搭载例如操作助理A、B和S。设置屏幕86显示用于识别操作助理A、B和S中的每一个的信息(诸如名称)。设置屏幕86显示分别与操作助理A、B和S对应的设置按钮88、90和92。用户能够通过操作设置按钮88、90和92来设置主操作助理、副操作助理和空闲操作助理。例如，操作助理B被设置为主操作助理，标准操作助理S被设置为副操作助理，并且操作助理A被设置为空闲操作助理。在设备10A中，因此，操作助理B通常执行各种类型的处理或控制(诸如用于实现来自用户的请求的处理)。响应于发生操作助理B难以处理的问题，标准操作助理S解决该问题。例如，当用于控制不可由操作助理B控制的过程或设备的指令被提供给设备10时，标准操作助理S根据该指令进行工作。另外，操作助理A在设备10A中是空闲的。

可以在包括在信息处理系统中的所有设备10中设置主操作助理和副操作助理，或者可以在设备10中的一些中设置主操作助理和副操作助理。可以在相同设备10中设置副操作助理。在这种情况下，可以确定多个操作助理的优先顺序。

可以为每个用户帐户设置主操作助理和副操作助理。也就是说，甚至相同的操作助理可以被设置为用于特定用户帐户的主操作助理并且可以被设置为用于不同的用户帐户的副操作助理。

下文参照图31描述根据示例4-5的过程。图31例示了设备10的示例。作为示例，设备10F对应于请求设备，并且设备10A对应于被请求设备。

设备10F搭载操作助理A1和操作助理B1，并且设备10A搭载操作助理A1、B1和S。设备10F对应于第一设备，并且设备10A对应于第二设备。

在设备10F中，操作助理A1被确定为主操作助理，并且操作助理B1被确定为副操作助理。在设备10A中，操作助理A1被确定为主操作助理，操作助理B1被确定为副操作助理，并且标准操作助理S不在操作中。

设备10F的助理控制单元22创建指示连接请求的信息，该信息包括设备10F的设备识别信息以及在设备10F中作为主操作助理进行工作的操作助理A1的助理识别信息。设备10F将指示连接请求的信息发送到设备10A。

设备10A的助理控制单元22检查从设备10F发送的指示连接请求的信息是否包括识别信息。如果指示连接请求的信息包括设备识别信息，则设备10A的助理控制单元22基于该设备识别信息指定已将指示连接请求的信息发送到设备10A的设备10F。这使得设备10A的助理控制单元22能够指定向其发送响应的设备10F。当指示连接请求的信息包括在设备10F中作为主操作助理进行工作的操作助理A1的助理识别信息时，设备10A的助理控制单元22基于该助理识别信息从搭载在设备10A中的操作助理A1、B1和S当中指定操作助理A1(其为与操作助理A1的类型相同的类型的操作助理并且在设备10A中作为主操作助理进行工作)，并且将操作助理A1识别为操作助理A1的从操作助理。

设备10A的助理控制单元22在与搭载在设备10F中的操作助理A1的关系方面将搭载在设备10A中的操作助理A1设置为从操作助理。此外，设备10F的助理控制单元22在与搭载在设备10A中的操作助理A1的关系方面将搭载在设备10F中的操作助理A1设置为主操作助理。

如上所述，在在设备10F中作为主操作助理进行工作的操作助理A1与在设备10A中作为主操作助理进行工作的操作助理A1之间建立主从关系。搭载在设备10A中的操作助理A1在与搭载在设备10F中的操作助理A1的关系方面作为从操作助理进行工作。在上述的操作助理之间交换信息，并且搭载在设备10A中的操作助理A1根据来自搭载在设备10F中的操作助理A1的指令进行工作。

在请求设备中的主操作助理与被请求设备中的主操作助理之间建立主从关系(也就是说，在主要正在两个设备中工作的操作助理之间交换信息)可以减少处理所花费的时间。例如，操作助理的登录过程或在用户帐户之间切换可以不再是必要的。这种过程所花费的时间不再是必要的，从而导致处理所花费的时间减少。

在上述的示例中，在请求设备中的主操作助理与被请求设备中的主操作助理之间建立主从关系。作为另一示例，可以在请求设备中的主操作助理与被请求设备中的副操作助理之间建立主从关系，或者可以在请求设备中的副操作助理与被请求设备中的主操作助理或副操作助理之间建立主从关系。请求设备中的副操作助理在请求设备10中作为副操作助理进行工作，但是在与被请求设备中的主操作助理或副操作助理的关系方面作为主操作助理进行工作。

例如，当请求设备中的主操作助理正在执行另一过程时，可以在请求设备中的副操作助理与被请求设备中的主操作助理或副操作助理之间建立主从关系。当被请求设备中的主操作助理正在执行另一过程时，可以在请求设备中的主操作助理或副操作助理与被请求设备中的副操作助理之间建立主从关系。当难以在主操作助理之间建立主从关系时，在请求设备中的副操作助理与被请求设备中的主操作助理之间建立主从关系。当也难以甚至在请求设备中的副操作助理与被请求设备中的主操作助理之间建立主从关系时，在请求设备中的副操作助理与被请求设备中的主操作助理之间建立主从关系。否则，当难以在请求设备中的主操作助理与被请求设备中的主操作助理之间交换信息时，但是当能够在请求设备中的主操作助理与被请求设备中的副操作助理之间交换信息时，可以在请求设备中的主操作助理与被请求设备中的副操作助理之间建立主从关系。同样地，当难以在请求设备中的副操作助理与被请求设备中的主操作助理之间交换信息时，但是当能够在请求设备中的副操作助理与被请求设备中的副操作助理之间交换信息时，可以在请求设备中的副操作助理与被请求设备中的副操作助理之间建立主从关系。

示例4-6

将描述根据示例4-6的过程，即，用于指定设备10和操作助理的过程和用于创建识别信息的过程。上述的过程可以被应用于上述的示例。

例如，在一些情况下，用户可以使操作助理的名称(除公共名称以外)与操作助理关联。例如，操作助理A可以被命名为“Taro”。在这种情况下，此名称被用作操作助理A的助理识别信息，并且助理控制单元22基于该名称指定操作助理A。例如，指示连接请求的信息包括指示主操作助理的名称的助理识别信息，并且被请求设备10的助理控制单元22基于该名称指定主操作助理。此外，当用户说出操作助理A的名称时，设备10的助理控制单元22在接收到语音时分析语音并且基于名称指定操作助理A。例如，当用户说出特定操作助理的名称以及指示主操作助理或从操作助理中的任何一个的信息时，助理控制单元22在接收到语音时分析语音并且基于名称将操作助理指定为主操作助理或从操作助理。

助理控制单元22可以基于用户的生物计量信息指定已给出连接请求的用户。生物计量信息的示例包括话音信息、指纹信息、视网膜信息、虹膜信息和面部图像。例如，请求设备10的助理控制单元22基于生物计量信息指定使用请求设备10的用户。这同样适用于使用被请求设备10的用户。

助理控制单元22可以通过使用特定于设备10的识别信息来指定设备10。识别信息的示例包括设备10的MAC地址和IP地址。识别信息可以用于指定请求设备10或者指定被请求设备10。

请求设备10的助理控制单元22可以基于以下信息中的至少任何一种指定被请求设备10或操作助理：指示要由设备10或操作助理执行的操作的信息、指示操作将被执行的时间的信息、指示操作将被执行的位置的信息、指示将执行操作的设备10或操作助理的信息、指示操作被执行的原因的信息以及指示操作如何将被执行的信息。搭载在请求设备10中的操作助理可以问用户问题以获得指定被请求设备10和操作助理所必需的信息。搭载在请求设备10中的操作助理可以基于从用户获得的响应估计被请求设备10和操作助理。当从用户未获得响应时或者如果用户停止被问问题时，搭载在请求设备10中的操作助理可以基于有限数量的响应估计被请求设备10和操作助理。

可以管理设备10中的每一个的操作历史，并且可以将指示操作历史的信息用作识别信息。指示设备10中的每一个的操作历史的信息可以被存储在设备10中的对应一个中，可以由设备10共享，或者可以被存储在诸如服务器的设备中。例如，请求设备10的助理控制单元22基于设备10中的每一个的操作历史将与由用户指定的设备的类型相同的类型的最近使用的设备指定为被请求设备10。例如，当用户要求用作设备10之一的机器人执行过程时，请求设备10的助理控制单元22将最近(在接近于当前时间点的时间点)已被使用过的机器人指定为被要求执行过程的设备10(即，被请求设备10)。将描述具体示例。假定了信息处理系统包括机器人A和机器人B并且机器人A最近已被使用过。在这种情况下，请求设备10的助理控制单元22将最近已被使用过的机器人A指定为被请求设备10。指示连接请求的信息被从请求设备10发送到机器人A。作为另一示例，搭载在请求设备10中的操作助理可以问用户机器人A和机器人B中的哪一个是被请求设备10并且可以根据来自用户的响应来指定被请求设备10。

可以管理搭载在设备10中的每一个中的操作助理的操作历史，并且可以将指示操作历史的信息用作识别信息。指示每个操作助理的操作历史的信息可以被存储在设备10中的对应一个中，可以被设备10共享，或者可以被存储在诸如服务器的设备中。例如，请求设备10的助理控制单元22基于每个操作助理的操作历史将与由用户指定为主操作助理的操作助理的类型相同的类型的最近使用的操作助理指定为主操作助理。请求或被请求设备10的助理控制单元22可以将与由用户指定为从操作助理的操作助理的类型相同的类型的最近使用的操作助理指定为从操作助理。如在指定设备10的情况下一样，搭载在请求或被请求设备10中的操作助理可以问用户并且根据来自用户的响应来指定主操作助理和从操作助理。

用户可以指定操作目标设备10、要执行的目标过程或操作目标软件，而不用指定操作助理，并且向请求设备10给出连接请求。例如，请求设备10搜索操作目标设备10(例如，被请求设备10)，并且，当操作目标设备10搭载操作助理时，请求设备10激活该操作助理。操作助理控制与由用户做出的请求对应的过程。请求设备10的助理控制单元22可以搜索能够执行要执行的目标过程的设备10并且激活搭载在设备10中的操作助理。因此，用户能够将操作助理用于实现所期望的过程，而不用指定操作助理。

诸如摄像头的成像设备可以拍摄用户的面部的图像，并且请求设备10的助理控制单元22可以基于所拍摄的图像检测用户的眼睛的移动并且基于检测结果指定操作目标设备10(例如，被请求设备10)。例如，眼睛正指向的设备10被指定为操作目标设备10。成像设备可以被包括在请求设备10中或者可以被放置在除请求设备10以外的位置中。助理控制单元22可以基于用户的话音指定操作目标设备10。

请求设备10的助理控制单元22可以基于设备10之间的位置关系指定操作目标设备10。例如，助理控制单元22将被放置在最接近于请求设备10的位置处的设备10指定为操作目标设备10。作为另一示例，助理控制单元22可以基于相对于请求设备10的定向指定操作目标设备10。例如，助理控制单元22将面向请求设备10的设备10指定为操作目标设备10。

以上述方式，设备10和操作助理被指定，并且识别信息被创建。用于指定设备10或操作助理中的每一个的识别信息可以包括以下信息中的至少一种：指示设备10的类型的信息、对设备10唯一的识别号码、指示设备10的位置的信息、指示设备10的名称的信息、指示操作助理的名称的信息、用户的生物计量信息(诸如话音信息和指纹信息)、指示当前登录到设备10或操作助理的用户账户的信息以及指示设备10或操作助理的操作历史的信息。助理控制单元22可以基于上述的各条信息中的至少一条指定请求设备10、搭载在请求设备10中的操作助理、被请求设备10以及搭载在被请求设备10中的操作助理。

其它示例性实施方式

上述的示例4-5可以被应用于第二示例性实施方式。例如，请求设备10F搭载操作助理A1和操作助理B1。在设备10F中，操作助理A1被设置为主操作助理并且操作助理B1被设置为副操作助理。在这种情况下，用作主操作助理的操作助理A1向被请求设备10发送操作指令。当操作助理A1不具有控制被请求设备10的功能时，用作副操作助理的操作助理B1向被请求设备10发送操作指令。

当被请求设备10搭载多个操作助理时，可以将多个操作助理中的一个设置为主操作助理并且可以将另一操作助理设置为副操作助理。例如，被请求设备10A搭载操作助理A1和操作助理B1。在设备10A中，操作助理A1被设置为主操作助理并且操作助理B1被设置为副操作助理。在这种情况下，用作主操作助理的操作助理A1从请求设备10接收操作指令并且控制与该操作指令对应的过程。如果操作助理A1不具有控制与操作指令对应的过程的功能，则用作副操作助理的操作助理B1从请求设备10接收操作指令并且控制与该操作指令对应的过程。

此外，在搭载在请求设备10F中的主操作助理(例如，操作助理A1)与搭载在被请求设备10A中的主操作助理(例如，操作助理A1)之间交换信息。应当理解的是，如在第四示例性实施方式中一样，可以在搭载在请求设备10F中的副操作助理与搭载在被请求设备10F中的主操作助理或副操作助理之间交换信息。

可以在请求设备10中设置空闲操作助理，或者可以在被请求设备10中设置空闲操作助理。

在上述的示例性实施方式中，可以将每个用户帐户实现为社交网络服务(SNS)帐户。SNS帐户也可以被称为社交媒体帐户。例如，用户可以使用SNS账户来执行到设备10中的每一个或操作助理的登录。当SNS帐户被登记为与多个操作助理共同的用户帐户时，SNS帐户可以用于执行到所述多个操作助理的登录。这同样适用于多个设备10。

作为示例，通过使硬件和软件彼此协作来实现上述的设备10中的每一个。具体地，设备10中的每一个包括诸如中央处理单元(CPU)(未例示)的一个或更多个处理器。一个或更多个处理器读取并执行存储在存储设备(未例示)中的程序以实现设备10的每个单元的功能。程序通过诸如紧致盘(CD)或数字通用盘(DVD)的记录介质或者通过诸如网络的通信路径被存储在存储设备中。作为另一示例，设备10中的每一个的每个单元可以通过例如硬件资源(诸如处理器、电子电路或专用集成电路(ASIC))来实现。实施方式可以使用诸如存储器的设备。作为又一示例，设备10中的每一个的每个单元可以通过数字信号处理器(DSP)或现场可编程门阵列(FPGA)来实现。

已经出于例示和描述的目的提供了本公开的示例性实施方式的前面的描述。它不旨在为详尽的或者将本公开限于所公开的精确形式。显然，许多修改和变化对于本领域技术人员而言将是显而易见的。实施方式被选取和描述以便最好地说明本公开的原理及其实际应用，从而使得本领域其它技术人员能够针对各种实施方式并且按如适于设想的特定用途的各种修改而理解本公开。本发明的范围旨在由以下权利要求及其等同物来限定。

Claims (20)

1.一种信息处理装置，该信息处理装置包括：

控制器，当用户给出针对设备的操作指令时，该控制器将所述操作指令从搭载在所述信息处理装置中的多个操作助理当中的能够控制所述设备的操作助理发送到所述设备，

其中，所述控制器将搭载在所述信息处理装置中的能够控制所述设备的操作助理设置为主操作助理，并将搭载在所述设备中的操作助理设置为从操作助理，以便建立主从关系，并且当所述从操作助理完成与所述操作指令对应的任务时，所述控制器终止所述主从关系，

其中，在所述主从关系成立的时间段中，不管是否存在没有所述主操作助理的干预的情况下向所述从操作助理提供的操作指令，所述从操作助理根据来自所述主操作助理的所述操作指令进行工作，并且

如果在所述主从关系成立的时段中存在没有所述主操作助理的干预的情况下向所述从操作助理提供的所述操作指令，则在所述主从关系终止后，所述从操作助理根据没有所述主操作助理的干预的情况下向所述从操作助理提供的所述操作指令进行工作。

2.根据权利要求1所述的信息处理装置，其中，所述控制器控制能够控制所述设备的所述操作助理的图像的显示。

3.根据权利要求2所述的信息处理装置，其中，所述控制器还与所述图像关联地控制所述设备的操作结果的通知。

4.根据权利要求1至3中的任一项所述的信息处理装置，其中，能够控制所述设备的操作助理包括能够与搭载在所述设备中的操作助理交互的操作助理。

5.根据权利要求4所述的信息处理装置，其中，能够与搭载在所述设备中的操作助理交互的操作助理包括能够与包括在所述设备中的操作助理交换消息的操作助理。

6.根据权利要求4所述的信息处理装置，其中，能够与搭载在所述设备中的操作助理交互的操作助理包括与搭载在所述设备中的操作助理的类型相同的操作助理。

7.根据权利要求4所述的信息处理装置，其中，当搭载在所述设备中的操作助理是能够与搭载在所述信息处理装置中的所述多个操作助理交互的操作助理时，所述控制器使用搭载在所述信息处理装置中的所述多个操作助理中的任何一个作为能够控制所述设备的操作助理。

8.根据权利要求1或2所述的信息处理装置，其中，能够控制所述设备的操作助理包括能够与搭载在连接到所述设备的另一设备中并且能够控制所述设备的操作助理交互的操作助理，并且

其中，所述操作指令经由所述另一设备被提供给所述设备。

9.根据权利要求8所述的信息处理装置，其中，所述另一设备搭载多个操作助理，并且

其中，能够控制所述设备的操作助理包括能够与如下操作助理交互的操作助理：该操作助理为搭载在所述另一设备中的多个操作助理当中的一个操作助理并且能够控制所述设备。

10.根据权利要求1所述的信息处理装置，其中，所述控制器从搭载在所述信息处理装置中的多个操作助理当中的能够控制连接到所述设备的另一设备的操作助理发送所述操作指令。

11.根据权利要求1或2所述的信息处理装置，其中，所述操作指令包括用于执行要由所述设备执行的功能的指令，并且

其中，能够控制所述设备的操作助理包括能够将用于执行所述功能的所述指令提供给所述设备的操作助理。

12.根据权利要求11所述的信息处理装置，其中，所述设备搭载多个操作助理，并且

其中，能够控制所述设备的操作助理包括能够与以下操作助理交互的操作助理：该操作助理为搭载在所述设备中的多个操作助理当中的一个操作助理并且能够控制所述功能。

13.根据权利要求11所述的信息处理装置，其中，能够控制所述设备的操作助理包括能够与以下操作助理交互的操作助理：该操作助理搭载在连接到所述设备的另一设备中并且能够控制所述功能，并且

其中，所述操作指令经由所述另一设备被提供给所述设备。

14.根据权利要求11所述的信息处理装置，其中，当用于执行所述功能的所述指令无法被提供给所述设备时，所述控制器控制无法将用于执行所述功能的所述指令提供给所述设备的原因的通知。

15.根据权利要求14所述的信息处理装置，其中，当能够将用于执行所述功能的所述指令提供给所述设备的操作助理不在搭载在所述信息处理装置中的多个操作助理当中时，所述控制器还控制无法将用于执行所述功能的所述指令提供给所述设备的原因的通知。

16.根据权利要求1至3中的任一项所述的信息处理装置，其中，能够控制所述设备的操作助理包括在所述信息处理装置中作为主操作助理进行工作的操作助理。

17.根据权利要求16所述的信息处理装置，其中，所述设备搭载多个操作助理，并且

其中，能够控制所述设备的操作助理与搭载在所述设备中的多个操作助理当中的在所述设备中作为主操作助理进行工作的操作助理交换信息。

18.根据权利要求1所述的信息处理装置，其中，所述设备搭载多个操作助理，并且

其中，当能够与能够控制所述设备的操作助理交换信息的操作助理不是搭载在所述设备中的多个操作助理当中的在所述设备中作为主操作助理进行工作的操作助理，而是搭载在所述设备中的多个操作助理当中的在所述设备中作为副操作助理进行工作的操作助理时，所述控制器将所述操作指令发送到所述副操作助理并且控制所述设备。

19.一种存储程序的非暂时性计算机可读介质，该程序使计算机执行用于信息处理的过程，该过程包括：

当针对第一设备的操作指令由用户通过使用第二设备给出时，将所述操作指令从搭载在所述第二设备中的多个操作助理当中的能够控制所述第一设备的操作助理提供给所述第一设备，

其中，将搭载在所述第二设备中的能够控制所述第一设备的操作助理设置为主操作助理，并将搭载在所述第一设备中的操作助理设置为从操作助理，以便建立主从关系，并且当所述从操作助理完成与所述操作指令对应的任务时，终止所述主从关系，

其中，在所述主从关系成立的时间段中，不管是否存在没有所述主操作助理的干预的情况下向所述从操作助理提供的操作指令，所述从操作助理根据来自所述主操作助理的所述操作指令进行工作，并且

如果在所述主从关系成立的时段中存在没有所述主操作助理的干预的情况下向所述从操作助理提供的所述操作指令，则在所述主从关系终止后，所述从操作助理根据没有所述主操作助理的干预的情况下向所述从操作助理提供的所述操作指令进行工作。

20.一种信息处理方法，该信息处理方法包括以下步骤：

当用户将针对设备的操作指令提供给信息处理装置时，将所述操作指令从搭载在所述信息处理装置中的多个操作助理当中的能够控制所述设备的操作助理发送到所述设备，

其中，将搭载在所述信息处理装置中的能够控制所述设备的操作助理设置为主操作助理，并将搭载在所述设备中的操作助理设置为从操作助理，以便建立主从关系，并且当所述从操作助理完成与所述操作指令对应的任务时，终止所述主从关系，

其中，在所述主从关系成立的时间段中，不管是否存在没有所述主操作助理的干预的情况下向所述从操作助理提供的操作指令，所述从操作助理根据来自所述主操作助理的所述操作指令进行工作，并且

如果在所述主从关系成立的时段中存在没有所述主操作助理的干预的情况下向所述从操作助理提供的所述操作指令，则在所述主从关系终止后，所述从操作助理根据没有所述主操作助理的干预的情况下向所述从操作助理提供的所述操作指令进行工作。