CN110580283A - 信息处理装置和存储程序的非暂时性计算机可读介质 - Google Patents

Abstract

本公开涉及信息处理装置和存储程序的非暂时性计算机可读介质，具体地，该信息处理装置包括控制电路，当用户在对话式用户界面上向多个对话伙伴给出指令时，控制电路控制该指令的应对结果的通知。

Description

信息处理装置和存储程序的非暂时性计算机可读介质

技术领域

本公开涉及一种信息处理装置和存储程序的非暂时性计算机可读介质。

背景技术

日本未审查特开2009-522687号公报(PCT申请的译本)描述了如下方法，其中，与一个或者多个机器人建立通信并且经由所述一个或者多个机器人在用户与打算要消费媒体的设备之间实现远程交互。

发明内容

因此，本公开的目的是提供一种用于向多个对话伙伴发出指令的用户界面。

根据本公开的第一方面，提供了一种信息处理装置，该信息处理装置包括控制单元，当用户在对话式用户界面中向多个对话伙伴给出指令时，该控制单元控制该指令的应对结果的通知。

本公开的第二方面提供了根据第一方面的信息处理装置，其中，该多个对话伙伴包括对所述用户的发言进行发言的第一对话伙伴和对所述用户的发言进行发言的第二对话伙伴，该第一对话伙伴与执行指令中所包括的处理的第一设备关联，该第二对话伙伴与执行该处理的第二设备关联。

本公开的第三方面提供了根据第二方面的信息处理装置，其中，当用户在与第一对话伙伴关联的第一图像和与第二对话伙伴关联的第二图像显示在用户界面的状态下给出指令时，控制单元控制该应对结果的通知。

本公开的第四方面提供了根据第二或者三方面的信息处理装置，其中，控制单元还将设备候选列表显示在用户界面中，并且第一设备和第二设备是用户从该列表中选择的设备。

本公开的第五方面提供了根据第二或者三方面的信息处理装置，其中，控制单元还将设备组合候选列表显示在用户界面中，该候选是基于设备之间的兼容性来限定的，并且第一设备和第二设备是用户从列表中选择的设备组合。

本公开的第六方面提供了根据第二至第五方面中任何一方面的信息处理装置，其中，指令包括一个或多个处理，所述一个或多个处理可通过在第一设备与第二设备之间的配合来执行。

本公开的第七方面提供了根据第二至第五方面中任何一方面的信息处理装置，其中，指令包括一个或多个处理，并且第一对话伙伴和第二对话伙伴分担指令中包括的该一个或多个处理。

本公开的第八方面提供了根据第七方面的信息处理装置，其中，第一对话伙伴控制在指令中的可由第一设备执行的处理的执行，以及第二对话伙伴控制在指令中的可由第二设备执行的处理的执行。

本公开的第九方面提供了根据第七或者第八方面的信息处理装置，其中，第一对话伙伴和第二对话伙伴分担指令中所包括的该一个或多个处理，使得减少完成指令中包括的该一个或多个处理所需的时间。

本公开的第十方面提供了根据第七或者第八方面的信息处理装置，其中，第一对话伙伴和第二对话伙伴分担指令中所以包括的所述一个或多个处理，使得减少第一对话伙伴所负责的处理的数量与第二对话伙伴所负责的处理的数量之间的差异。

本公开的第十一方面提供了根据第七或者第八方面的信息处理装置，其中，第一对话伙伴和第二对话伙伴根据第一设备的性能和第二设备的性能分担指令中所包括的所述一个或多个处理。

本公开的第十二方面提供了根据第七或者第八方面的信息处理装置，其中，第一对话伙伴和第二对话伙伴根据第一设备得到的处理结果的质量和第二设备得到的处理结果的质量，来分担指令中所包括的所述一个或多个处理。

本公开的第十三方面提供了根据第七至第十二方面中任何一方面的信息处理装置，其中，控制单元还控制第一对话伙伴所负责的处理的第一预计完成时间的通知以及第二对话伙伴所负责的处理的第二预计完成时间的通知。

本公开的第十四方面提供了根据第十三方面的信息处理装置，其中，控制单元分别地通知第一预计完成时间和第二预计完成时间。

本公开的第十五方面提供了根据第十三方面的信息处理装置，其中，当第一预计完成时间与第二预计完成时间之间的差异小于或者等于阈值时，控制单元在同一消息中通知第一预计完成时间与第二预计完成时间。

本公开的第十六方面提供了根据第七至第十五方面中任何一方面的信息处理装置，其中，控制单元还控制第一对话伙伴所负责的处理的完成的通知以及第二对话伙伴所负责的处理的完成的通知。

本公开的第十七方面提供了根据第十六方面的信息处理装置，其中，在从用户被通知第一对话伙伴所负责的处理的完成和第二对话伙伴所负责的处理的完成时起预定时间内用户未执行检查工作的情况下，控制单元还控制用于提醒用户执行检查工作的信息的通知。

本公开的第十八方面提供了根据第二至第十七方面中任何一方面的信息处理装置，其中，第一设备和第二设备是相同类型的设备或者不同类型的设备。

本公开的第十九方面提供了根据第二至第十八方面中任何一方面的信息处理装置，其中，第一设备与进行了不同设置的多个第一对话伙伴关联。

本公开的第二十方面提供了根据第二至第十九方面中任何一方面的信息处理装置，其中，当用户给出不可由第一设备和第二设备执行的指令时，控制单元还控制指令不可执行的通知。

本公开的第二十一方面提供了根据第二至第二十方面中任何一方面的信息处理装置，其中，第一对话伙伴是自动对所述用户的发言进行发言的第一聊天机器人，以及第二对话伙伴是自动对所述用户的发言进行发言的第二聊天机器人。

本公开的第二十二方面提供了根据第一至第二十一方面中任何一方面的信息处理装置，其中，控制单元还通知具有执行指令的功能的设备的导引。

本公开的第二十三方面提供了一种存储程序的非暂时性计算机可读介质，该程序使计算机执行处理，该处理包括如下步骤：当用户在对话式用户界面上向多个对话伙伴给出指令的时候，控制指令的应对结果的通知。

根据本公开的第一和第二十二方面，可以提供一种向多个对话伙伴给出指令的用户界面。

根据本公开的第二和第四方面，可以向与设备关联的对话伙伴给出指令。

根据本公开的第三方面，可以向与显示的图像关联的对话伙伴给出指令。

根据本公开的第五方面，可以基于设备之间的兼容性选择设备组合。

根据本公开的第六方面，可以给出用于可通过协调多个设备之间的配合执行的处理的指令。

根据本公开的第七和第八方面，可以通过在设备之间共享多个处理来执行所述多个处理。

根据本公开的第九方面，可以减少完成处理所需的时间。

根据本公开的第十方面，可以减少各个设备的负载。

根据本公开的第十一方面，可以根据设备的性能将处理分配给该设备。

根据本公开的第十二方面，可以根据处理结果的质量将处理分配给该设备。

根据本公开的第十三、十四和十五方面，可以通知预计完成时间。

根据本公开的第十六方面，可以通知处理的完成。

根据本公开的第十七方面，可以提醒用户执行检查工作。

根据本公开的第十八方面，可以向相同类型或者不同类型的多个设备给出指令。

根据本公开的第十九方面，可以向执行了不同设置的多个第一对话伙伴给出指令。

根据本公开的第二十方面，可以通知用户给出的指令不可由设备执行。

根据本公开的第二十一方面，可以通过利用聊天机器人来给出指令。

附图说明

下面将基于以下附图详细描述本公开的示例性实施例，其中：

图1是图示了根据本公开的示例性实施例的信息处理系统的配置的框图；

图2是图示了终端装置的配置的框图；

图3是图示了设备的配置的框图；

图4是图示了中继器的外观的透视图；

图5是图示了单个功能管理表的表格；

图6是图示了配合功能管理表的表格；

图7是图示了画面的视图；

图8是图示了画面的视图；

图9是图示了画面的视图；

图10是图示了画面的视图；

图11是图示了画面的视图；

图12是图示了画面的视图；

图13是图示了画面的视图；

图14是图示了根据修改例的兼容性管理表的表格；

图15是图示了画面的视图；

图16是图示了画面的视图；以及

图17是图示了画面的视图。

具体实施方式

将参照图1来描述根据本公开的示例性实施例的信息处理系统。图1图示了根据示例性实施例的信息处理系统的示例。

根据示例性实施例的信息处理系统包括一个或者多个终端装置以及一个或者多个设备。在图1所示的示例中，信息处理系统包括终端装置10A至10D以及设备12A至12M。要注意，这些仅仅是示例，并且可以将服务器包括在信息处理系统中。在下文中，当不需要区分终端装置时，将各个终端装置称为“终端装置10”。相似地，当不需要区分设备时，将各个设备称为“设备12”。要注意，设备12的概念的范畴可以包括终端装置10。换言之，终端装置10可以被视为设备12。

终端装置10和设备12具有与其它设备通信的功能。该通信可以是无线通信或者可以是有线通信。例如，终端装置10和设备12可以经由诸如互联网或者另一网络等通信路径与其它设备通信，可以直接与其它设备通信，可以经由用作集线器的中继器与其它设备通信，或者可以经由所谓的云或者服务器与其它设备通信。各个设备12可以是所谓的物联网(IoT)设备。

终端装置10是诸如个人计算机(PC)、平板PC、智能手机或者移动电话等设备，并且具有与其它设备通信的功能。终端装置10可以是可穿戴终端(诸如，腕表终端、腰带终端、眼镜式终端、戒指终端、接触式镜片终端、可植入式终端、或者可听终端)。另外，终端装置10可以具有柔性显示器作为显示器。例如，将有机电致发光显示器(柔性有机EL显示器)、电子纸显示器、或者柔性液晶显示器用作柔性显示器。可以使用任何使用了除上面提到的显示系统之外的显示系统的柔性显示器。柔性显示器是具有可柔性变形的显示区域的显示器。例如，将柔性显示器弯曲、折叠、卷绕、扭转或者拉伸都是可能的。整个终端装置10可以由柔性显示器构成，或者可以从功能上或者从物理上使柔性显示器和柔性显示器之外的组件分开。

设备12是具有功能的设备，例如，具有图像形成功能(诸如，扫描功能、打印功能、复印功能、传真功能)的图像形成设备、个人计算机(PC)、平板PC、智能手机、移动电话、机器人(诸如，人形机器人、人形机器人之外的动物机器人、这些机器人之外的其他机器人)、投影仪、诸如液晶显示器等显示设备、记录设备、再现设备、诸如摄像头等成像设备、冰箱、电饭锅、微波炉、咖啡机、清洁器、洗衣机、空调、照明装置、时钟、监测摄像头、汽车、两轮车、飞行器(例如，无人驾驶飞行器(所谓的无人机))、游戏机、和各种感测设备(例如，温度传感器、湿度传感器、电压传感器和电流传感器)。设备12可以是向用户输出信息的设备(例如，图像形成设备或者PC)或者不向用户输出信息的设备(例如，感测设备)。同样，执行稍后将描述的配合功能的该多个设备12中的所有设备都可以是向用户输出信息的设备，部分设备12可以是向用户输出信息的设备，且其它设备12可以是不向用户输出信息的设备，或者所有设备12都可以是不向用户输出信息的设备。设备12的概念的范畴可以包括通常意义上的所有设备。例如，可以将信息设备、视频设备、音频设备和其它设备包括在设备12的概念的范畴中。

设备12可以执行单个功能，或者可以与另一设备12配合以执行配合功能。例如，单个功能是可使用一个设备12实施的功能。例如，配合功能是可使用多个设备12实施的功能。为了执行单个功能和配合功能，例如，使用设备12所拥有的硬件或者软件。当设备12不与其它设备12配合时，设备12可以独立地接收来自用户的执行单个功能的指令。不言自明的是，可以将在不接收来自用户的指令的情况下执行功能的设备12(例如，感测设备)包括在信息处理系统中。

此处，描述配合功能。针对配合功能，可以使用整个设备12、设备12的特定部分、软件的特定功能、或者包括多个功能的集合功能。例如，当将功能分配给设备12的各个部分时，配合功能可以使用这些部分。将给出具体示例。假设将打印功能分配给具有多个图像形成功能的多功能设备的主体，将扫描功能分配给多功能设备的读取器(例如，与文档覆盖部分、文档用玻璃和自动文档进纸设备对应的部分)，并且将后处理功能(例如，装订功能)分配给多功能设备的后处理设备。在这种情况下，针对配合功能，可以使用多功能设备的主体、读取器、读取器或者后处理设备。同样，针对配合功能，可以使用块状单元中的集合功能，比如机器流程自动化(RPA)等软件。可替代地，当软件具有多个功能时，配合功能可以使用该多个功能中的一部分。集合功能包括多个功能，这些功能被并行地或者连续地执行，从而执行对集合功能的处理。同样，集合功能可以是仅使用硬件的功能，可以是仅使用软件的功能，或者可以是同时使用硬件和软件的功能。另外，针对配合功能，可以使用诸如图像文件或者文档文件等数据，或者可以使用终端装置10。

配合功能可以是可通过协调不同类型的多个设备12之间的配合来实施的功能，或者可以是可通过协调相同类型的多个设备12之间的配合来实施的功能。配合功能可以是在协调多个设备12之间的配合之前不可用的功能。例如，复印功能可通过协调具有打印功能的设备12(打印机)与具有扫描功能的设备12(扫描仪)之间的配合而实施为配合功能。简言之，复印功能可通过协调打印功能与扫描功能之间的配合来实施。

配合功能的概念的范畴可以包括：合并功能，其中，新的功能可通过协调多个设备12之间的配合来实施。例如，可以通过组合多个显示器将扩展显示功能实施为合并功能。作为另一示例，可以通过组合电视机和记录机，将记录功能实施为合并功能。例如，记录功能是记录在电视机上显示的图像的功能。另外，可以通过组合多个摄像头将图像拍摄区域扩展功能实施为合并功能。例如，扩展功能是通过连接摄像头的图像拍摄区域来拍摄图像的功能。另外，可以通过组合电话和翻译器或者翻译软件将翻译电话通话功能(通过电话来翻译对话的功能)实施为合并功能。这样，配合功能的概念的范畴可以包括：可通过协调相同类型或者软件的多个设备12之间的配合来实施的功能、以及可通过协调不同类型或者软件的多个设备12之间的配合来实施的功能。

另外，可以通过多个设备12来构建连接的家(使用IoT技术通过网络连接诸如家用电器等设备12的系统)，并且可以在该连接的家中使用配合功能。在这种情况下，设备12可以通过特定的服务器联接至彼此，或者设备12可以在经过特定的服务器的情况下联接至彼此。

另外，多个设备12可以使用“如果…那么…”(IFTTT)通过协调多个设备12之间的配合来执行配合功能。换言之，配合功能的内容可以是：当在设备12中发生了作为触发器的事件时，另一设备12便执行动作(处理)。例如，在作为设备12的传感器检测到门打开的触发下，可以执行打开作为另一设备12的照明装置的动作的配合功能。通用，可以把在设备12的动作的触发下又一设备12执行动作的功能包括在配合功能的概念的范畴中。另外，可以把协调多个Web服务的功能、以及利用应用编程接口(API)协调多个系统或者服务的API协调功能包括在配合功能的概念的范畴中。

在图1所示的示例中，设备12A、12D和12G是中继器。设备12B、12K是机器人。设备12C、12L是摄像头。设备12E、12N是PC。设备12F、12H是分别具有图像形成功能的多功能设备。

要注意，例如，中继器可以控制连接至中继器的其它设备12(例如，其它设备12中包括的硬件和其它设备12上安装的软件)。另外，中继器可以利用互联网等获得各种类型的信息。中继器可以用作服务器，并且可以管理数据和用户信息。中继器可以是所谓的智能扬声器(具有通信功能和扬声器功能的设备)，或者可以是具有通信功能但不具有扬声器功能的设备。中继器可以安装在室内(例如，地板、房屋的天花板或者桌子)或者安装在室外。中继器可以是可移动的设备(例如，自动设备)。

各个设备12被配置为根据用户的指令或者不理会用户的指令自动地执行单个功能。同样，各个设备12可以执行被设置到设备12自身的配合功能。例如，将表示配合功能的内容的设置信息存储在用于配合功能的各个设备12中，并且各个设备12配合其它设备12执行自身中存储的设置信息所表示的配合功能。

将协助用户的一个或者多个操作助理(个人助理)安装在各个终端装置10和各个设备12中。例如，各个操作助理被配置为，控制安装有操作助理的终端装置10或者设备12。操作助理可以控制终端装置10或者设备12中包括的硬件，或者可以控制终端装置10或者设备12中安装的软件。例如，操作助理分析用户发出的指令，并且根据该指令来控制终端装置10或者设备12，从而控制用户指定的功能的执行。不言自明的是，可以将未安装操作助理的终端装置10和设备12包括在信息处理系统中。

各个操作助理具有与用户互动的功能。例如，操作助理用作聊天机器人(利用人工智能的自动对话程序)，该聊天机器人是自动响应AI。换言之，操作助理通过用作用户的对话伙伴，而与用户交换信息(例如，消息)。例如，操作助理(聊天机器人)分析用户的发言，基于分析的结果创建答案，将该答案提供给用户。例如，将答案作为操作助理的发言提供给用户。

当通过语音输入或者字符输入来向操作助理给出用户的指令或者发言时，例如，操作助理通过对输入的信息应用诸如形态分析等自然语言处理，来分析用户的发言的指令，并且基于分析的结果创建答案，将该答案提供给用户。

例如，通过执行操作助理程序(聊天机器人程序)来实现操作助理(聊天机器人)。操作助理程序安装在各个终端装置10和各个设备12中。不言自明的是，操作助理程序可以安装在诸如服务器等外部设备中，并且可以将操作助理的功能从服务器提供给终端装置10和设备12。

可以通过人工智能(AI)来实现操作助理。例如，操作助理可以具有使用人工智能的学习功能，并且可以具有通过该学习功能几乎像人一样做决定的能力。可替代地，可以利用神经网络深度学习、可以利用强化特定学习领域的强化学习，并且另外，可以利用遗传算法、聚类分析、自组织映射和集成学习。不言自明的是，可以利用除了这些之外的与人工智能有关的技术。

操作助理可以根据来自与已经登录操作助理的用户账户关联的用户的指令来操作。

在下文中，将参照图2详细描述终端装置10的配置。图2图示了终端装置10的配置。

通信单元14是通信接口，并且具有向其它设备发送数据和从其它设备接收数据的功能。通信单元14可以是具有无线通信功能的通信接口，或者具有有线通信功能的通信接口。例如，通信单元14支持一个或多个类型的通信系统，并且可以根据适合通信伙伴的通信系统(换言之，通信伙伴支持的通信系统)来与该通信伙伴通信。例如，通信系统包括红外线通信、可见光通信、Wi-Fi(注册商标)通信和近距离无线通信(例如，近场通信(NFC))。作为近距离无线通信，使用Felica(注册商标)、Bluetooth(注册商标)或者射频标识符(RFID)。同样，通信单元14可以支持第五代移动通信系统(5G)。不言自明的是，可以使用另一无线通信系统作为近距离无线通信。通信单元14可以根据通信伙伴或者根据周围环境来改变通信系统和/或频带。例如，可以使用2.4GHz或者5GHz作为频带。

UI单元16是用户界面单元，并且包括显示器和操作单元。显示器是诸如液晶显示器等显示设备。显示器可以是柔性显示器。操作单元是诸如触摸面板或者键盘等输入设备。UI单元16可以是同时用作显示器和操作单元的用户界面(例如，包括触摸显示器和将键盘电显示在显示器上的设备)。同样，UI单元16可以包括诸如麦克风等声音收集器和诸如扬声器等声音生成器。在这种情况下可以通过语音输入将信息输入至终端装置10，并且可以通过语音输出信息。

存储单元18是诸如硬盘等存储设备或者存储器(例如，SSD)。例如，在存储单元18中，存储各种类型的数据和各种类型的程序(软件)。例如，作为程序，存储操作系统(OS)和各种类型的应用程序(软件)。作为应用程序的示例，将一个或者多个操作助理程序(聊天机器人程序)存储在存储单元18中。还将功能管理信息存储在存储单元18中。另外，存储单元18可以存储表示设备12的地址的设备地址信息(例如，被分配给各个设备12的IP地址或者MAC地址)和表示服务器的地址的服务器地址信息(例如，被分配给服务器的IP地址或者MAC地址)。

在下文中，将详细描述功能管理信息。功能管理信息是用于管理通过使用设备12可实施的一种或者多个功能的信息。例如，事先生成功能管理信息并且将其存储在存储单元18中。功能可以是单个功能或者配合功能。

例如，功能管理信息是：表示在用于识别设备12的设备识别信息与示出使用设备12执行的功能的内容的功能数据之间的关联性的信息。例如，将用于单个功能的设备12的设备识别信息和表示该单个功能的内容的功能数据彼此关联并且登记在功能管理信息中。另外，将表示用于配合功能的多个设备12的组合的信息(这些设备12的设备识别信息的组合)和表示配合功能的内容的功能数据彼此关联并且登记在功能管理信息中。

例如，设备识别信息是名称、设备12的设备ID、表示设备12的类型的信息、设备12的型号、用于管理设备12的信息(例如，资产管理信息)、表示安装设备12的位置的信息(有关设备12的位置信息)、与设备12关联的图像(设备图像)、或者设备地址信息。例如，设备图像是表示设备12的外观图像。外观图像可以是表示设备12的外部(例如，设备12的外壳)的图像，可以是表示外壳打开并且可从外部看到内部的状态(例如，内部结构)的图像，或者可以是表示设备12被包装布盖住的状态的图像。设备图像可以是用诸如摄像头等图像拍摄设备对设备12进行拍摄生成的图像(示出外观的图像或者示出设备12的内部的图像)，或者可以是示意性地表示设备12的图像(例如，图标)。设备图像可以是静态图像并且可以是动态图像。可以将设备图像的数据存储在存储单元18中，或者可以将其存储在另一设备(诸如设备12或者服务器)中。

另外，功能管理信息可以包括：表示设备12的性能的信息和表示设备12的状态的信息。例如，性能是指诸如CPU等处理器的性能、存储器的容量和安装的软件。例如，表示状态的信息示出在操作期间、在停止期间、在故障期间、在睡眠模式期间或者在处理期间。

要注意，可以将功能管理信息存储在终端装置10之外的设备(诸如设备12或者服务器)中。在这种情况下，功能管理信息不需要存储在终端装置10中。

当针对配合功能使用软件时，将识别该软件的软件识别信息登记在功能管理信息中。例如，当通过协调在设备12与软件之间的配合来实现配合功能时，将设备12的设备识别信息和软件的软件识别信息的组合与表示配合功能的内容的功能数据彼此关联，并且将其登记在功能管理信息中。要注意，可以在不使用任何设备12的情况下实现配合功能。例如，当通过使用多个软件来实现配合功能时，可以将这多个软件的软件识别信息的组合与表示配合功能的内容的功能数据彼此关联，并且将其登记在功能管理信息中。同样，针对配合功能，可以使用文件(数据)或者物理对象。在这种情况下，将识别该文件或者对象的信息与表示配合功能的内容的功能数据关联地登记在功能管理信息中。例如，当通过使用设备12和文件来实现配合功能时，将设备12的设备识别信息和文件的识别信息的组合与表示配合功能的内容的功能数据彼此关联，并且将其登记在功能管理信息中。这也适用于通过使用软件和文件来实现配合功能的情况。按照这种方式，可以通过多个设备12的组合、多个软件的组合、设备12和软件的组合、设备12和文件或者对象的组合、或者软件和文件或者对象的组合，来实现配合功能。

当将新的设备12添加到信息处理系统中时，将设备12的任何单个功能和可通过协调设备12与其它设备12之间的配合来实施的配合功能登记在功能管理信息中。可以通过终端装置10来执行登记处理，可以通过设备12来执行登记处理，或者可以通过诸如服务器等设备来执行登记处理。

控制单元20被配置为控制终端装置10的各个组件的操作。例如，控制单元20执行：程序的运行、控制通信单元14执行的通信、控制通过使用UI单元16来通知信息(例如，信息的显示和语音输出)、接收通过使用UI单元16输入至终端装置10的信息、将信息写入存储单元18、以及从存储单元18读取信息。控制单元20包括处理确定单元22。

处理确定单元22分析在用户给出的指令的内容中包括的处理，并且确定要用来执行在该处理中包括的个别处理(individual processing)的设备12。例如，处理确定单元22参考存储单元18中存储的功能管理信息，识别具有用于执行个别处理的相应功能的设备12，并且将个别处理分配给设备12。处理确定单元22将表示各个个别处理的执行命令的信息发送至对应的设备12，并且设备12根据该执行命令来执行被分配给设备12的个别处理。例如，在安装在设备12中的操作助理(聊天机器人)与用户之间交换信息，因此向操作助理给出表示执行命令的信息。操作助理根据该执行命令控制安装有操作助理的设备12，从而使设备12执行个别处理。

在下文中，将参照图3详细描述设备12的配置。图3图示了设备12的配置的示例。要注意，图3图示了由设备12共同共享的配置，并且未图示各个设备12的具体配置。

通信单元24是通信接口，并且具有向其它设备发送数据和从其它设备接收数据的功能。通信单元24可以是具有无线通信功能的通信接口或者具有有线通信功能的通信接口。例如，通信单元24支持一个或多个类型的通信系统，并且可以根据适合通信伙伴的通信系统来与该通信伙伴通信。可以使用上述通信系统作为通信系统。通信单元24可以根据通信伙伴或者根据周围环境改变通信系统和/或频带。

UI单元26是用户界面单元，并且包括显示器和操作单元。显示器是诸如液晶显示器等显示设备。显示器可以是柔性显示器。操作单元是诸如触摸面板或者键盘等输入设备。UI单元26可以是同时用作显示器和操作单元的用户界面。同样，UI单元26可以包括诸如麦克风等声音收集器和诸如扬声器等声音生成器。在这种情况下可以通过语音输入将信息输入至设备12，并且可以通过语音输出信息。信息处理系统可以包括不具有UI单元26的设备12。例如，不向用户输出信息的感测设备不需要具有UI单元26。

执行单元28被配置为执行功能。例如，当设备12是图像形成设备时，执行单元28执行图像形成功能。当设备12是机器人时，执行单元28执行该机器人所拥有的功能(例如，移动功能或者升降功能)。当设备12是摄像头时，执行单元28执行图像拍摄功能。

存储单元30是诸如硬盘等存储设备或者存储器(例如，SSD)。例如，在存储单元30中，存储各种类型的数据和各种类型的程序(软件)。例如，作为程序，存储OS和各种类型的应用程序(软件)。作为应用程序的示例，将一个或者多个操作助理程序(聊天机器人程序)存储在存储单元30中。要注意，取决于设备12，可以不将OS和应用程序存储在存储单元30中。另外，存储单元30可以存储表示其它设备12中的各个设备的地址的设备地址信息(例如，被分配给其它设备12中的各个设备的IP地址或者MAC地址)、表示终端装置10中的各个终端装置的地址的终端地址信息(例如，被分配给终端装置10中的各个终端装置的IP地址或者MAC地址)和表示服务器中的各个服务器的地址的服务器地址信息(例如，被分配给服务器中的各个服务器的IP地址或者MAC地址)。同样，存储单元30存储功能管理信息。例如，与终端装置10中存储的功能管理信息相似，存储单元30中的功能管理信息包括单个功能和可使用设备12实施的配合功能。

功能管理信息可以由终端装置10和设备12共享。例如，当将一种新的功能添加到设备12时，将有关该功能的功能数据重新登记在设备12中存储的功能管理信息中，还将设备12的设备识别信息和功能数据发送至终端装置10和其它设备12并且将其登记在终端装置10和其它设备12中的每一个中存储的功能管理信息中。

控制单元32被配置为控制终端装置10的各个组件的操作。例如，控制单元32执行：程序的运行、控制通信单元24执行的通信、控制通过使用UI单元26来通知信息(例如，信息的显示和语音输出)、接收通过使用UI单元16输入至设备12的信息、执行单元28的控制、将信息写入存储单元30、以及从存储单元30读取信息。同样，控制单元32包括处理确定单元34。

与终端装置10中包括的处理确定单元22相似，处理确定单元34分析在用户给出的指令的内容中包括的处理，并且确定要用来执行在该处理中包括的个别处理的设备12。例如，处理确定单元34参考存储单元30中存储的功能管理信息，识别具有用于执行个别处理的相应功能的设备12，并且将个别处理分配给设备12。要注意，处理确定单元34可以由安装在设备12中的操作助理(聊天机器人)来实现。这也适用于控制单元32。

在示例性实施例中，通过终端装置10中包括的处理确定单元22或者设备12中包括的处理确定单元34中的一个处理确定单元将个别处理分配给设备12。不言自明的是，处理确定单元22、34可以配合来将个别处理分配给设备12。可替代地，可以将处理确定单元设置在诸如服务器等外部设备中，并且可以通过该处理确定单元将个别处理分配给各个设备12。

在下文中，将参照图4详细描述中继器的外观。图4是图示了中继器的透视图。作为示例，图4图示了设备12A作为中继器。设备12D、12G可以具有与设备12A的配置相同的配置或者可以具有与设备12A的配置不同的配置。

设备12A是所谓的智能扬声器，并且通过使用语音具有通信功能和协助功能。设备12A包括柱状主体36。主体36的侧表面设置有麦克风38、扬声器40、显示器42和发光部44、46。同样，主体36的上表面设置有传感器48。要注意，主体36的形状不限于图4所示的形状。只要中继器包括麦克风38和扬声器40，中继器可以具有任何形状。同样，麦克风38、扬声器40、显示器42、发光部44、46和传感器48可以设置在除了图4所示位置之外的位置处。

麦克风38用作声音收集设备，并且收集在设备12A周围的声音。例如，通过麦克风38来收集用户的语音。

当用户与安装在设备12A中的操作助理(聊天机器人)互动时，从扬声器40输出操作助理的发言的内容作为语音。同样，可以从扬声器40输出电视机的声音和收音机的声音。

显示器42是显示设备。显示器42可以是还用作操作单元的用户界面(例如，触摸面板)。

发光部44包括一个或者多个光源(例如，光源50、52和54)，并且根据设备12A中安装的操作助理的设置按照发射的方式发光。例如，可以向操作助理设置年龄、性别、职位和/或人物，作为设置项。操作助理回答用户并且根据设置项执行任务。例如，当将医生设置为职业设置项时，光源50、54发出蓝光，并且光源52发出黄光。当设置另一设置项时，发光部44根据该设置按照发射的方式发光。

发光部46包括一个或者多个光源(例如，光源56、58和60)，并且根据登录设备12A中安装的操作助理的用户账户按照发射的方式发光。例如，当用户登录设备12A中安装的操作助理时，光源56、60发出蓝光，并且光源58发出黄光。当另一用户登录操作助理时，发光部46根据该另一用户按照发射的方式发光。

发光部44、46可以设置在主体36中，不加以区分。例如，可以使用发光部44、46中包括的所有光源，来表示操作助理和用户账户的设置的内容。同样，可以通过发光模式(例如，闪烁方式、时长)来表示操作助理和用户账户的设置的内容。

例如，传感器48检测用户的手势。设备12A根据检测到的手势执行处理。例如，设备12A可以根据检测到的手势执行自己要执行的处理，或者可以控制另一设备12的操作。

在下文中，将参照图5和图6来详细描述功能管理信息。图5图示了单个功能管理表的示例，作为功能管理信息。图6图示了配合功能管理表的示例，作为功能管理信息。可以将单个功能管理表和配合功能管理表创建为分开的表格或者创建为单个表格。在下文中，首先将参照图5描述单个功能管理表，随后将参照图6描述配合功能管理表。

在图5所示的单个功能管理表中，作为示例，将设备12、用于识别软件或者对象的识别信息和表示单个功能的内容的功能数据彼此关联。可以使用设备12的所有或者部分，或者可以使用软件的特定功能。对象是应用了功能的文件或者物理对象。在设备12、软件和对象中的每一个可以通过下位概念级别的信息(例如，具体名称(例如，具体产品名称、商品名、型号、网站名、URL))来识别，或者可以通过上位概念级别的信息(例如，通用名称或者普通名称)来识别。在下文中，将描述单个功能。

作为设备12的多功能设备A具有包括打印功能、扫描功能、复印功能和传真功能的功能作为单个功能。作为设备12的PC(B)具有包括显示功能和通信功能的功能作为单个功能。文档创建软件C具有包括文档创建功能和文档显示功能的功能作为单个功能。文档创建功能是用于创建或者编辑文档文件的功能。文档显示功能是用于显示文档文件的功能。密码设置软件D具有向文件设置密码的功能作为单个功能。将文档文件E与作为单个功能的包括文档创建功能和文档显示功能的功能关联。换言之，将文档文件E与文档创建软件关联，并且将文档创建软件所拥有的功能应用到文档文件E。将会计文件F与作为单个功能的包括编辑功能和显示功能的功能关联。换言之，将会计文件F与会计软件关联，并且将会计软件所拥有的功能应用到会计文件F。

登记在单个功能管理表中的软件和文件可以存储在终端装置10中，可以存储在设备12中，或者可以存储在诸如服务器等设备中。图5所示的单个功能仅仅是示例，并且可以将除了上述单个功能之外的单个功能登记在单个功能管理表中。

在下文中，将参照图6描述配合功能管理表。在配合功能管理表中，作为示例，将表示设备12的组合的信息和表示配合功能的内容的功能数据彼此关联。在下文中，将描述配合功能。

协调在作为设备12的多功能设备A与PC(B)之间的配合，从而使得可以执行作为配合功能的“扫描传输功能”和“打印功能”。作为配合功能的扫描传输功能是：将利用多功能设备A扫描所生成的图像数据传输至PC(B)的功能。作为配合功能的打印功能提供将PC(B)中存储的数据(诸如文档文件或者图像文件)发送至多功能设备A并且通过多功能设备A打印数据的功能。

同样，协调在作为设备12的门打开和关闭传感器G与照明装置H之间的配合，从而使得可以执行作为配合功能的“当检测到门打开时打开照明装置的功能”。门打开和关闭传感器G是检测门的打开和关闭的传感器。该配合功能是当门打开和关闭传感器G检测到门打开时打开照明装置H的功能。如下面更具体地描述的，当门打开和关闭传感器G检测到门打开时，将表示该检测的结果的信息从门打开和关闭传感器G发送至照明装置H，并且打开照明装置H。可以直接将该信息从门打开和关闭传感器G发送至照明装置H，或者可以通过终端装置10或者中继器发送。可替代地，当终端装置10或者中继器接收到表示该检测的结果的信息时，可以通过将表示照明指令的控制信息发送至照明装置H来打开照明装置H。要注意，门打开和关闭传感器G和照明装置H中的每一个的设备地址信息存储在终端装置10和各个设备12中，并且通过使用这些设备地址信息来发送信息。

针对配合功能，使用软件，并且可以将表示软件的组合的信息和表示该配合功能的内容的功能数据彼此关联地登记在配合功能管理表中。例如，协调在文档创建软件C与密码设置软件D之间的配合，从而使得可以执行作为配合功能的“向文档文件设置密码的功能”。例如，该配合功能是：在文档创建软件C进行的编辑期间或者显示期间，通过文档设置软件D为文档文件设置密码的功能。同样，协调在文档创建软件C与数据发送软件J之间的配合，从而使得可以执行作为配合功能的“发送文档文件的功能”。该配合功能是通过数据发送软件J将文档文件发送至目的地的功能，该文档文件处于文档创建软件C进行的编辑期间或者显示期间。要注意，登记在配合功能管理表中的软件可以安装在终端装置10中，可以安装在设备12中，或者可以安装在诸如服务器等外部设备中。

针对配合功能来使用文件，并且可以将表示文件的组合的信息和表示该配合功能的内容的功能数据彼此关联地登记在配合功能管理表中。例如，将“将文档文件的内容添加到会计文件中的功能”登记为要应用到文档文件E和会计文件F的配合功能。要注意，登记在配合功能管理表中的软件可以安装在终端装置10中，可以安装在设备12中，或者可以安装在诸如服务器等外部设备中。

可以通过设备12与软件的组合来实现配合功能。例如，协调在多功能设备A与字符辨识软件K之间的配合，从而使得可以执行作为配合功能的“对扫描的文件进行字符辨识处理的功能”。该配合功能提供通过多功能设备A扫描文档并且通过字符辨识软件K向该扫描生成的图像进行字符辨识处理的功能。

可以使用设备12、软件和文件来实现配合功能。例如，将可使用扫描仪、字符辨识软件、表单创建软件、凭据和会计文件作为设备12来实施的配合功能登记在配合功能管理表中。配合功能提供“对凭据的扫描结果进行字符辨识处理并且将该结果(凭据的内容)添加至会计文件的功能”。如下面更具体地描述的，配合功能提供通过扫描仪扫描凭据，通过字符辨识软件对该扫描所生成的图像数据进行字符辨识处理，以从该图像数据提取字符串，并且通过表单创建软件将该字符串添加至会计文件的功能。

作为又一示例，将可使用Web浏览器、特定购物网站、表示购买指南的信息和作为目标(购物目标)的特定名牌包来实施的配合功能登记在配合功能管理表中。配合功能是“当Web浏览器启动并且特定名牌包存在于特定购物网站时购买该特定名牌包的功能”。如下面更具体地描述的，配合功能提供通过Web浏览器监测特定购物网站并且当特定名牌包存在于该购物网站时执行购买该名牌包的处理的功能。

图6所示的配合功能仅仅是示例，并且可以将除了上述配合功能之外的配合功能登记在配合功能管理表中。

要注意，执行功能的设备12可以由终端装置10控制，或者可以由诸如设备12A等中继器控制。当设备12由终端装置10控制时，终端装置10将用于控制设备12的操作的控制信号直接地或者经由中继器发送至设备12，从而控制设备12。当设备12由中继器控制时，中继器将控制信号发送至设备12，从而控制设备12。中继器可以将控制信号发送至另一中继器，并且该另一中继器可以控制设备12。可以将控制信号从中继器发送至可以控制设备12的服务器。

在示例性实施例中，由用户选择用于执行在用户给出的指令的内容中包括的处理(例如，配合功能)的多个设备12。然后，在用户与各个设备12中安装的各个聊天机器人(各个操作助理)之间交换信息，从而向各个聊天机器人给出指令的内容，根据该指令的内容来控制各个设备12，并且执行该处理。要注意，各个设备12中安装的聊天机器人对应用户的对话伙伴的示例。在下文中，将详细描述根据示例性实施例的处理。

将参照图7来描述用于选择多个设备12来执行配合功能的画面。图7图示了该画面的示例。终端装置10A的控制单元20根据用户的指令将画面62显示在UI单元16的显示器上。画面62是用于选择执行该处理的多个设备12。在画面62上选择设备12，因此将各个设备12中安装的聊天机器人选择为对话伙伴。例如，将信息处理系统中包括的设备12的列表显示在画面62上。例如，当用户在画面62上选择多功能设备A时，将多功能设备A中安装的聊天机器人选择为用户的对话伙伴。要注意，可以将各个设备12的性能和状态显示在画面62上。可替代地，替代设备12的列表或者与设备12的列表一起，可以显示设备12中安装的聊天机器人的列表。

要注意，可以在不显示画面62的情况下通过语音指定设备12或者聊天机器人，来选择设备12和作为对话伙伴的聊天机器人。

在示例性实施例中，由用户选择多个设备12(聊天机器人)，并且该多个聊天机器人与用户交换信息。要注意，在用户与聊天机器人之间交换信息期间，用户可以改变作为对话伙伴的聊天机器人(设备12)。

在下文中，将参照图8来描述用户与多个聊天机器人互动的画面。图8图示了该画面的示例。当用选择多个设备12(多个聊天机器人)时，终端装置10A的控制单元20将画面64显示在UI单元16的显示器上，并且将各种类型的信息显示在画面64上。画面64是供用户与多个聊天机器人互动的用户界面(对话用户界面)。换言之，画面64是用于在聊天机器人与用户之间交换消息的用户界面。在画面64上，显示有用户输入至终端装置10A的信息(例如，字符串和图像)以及表示各个聊天机器人的发言的内容的信息(例如，字符串、图像)。用户与聊天机器人之间的对话是所谓的聊天格式的对话(具体地，用户和聊天机器人交替地发言以构成对话的对话格式)。例如，将用户与聊天机器人中的每一个的发言的内容与发言的时间一起按照时间的先后顺序显示在画面64上。

在用户的显示区域上，显示有与该用户关联的图像66(例如，图标或者照片)。在聊天机器人的显示区域上，显示有图像(例如，图标)，该图像与在用户选择的设备12上安装的聊天机器人关联。替代图像或者与图像一起，可以显示用于识别用户的字符串和用于识别聊天机器人的字符串。

此处，假设用户将多功能设备A1、A2选择为用于执行处理的设备12。在这种情况下，将多功能设备A1中安装的聊天机器人A1和多功能设备A2中安装的聊天机器人A2选择为用户的对话伙伴，并且控制单元20将与聊天机器人A1关联的图像68以及与聊天机器人B1关联的图像70显示在画面64上。要注意，多功能设备A1对应第一设备的示例，并且多功能设备A2对应第二设备的示例。另外，聊天机器人A1对应第一聊天机器人的示例，并且聊天机器人A2对应第二聊天机器人的示例。要注意，用户可以选择三个或者更多个设备12。在这种情况下，所选择的三个或者更多个聊天机器人用作用户的对话伙伴。

例如，终端装置10A向多功能设备A1、A2发送表示连接请求的信息，从而在终端装置10与多功能设备A1、A2之间以及在多功能设备A1、A2之间建立通信。另外，终端装置10A向多功能设备A1、A2发送信息，该信息表示多功能设备A1、A2已经被选择为用于该处理的设备12。由于该信息的发送，聊天机器人A1认识到安装有聊天机器人A1的多功能设备A1已经被选择为用于该处理的设备12，伙伴设备12是多功能设备A2，并且操作终端装置10A的用户是对话伙伴。这也适用于聊天机器人A2。另外，在多功能设备A1和A2之间发送和接收信息，从而使聊天机器人A1、A2分别辨识出伙伴聊天机器人。

如上所示，将聊天机器人A1、A2视为用户的对话伙伴，并且保持在用户与聊天机器人A1、A2之间的对话。将用户的发言的内容从终端装置10A发送至多功能设备A1、A2。将聊天机器人A1的发言的内容从多功能设备A1发送至终端装置10A和多功能设备A2。将聊天机器人A2的发言的内容从多功能设备A2发送至终端装置10A和多功能设备A1。按照这种方式，将聊天机器人A1、A2中每一个的发言的内容显示在画面64上，并且聊天机器人A1、A2分别分析用户的发言的内容和另一聊天机器人的发言的内容以便能够生成答案。

例如，首先，将诸如“我能为您效劳吗？”等发言内容(utterance content)72作为聊天机器人A1、A2的发言内容与图像68、70关联地显示在画面64上。响应于此，当用户将用于多功能设备A1、A2的指令的内容输入终端装置10A作为发言内容74时，控制单元20将发言内容74与图像66关联地显示在画面64上。此处，用户给出以下处理的执行作为指令的内容：“将特定文件双面打印20份，每面两页且长边装订，将该文件另外单面打印10份，长边装订并且打孔”。

终端装置10A的处理确定单元22分析表示指令内容的发言内容，并且将指令内容中包括的处理划分为一个或者多个个别处理模块(独立处理模块)。处理确定单元22然后参考单个功能管理表和配合功能管理表，识别具有执行各个个别处理所需的功能的一个或者多个设备12，并且将各个个别处理分配给设备12中的一个对应设备。要注意，对于上面提到的分析，使用诸如自然语言处理等处理。例如，当多功能设备A1不具有制孔功能(打孔功能)而多功能设备A2具有打孔功能时，处理确定单元22将不涉及打孔处理的个别处理分配给多功能设备A1，并且将涉及打孔处理的个别处理分配给多功能设备A2。因此，将用于生成20份的处理分配给多功能设备A1，并且将用于生成10份的处理分配给多功能设备A2。要注意，即使在多功能设备A2能够执行不涉及打孔处理的个别处理(用于生成20份的处理)时，也将不涉及打孔处理的个别处理分配给多功能设备A1，因为通过执行分布的处理事先完成了该处理。

当如上所述将个别处理分配给多功能设备A1、A2时，处理确定单元22将表示个别处理的内容的信息发送至多功能设备A1、A2。在上面的示例中，处理确定单元22将表示用于生成20份的处理的信息发送至多功能设备A1，并且将表示用于生成10份的处理的信息发送至多功能设备A2。

已经接收到表示个别处理的内容的信息的聊天机器人A1、A2分担该个别处理。具体地，聊天机器人A1负责可由多功能设备A1执行的个别处理，并且聊天机器人A2负责可由多功能设备A2执行的个别处理。具体地，聊天机器人A1控制被分配给多功能设备A1的个别处理的执行，并且聊天机器人A2控制被分配给多功能设备A2的个别处理的执行。

已经接收到表示个别处理的内容的信息的聊天机器人A1、A2向终端装置10A发送答复，该答复用于确认被分配给多功能设备A1、A2的个别处理。将答复的内容作为发言内容76、78显示在画面64上。例如，发言内容76是用于确认被分配给多功能设备A1的个别处理的消息，并且与图像68关联地显示在画面64上。发言内容78是用于确认被分配给多功能设备A2的个别处理的消息，并且与图像70关联地显示在画面64上。要注意，表示发言内容76、78的信息对应表示指令内容的应对结果的信息的示例。

当用户通过发言内容80批准执行配合功能时，终端装置10A将表示该批准的信息发送至多功能设备A1、A2。在接收到该信息之后，聊天机器人A1、A2控制被分配给它们的个别处理的执行。具体地，聊天机器人A1控制多功能设备A1，从而使多功能设备A1执行被分配给多功能设备A1的个别处理。相似地，聊天机器人A2控制多功能设备A2，从而使多功能设备A2执行被分配给多功能设备A2的个别处理。要注意，即使用户未给出批准，多功能设备A1、A2也可以执行被分配给它们的个别处理。

当用户读取聊天机器人的发言的内容时(例如，当用户在画面64上指定表示聊天机器人的发言内容的信息时)，可以将表示该发言内容已经被用户读取的信息(例如，表示已读的信息)与发言内容关联地显示。同样，当聊天机器人辨识出用户的发言的内容时，可以将表示该发言内容已经被聊天机器人读取的信息(例如，表示已读的信息)与发言内容关联地显示。

在上述示例中，通过终端装置10A的处理确定单元22将处理分配给多功能设备A1、A2。然而，可以通过多功能设备A1、A2的相应处理确定单元34将处理分配给多功能设备A1、A2。可以通过各个设备12中安装的聊天机器人(操作助理)来实现各个处理确定单元34执行的处理。在下文将，将描述该处理。

首先，终端装置10A将表示发言内容74的信息发送至多功能设备A1、A2。聊天机器人A1、A2分别分析发言内容74，并且识别用户给出的处理的内容。针对该分析，例如，使用诸如自然语言处理等处理。

聊天机器人A1(处理确定单元34)参考单个功能管理表和配合功能管理表，并且识别在用户给出的处理中所包括的且可通过安装有聊天机器人A1的多功能设备A1所拥有的功能来执行的个别处理。这也适用于聊天机器人A2。另外，聊天机器人A1向聊天机器人A2发送信息，该信息表示可由多功能设备A1执行的个别处理。这也适用于聊天机器人A2。按照这种方式，聊天机器人A1、A2交换表示可由安装有聊天机器人A1、A2的多功能设备执行的个别处理的信息。按照这种方式，聊天机器人A1、A2可以辨识安装有伙伴聊天机器人的多功能设备可执行的个别处理和不可执行的个别处理。在图8所示的示例中，聊天机器人A1、A2可以认识到多功能设备A2具有用于执行在用户给出的处理的内容中所包括的所有处理的功能，并且多功能设备A1不具有打孔的功能。因此，聊天机器人A1、A2(处理确定单元34)将涉及打孔处理的处理(用于生成10份的处理)分配给多功能设备A2，并且将不涉及打孔处理的处理(用于生成20份的处理)分配给多功能设备A1。当按照这种方式将处理分配给多功能设备A1、A2时，聊天机器人A1、A2将表示示出了该处理的发言内容76、78的信息发送至终端装置10A。将发言内容76、78显示在画面64上。当用户给出执行的批准时，聊天机器人A1、A2控制多功能设备A1、A2，从而使多功能设备A1、A2执行被分配给多功能设备A1、A2的相应个别处理。

根据示例性实施例，设置了用于向多个对话伙伴(例如，多个聊天机器人)给出指令的用户界面。按照这种方式，与个别地向各个对话伙伴给出指令的情况相比，减少了给出指令(例如，工作步骤)所需的时间和精力。

在上面的示例中，通过参考单个功能管理表和配合功能管理表来识别可由多功能设备A1、A2执行的个别处理，并且将各个个别处理分配给多功能设备A1、A2。然而，可以通过不同的方法将个别处理分配给多功能设备A1、A2。

例如，多功能设备A1存储仅列出了多功能设备A1所拥有的功能的功能管理表。不将多功能设备A1之外的设备12所拥有的功能登记在功能管理表中。相似地，多功能设备A2存储仅列出了多功能设备A2所拥有的功能的功能管理表。

多功能设备A1中安装的聊天机器人A1(操作助理A1)参考多功能设备A1中存储的功能管理表，从而确定在用户给出的指令的内容中包括的各个个别处理是否都可由多功能设备A1执行。换言之，聊天机器人A1确定多功能设备A1是否具有用于实现各个个别处理的功能。这也适用于多功能设备A2。聊天机器人A1、A2发送和接收表示确定结果的信息，从而从在指令的内容中包括的多种个别处理中，辨识可由伙伴多功能设备执行的个别处理和不可由伙伴多功能设备执行的个别处理。换言之，聊天机器人A1、A2能够辨识哪种个别处理可由伙伴多功能设备执行以及哪种个别处理不可由伙伴多功能设备执行。当使用图8所示的示例进行说明时，从在指令内容中包括的多种个别处理中，聊天机器人A1认识到通过多功能设备A1可进行双面打印，每面多页且长边装订，但是不可进行打孔处理，并且将表示这些情况的信息发送至聊天机器人A2。同样，从多种个别处理中，聊天机器人A2认识到通过多功能设备A2可进行单面打印，长边装订和打孔处理，并且还认识到可进行两面上都有多页的打印，并且将表示这些情况的信息发送至聊天机器人A1。按照这种方式，聊天机器人A1、A2能够辨识可由伙伴多功能设备执行的个别处理以及不可由伙伴多功能设备执行的个别处理。聊天机器人A1、A2然后基于该识别而将各个个别处理分配给多功能设备A1、A2。虽然多功能设备A1不能执行打孔处理，但是多功能设备A2能够执行打孔处理，所以聊天机器人A1、A2将包括打孔处理的个别处理(用于生成10份的处理)分配给多功能设备A2。虽然不涉及打孔处理的个别处理(用于生成20份的处理)可由多功能设备A1、A2中的任何一个执行，但是聊天机器人A1、A2将不涉及打孔处理的处理分配给多功能设备A1，因为通过在多个多功能设备中分布个别处理并且执行分布的处理事先完成了该处理。

聊天机器人A1、A2将表示该分配的结果的信息发送至终端装置10A。终端装置10A的控制单元20将该信息作为聊天机器人A1、A2的发言内容76、78显示在画面64上。还通过这种处理，将指令内容中包括的各个个别处理分配给各个设备12。

要注意，另一用户可以参与用户与聊天机器人A1、A2之间的对话。在这种情况下，将与该另一用户关联的图像显示在画面64上，并且将该另一用户的发言的内容与图像关联地显示在画面64上。

另外，用户可以通过语音或者手势来向聊天机器人给出消息。在这种情况下，不需要显示画面64。即使在使用语音或者手势时，也可以实现画面64，并且也可以将语音的内容或者手势的内容作为字符串显示在画面64上。

同样，第一设备可以执行第一个别处理，并且第二设备可以基于第一个别处理的结果来执行第二个别处理。例如，当执行多色加印时，多功能设备A1可以执行第一次打印(例如，用第一种颜色打印)，并且多功能设备A2可以对该第一次打印得到的打印对象执行第二次打印(例如，用第二种颜色打印)。在这种情况下，处理确定单元22或者聊天机器人A1、A2将第一次打印或者第二次打印分配给多功能设备A1、A2，以分别使多功能设备A1、A2执行多色加印。例如，可以通过多功能设备A1、A2的性能或者状态来确定打印的顺序。在如图8所示的示例中，多功能设备A1可以打印30份，并且多功能设备A2可以对这30份中的10份执行制孔(打孔处理)。要注意，这也适用于使用三个或者更多个设备12的情况。

当向设备12提出中断处理请求时，安装在该设备12中的聊天机器人可以处理该请求。例如，聊天机器人可以使设备12首先执行中断处理请求并且执行其它处理，或者可以使设备12根据给出执行指令的顺序来执行处理，而不给予中断处理请求更高的优先权。

同样，具有不同设置的多个聊天机器人可以安装在设备12中，并且可以通过所述多个聊天机器人来形成在比喻意义上的多个个性聊天机器人。例如，具有不同职业、年龄和性别设置的多个聊天机器人可以安装在设备12中。各个聊天机器人分析用户的发言的内容，并且表示各个聊天机器人对发言内容的答复的信息或者表示大多数答复的信息可以发送至终端装置10A，作为表示聊天机器人的发言的内容的信息。将发言的内容显示在终端装置10A上。例如，各个聊天机器人分析在用户给出的指令的内容中包括的处理，并且可以将呈现给用户供其选择要用来执行个别处理的设备12(诸如，分别由聊天机器人单独地确定的设备12或者由大多数聊天机器人确定的设备12)的信息发送至终端装置10A。将该信息作为聊天机器人的发言内容显示在终端装置10A上。通过用户选择的设备12来执行处理。不言自明的是，各个聊天机器人可以确定要用来执行个别处理的设备，并且，即使用户未选择设备12，也可以使所确定的设备12来执行处理。

要注意，聊天机器人A1、A2可以安装在终端装置10A或者服务器中，并且可以作为多功能设备A1、A2的聊天机器人。

同样，处理确定单元22或者聊天机器人A1、A2可以根据在用户给出的指令的内容中包括的处理的完成时间，来将一个或多个个别处理分配给多功能设备A1、A2。聊天机器人A1负责被分配给安装有聊天机器人A1的多功能设备A1的个别处理的控制，并且使多功能设备A1执行该个别处理。这也适用于聊天机器人A2。

例如，处理确定单元22或者聊天机器人A1、A2检查多功能设备A1、A2的性能和状态，并且将个别处理分配给多功能设备A1、A2从而事先完成在指令的内容中包括的处理。例如，处理确定单元22或者聊天机器人A1、A2基于多功能设备A1、A2的性能(诸如处理器的性能、存储器的容量)和状态以及个别处理的内容，来计算(预计)当多功能设备A1、A2中的每一个执行个别处理时个别处理的完成时间。处理确定单元22或者聊天机器人A1、A2将个别处理分配给多功能设备A1、A2，从而使个别处理的完成时间达到最小值。按照这种方式，可以事先完成在指令的内容中包括的处理。同样，不需要将个别处理分配给在其它处理的操作期间的设备12、在故障期间的设备12、以及电源关闭的设备12。

作为另一示例，处理确定单元22或者聊天机器人A1、A2可以将个别处理分配给多功能设备A1、A2，从而使聊天机器人A1所负责的个别处理的数量(换言之，被分配给多功能设备A1的个别处理的数量)与聊天机器人A2所负责的个别处理的数量(换言之，被分配给多功能设备A2的个别处理的数量)之间的差异变得更小。按照这种方式，可以减少多功能设备A1、A2的负载。如果多功能设备A1、A2具有相同的性能，则缩短了处理的完成时间。同样，可以基于多功能设备A1、A2的性能和状态，来将加权处理(weight processing)应用到多功能设备A1、A2。例如，具有更高性能的多功能设备可以执行更多的个别处理。同样，被打开的但却未执行处理的多功能设备可以比正在执行处理的多功能设备执行更多的个别处理。

同样，处理确定单元22或者聊天机器人A1、A2可以根据多功能设备A1、A2的性能将一个或者多个个别处理分配给多功能设备A1、A2。例如，即使多功能设备A1、A2具有相同的功能，当多功能设备A1的功能的性能高于多功能设备A2的功能的性能时，也将该功能实现的个别处理分配给多功能设备A1。例如，当个别处理为打印时，将该个别处理分配给具有更高分辨率的多功能设备。可替代地，可以基于处理器的时钟频率、多功能设备中安装的存储器的容量和图像形成能力，来将个别处理分配给多功能设备。例如，可以事先完成在指令的内容中包括的处理，或者可以考虑到设备12的性能来生成具有更高质量的最终产品(实现的产品)。可替代地，可以将个别处理分配给过去对个别处理具有成功执行的追踪记录的多功能设备或者具有更大数量的这种记录的多功能设备。不言自明的是，可以考虑到多功能设备A1、A2的状态来将个别处理分配给多功能设备。

同样，处理确定单元22或者聊天机器人A1、A2可以根据期望通过多功能设备A1得到的处理结果的质量和期望通过多功能设备A2得到的处理结果的质量，来将一个或者多个个别处理分配给多功能设备A1、A2。例如，该质量由成品(例如，打印的材料)的准确度或者错误的发生频率来限定。例如，即使多功能设备A1、A2具有相同的功能，当期望通过多功能设备A1使用该功能得到的成品的准确度高于期望通过多功能设备A2使用该功能得到的成品的准确度时，也将通过该功能实现的个别处理分配给多功能设备A1。同样，当多功能设备A1的故障的发生频率低于多功能设备A2的故障的发生频率时，将个别处理分配给多功能设备A1。例如，将故障管理为记录，并且基于该记录来计算故障的发生频率。通过像这样将处理结果的质量纳入考虑，来获得具有更高质量的处理结果。

同样，分配了个别处理的设备12中安装的聊天机器人可以基于设备12的性能和状态以及个别处理的内容，来预计该设备所负责的个别处理(被分配给设备12的个别处理)的完成时间。将表示预计完成时间的信息从设备12发送至终端装置10A，作为表示聊天机器人的发言内容的信息。终端装置10的控制单元20将表示预计完成时间的信息显示在UI单元16的显示器上，作为聊天机器人的发言内容。

例如，聊天机器人A1预测被分配给多功能设备A1的个别处理的完成所需的时间(第一预计完成时间)，并且将表示该第一预计完成时间的信息发送至终端装置10A。相似地，聊天机器人A2预测被分配给多功能设备A2的个别处理的完成所需的时间(第二预计完成时间)，并且将表示该第二预计完成时间的信息发送至终端装置10A。终端装置10A的控制单元20将表示第一预计完成时间的信息和表示第二预计完成时间的信息显示在UI单元16的显示器上。

例如，如图9所示，控制单元20将表示第一预计完成时间的信息作为聊天机器人A1的发言内容82与图像68关联地显示在画面64上，并且将表示第二预计完成时间的信息作为聊天机器人A2的发言内容84与图像70关联地显示在画面64上。在图9所示的示例中，将第一预计完成时间和第二预计完成时间分开显示在画面64上。按照这种方式，可以将完成个别处理所需的预计时间分开呈现给用户。

同样，当完成被分配给多功能设备A1的个别处理时，聊天机器人A1将表示个别处理的完成的信息发送至终端装置10A。终端装置10A的控制单元20将该信息作为聊天机器人A1的发言内容86与图像68关联地显示在画面64上。相似地，当完成被分配给多功能设备A2的个别处理时，终端装置10A的控制单元20将该信息作为聊天机器人A2的发言内容88与图像70关联地显示在画面64上。要注意，发言内容86、88所表示的信息对应于表示指令内容的应对结果的信息的示例。

同样，当第一预计完成时间与第二预计完成时间之间的差异小于或者等于阈值时，和终端装置10的控制单元20可以将第一预计完成时间和第二预计完成时间作为同一消息显示在画面64上。例如，如图10所示，控制单元20将表示预计完成时间的信息作为聊天机器人A1、A2的发言内容90与图像68、70关联地显示在画面64上。那么，显示的预计完成时间可以是第一预计完成时间或者第二预计完成时间，可以是第一预计完成时间和第二预计完成时间的平均值，或者可以是较早或者较晚的预计完成时间。这样，可以单独地显示预计完成时间。按照这种方式，使用户可以通过参考预计完成时间来辨识在指令的内容中包括的处理的预计完成时间。

当完成被分配给多功能设备A1、A2的个别处理时，控制单元20将表示完成的信息作为聊天机器人A1、A2的发言内容92与图像68、70关联地显示在画面64上。

同样，当完成聊天机器人A1所负责的个别处理(被分配给多功能设备A1的个别处理)，完成聊天机器人A2所负责的个别处理(被分配给多功能设备A2的个别处理)，并且将该完成通知给用户时，如果用户在预定时间内不针对该通知执行检查工作，那么控制单元20可以控制用于提醒用户执行检查工作的信息的通知。简而言之，控制单元20提醒用户执行检查工作。

例如，假设完成了被分配给各个多功能设备A1、A2的个别处理。在这种情况下，如图11所示，将表示被分配给多功能设备A1的个别处理的完成的信息作为聊天机器人A1的发言内容94与图像68关联地显示在画面64上。相似地，将表示被分配给多功能设备A2的个别处理的完成的信息作为聊天机器人A2的发言内容96与图像70关联地显示在画面64上。

如果用户在从完成最后一个个别处理(例如，被分配给多功能设备A2的个别处理)时或者发言内容96被显示在画面64上时起预定时间内未执行检查工作，那么控制单元20将用于提醒用户执行检查工作的信息作为聊天机器人A1、A2的发言内容98与图像68、70关联地显示在画面64上。

例如，检查工作是针对聊天机器人A1、A2的发言的内容的已读操作(例如，用户在画面64上指定聊天机器人A1、A2的发言的内容的操作)或者专门针对在指令的内容中包括的处理的检查工作。例如，当在指令的内容中包括的处理是打印时，具体的检查工作是，用户从多功能设备取出打印的材料。例如，当打印的材料仍然在多功能设备A1或者多功能设备A2的输出托盘中并且传感器检测到了该打印的材料时，聊天机器人A1、A2确定用户尚未执行检查工作，并且将表示该确定的结果的信息发送至终端装置10A。在接收到该信息之后，终端装置10A的控制单元20将用于提醒用户执行检查工作的信息显示在画面64上。例如，针对各种处理来限定要执行的检查工作，并且将表示各个处理的检查工作的信息存储在终端装置10和设备12中。控制单元20或者聊天机器人A1、A2参考该信息，从而确定是否已经执行了与用户指定的处理对应的检查工作。当用户在预定时间内未执行检查工作时，控制单元20将用于提醒用户执行检查工作的信息显示在画面64上。像这样显示用于提醒用户执行检查工作的信息，使得可以避免或者防止用户忘记检查工作。

可替代地，控制单元20定期(例如，每隔5分钟)将用于提醒用户执行检查工作的信息显示在画面64上，直到执行了检查工作为止。当执行了检查工作时，控制单元20停止显示该信息。

与用于提醒用户执行检查工作的信息一起或者替代用于提醒用户执行检查工作的信息，可以输出提醒用户执行检查工作的消息，作为来自终端装置10A的语音。这也适用于聊天机器人A1、A2的其它消息。同样，用户可以通过语音向终端装置10A输入消息，该消息表示已经执行了检查工作。

在图8所示的示例中，使用相同类型的多个设备12(例如，多功能设备A1、A2)来执行处理。然而，可以通过不同类型的多个设备12来执行处理。在下文中，将参照图12使用具体的示例来进行描述。图12图示了画面64。此处，假设用户选择多功能设备A1和机器人B1作为用于执行在指令的内容中包括的处理的设备12。聊天机器人B1(操作助理B1)安装在机器人B1中。

终端装置10A的控制单元20将与聊天机器人A1关联的图像68和与聊天机器人B1关联的图像100显示在画面64上，聊天机器人A1和聊天机器人B1是用户的对话伙伴。与图8所示的示例相似，将诸如“我能为您效劳吗？”等发言内容102与图像68、100关联地显示在画面64上。当用户响应于该显示通过字符输入或者语音输入将指令的内容输入至终端装置10A时，控制单元20将表示指令的内容的发言内容104与图像66关联地显示在画面64上。终端装置10A将表示指令的内容的信息发送至多功能设备A1和机器人B1。

聊天机器人A1(处理确定单元34)参考功能管理表，例如，该功能管理表仅列出了多功能设备A1所拥有的功能，并且被存储在多功能设备A1中，从而，从在指令的内容中包括的多个个别处理中识别由多功能设备A1所拥有的功能可执行的个别处理和不可执行的个别处理。聊天机器人A1然后向机器人B1发送信息，该信息表示由多功能设备A1所拥有的功能可执行的个别处理和不可执行的个别处理。按照这种方式，使作为聊天机器人A1的伙伴的聊天机器人B1可以辨识出由多功能设备A1所拥有的功能可执行的个别处理和不可执行的个别处理。相似地，聊天机器人B1(处理确定单元34)参考功能管理表，例如，该功能管理表仅列出了机器人B1所拥有的功能并且被存储在机器人B1中，从而，从多个个别处理中识别由机器人B1所拥有的功能可执行的个别处理和不可执行的个别处理(识别机器人B1所拥有的功能和机器人B1不拥有的功能)。聊天机器人B1然后向多功能设备A1发送信息，该信息表示由机器人B1所拥有的功能可执行的个别处理和不可执行的个别处理。按照这种方式，使作为聊天机器人B1的伙伴的聊天机器人A1可以辨识出由机器人B1所拥有的功能可执行的个别处理和不可执行的个别处理。

例如，给出以下处理(配合功能)的执行，作为用户给出的指令的内容：“将特定文件双面打印20份，每面两页且长边装订，并且将这20份打印的材料送至用户(终端装置10A)。”

假设多功能设备A1具有双面打印且每面两页的功能，但不具有移动和运输物体的功能。另一方面，假设机器人B1不具有打印的功能，但具有移动和运输物体的功能。在这种情况下，聊天机器人A1认识到可以通过多功能设备A1来执行打印，但是无法将打印的材料运输到用户。另外，聊天机器人B1认识到无法执行打印，但可以将打印的材料运输到用户。如上所述，在多功能设备A1与机器人B1之间发送和接收表示可执行的个别处理和不可执行的个别处理的信息，从而使聊天机器人A1和B1可以共享这两个聊天机器人已经认识到的事情。聊天机器人A1、B1然后将上述打印处理分配给多功能设备A1，并且将用于将打印的材料运输到用户(终端装置10A)的上述处理分配给机器人B1。要注意，例如，可以通过使用诸如全球定位系统(GPS)等技术来识别多功能设备A1、机器人B1和终端装置10A中的每一个的位置。因此，可以通过使用聊天机器人A1、B1和GPS技术来识别多功能设备A1、机器人B1和终端装置10A中的每一个的位置。

聊天机器人A1、B1向终端装置10A发送信息，该信息表示被分配给相应设备12的个别处理。终端装置10A的控制单元20基于从聊天机器人A1发来的信息，将表示被分配给多功能设备A1的个别处理的内容的信息作为聊天机器人A1的发言内容106与图像68关联地显示在画面64上。相似地，将表示被分配给机器人B1的个别处理的内容的信息作为聊天机器人A1的发言内容108与图像100关联地显示在画面64上。

当用户通过发言内容100指令处理的执行时，多功能设备A1和机器人B1执行被分配给它们的个别处理。

如上所示，即使当向不同类型的多个设备12给出指令时，各个设备12中安装的聊天机器人也可以识别出可由安装有该聊天机器人的设备12执行的个别处理，以识别出可由其它设备12执行的个别处理并且将个别处理分配给设备12。

要注意，虽然通过聊天机器人A1、B1(处理确定单元34)分配了个别处理，但也可以通过终端装置10A的处理确定单元22来分配个别处理。

在示例性实施例中，用户给出包括可由用户选择的多个设备12执行的处理的指令的内容。当用户给出包括不可由该多个设备12执行的处理的指令的内容时，控制单元20可以通知(显示或者输出语音)用户指令的内容不可执行。将参照图13描述该处理。图13图示了画面64。此处，假设用户选择多功能设备A1和摄像头C1作为用于执行在指令的内容中包括的处理的设备12。聊天机器人C1(操作助理C1)安装在摄像头C1中。

终端装置10A的控制单元20将与聊天机器人A1关联的图像68和与聊天机器人C1关联的图像112显示在画面64上，聊天机器人A1和聊天机器人C1是用户的对话伙伴。与图8所示的示例相似，将诸如“我能为您效劳吗？”等发言内容114与图像68、112关联地显示在画面64上。当用户响应于该显示通过字符输入或者语音输入将指令的内容输入至终端装置10A时，控制单元20将表示指令的内容的发言内容116与图像66关联地显示在画面64上。终端装置10A将表示指令的内容的信息发送至多功能设备A1和摄像头C1。

此处，用户给出包括请求“我想吃拉面，请给我做一碗吧”的指令的内容。当多功能设备A1和摄像头C1不具有用于实施该请求的功能时(例如，当用于实施该请求的功能未登记在各个设备12的功能管理表中时)，聊天机器人A1、C1向终端装置10A发送信息，该信息表示无法实施在指令的内容中包括的请求。终端装置10A的控制单元20将表示无法实施该请求的信息作为聊天机器人A1、C1的发言内容118与图像68、112关联地显示在画面64上。当向终端装置10A输入表示用户理解了所显示的信息的发言内容120时，完成一系列对话。

(修改例)

在下文中，将对修改例进行描述。在本修改例中，显示针对设备12的组合的候选列表，该候选是基于设备12之间的兼容性来限定的。用户从该列表中选择设备12，通过所选的设备来执行在指令的内容中包括的处理。在下文中，将对修改例进行详细描述。

图14图示了根据本修改例的兼容性管理表。在根据本修改例的兼容性管理表中，将表示设备12的组合的信息与表示兼容性水平的信息彼此关联。例如，根据可由设备12的组合实施的配合功能的数量、可由该组合执行的处理的内容、由该组合实现的性能水平、当通过该组合来执行处理时生成的产品(实现的产品)的质量水平、各个设备12的状态、各个设备12的制造商、和/或各个设备12的标准，来预定义兼容性。例如，将更高的兼容性水平与具有更好兼容性的组合关联。将兼容性管理表的数据存储在终端装置10和各个设备12中。

图15图示了用于选择设备12的画面的示例。终端装置10A的控制单元20根据用户的指令将画面122显示在UI单元16的显示器上，该画面122是用于选择执行处理的多个设备12。控制单元20将设备12的组合列表显示在画面122上。在这种情况下，控制单元20基于兼容性管理表，以优先权为基础，显示具有更好兼容性的组合和具有差兼容性的组合。例如，控制单元20将列表中具有更好兼容性的组合显示在具有差兼容性的组合上方。例如，多功能设备A和PC(B)的组合的兼容性优于多功能设备A和机器人C的组合的兼容性，因此将多功能设备A和PC(B)的组合显示在多功能设备A和机器人C的组合上方。这是用户能够容易地选择具有较好兼容性的设备12的组合。要注意，控制单元20可以将各个设备12的性能和状态与各种组合关联地显示在画面122上。

用户从列表中选择设备12的组合，通过该组合来执行在指令的内容中包括的处理。在选择之后的处理与根据上述示例性实施例的处理相同。

可替代地，控制单元20可以将设备12的组合的候选显示在画面122上，该候选是基于在设备12之间的兼容性来限定的。例如，控制单元20可以将具有高于或者等于阈值的兼容性水平的设备12的组合的候选显示在画面122上，并且可以不将具有低于阈值的兼容性水平的设备12的组合的候选显示在画面122上。这是用户能够容易地选择具有较高兼容性的设备12的组合。

作为另一示例，当用户选择设备12时，可以向用户推荐与设备12具有更好兼容性的其它设备12。将参照图16来描述该处理。图16图示了画面64。例如，当用户操作终端装置10A选择多功能设备A1时，终端装置10A向多功能设备A1发送信息，该信息表示已经选择了多功能设备A1。同样，将表示已经选择了多功能设备A1的发言内容124与图像66关联地显示在画面64上。

多功能设备A1中安装的聊天机器人A1(控制单元32)参考多功能设备A1中存储的兼容性管理表，从而识别与多功能设备A1具有更好兼容性的另一设备12。例如，聊天机器人A1识别与多功能设备A1具有高于或者等于阈值的兼容性水平的另一设备12，并且将该另一设备12的设备识别信息发送至终端装置10A。终端装置10A的控制单元20将如下信息作为聊天机器人A1的发言内容126与图像28关联地显示在画面64上，该信息包括该另一设备12的设备识别信息。例如，当多功能设备A1与PC(B)之间的兼容性水平高于或者等于阈值时，将PC(B)作为与多功能设备A1具有更好兼容性的设备12推荐给用户。当识别到与多功能设备A1具有高于或者等于阈值的兼容性水平的多个设备12时，将该多个设备12推荐给用户。不言自明的是，可以推荐具有在离最高水平预定范围内的兼容性水平的各个设备12。当未识别到与多功能设备A1具有高于或者等于阈值的兼容性水平的设备12时，不推荐与多功能设备A1具有更好兼容性的设备12。

作为又一示例，可以将执行在用户给出的指令中包括的处理所需的设备推荐(引导)给用户。将参照图17来描述该处理。图17图示了画面64。此处，假设用户选择多功能设备A1、A2作为用于执行在指令的内容中包括的处理的设备12。将与聊天机器人A1关联的图像68和与聊天机器人A2关联的图像70显示在画面64上，将用于收听用户的请求的发言内容128与图像68、70关联地显示在画面64上。

例如，假设给出以下配合功能的执行，作为用户给出的指令的内容：“打印特定文件并且将打印的材料送至用户”。将表示指令的内容的发言内容130与图像66关联地显示在画面64上。

聊天机器人A1、A2(处理确定单元34)或者终端装置10A的处理确定单元22确定多功能设备A1、A2是否具有用于实现在指令的内容中包括的各个个别处理的功能。假设多功能设备A1、A2具有打印功能，但不具有将打印的材料运输至用户(终端装置10A)的功能。在这种情况下，聊天机器人A1、A2或者处理确定单元22参考单个功能管理表以识别具有运输打印的材料的功能的设备12。例如，当机器人B1具有运输打印的材料的功能时(例如，当将运输功能作为机器人B1的其中一种功能登记在单个功能管理表中时)，聊天机器人A1、A2或者处理确定单元22推荐用户使用机器人B1。在这种情况下，将用于推荐使用机器人B1的信息作为发言内容132与图像68、70关联地显示在画面64上。按照这种方式，当用户未选择在用户给出的指令的内容中包括的处理所需的设备12时，可以将设备12推荐给用户。

聊天机器人A1、A2或者处理确定单元22可以选择机器人B1作为该处理所需的设备12。例如，聊天机器人A1、A2或者处理确定单元22将表示连接请求的信息发送至机器人B1，并且指令聊天机器人B1(机器人B1中安装的聊天机器人)参与和用户的对话。这是用户能够与聊天机器人B1建立对话，并且指令包括机器人B1的设备组执行处理。

在示例性实施例和修改例中，将聊天机器人(操作助理)与设备12中的每一个关联。然而，可以将聊天机器人(操作助理)与设备12的各个组件关联。例如，可以将用于控制功能设备的主体的功能的聊天机器人与主体关联，并且可以将用于控制多功能设备的后处理器的功能的聊天机器人与后处理器关联。这也适用于其它设备12。例如，当用户选择多功能设备的主体时，选择与主体关联的聊天机器人作为用户的对话伙伴。当在聊天机器人与用户之间保持对话时，用户给出包括利用主体的功能的处理的指令的内容，并且用户给出用于执行该处理的指令，该处理由主体执行。在画面64上，显示与主体关联的聊天机器人的图像，并且显示聊天机器人的发言的内容。同样，当用户选择多个组件(例如，多功能设备的主体和PC的显示器)时，与各个组件关联的聊天机器人用作用户的对话伙伴。例如，与多功能设备的主体关联的聊天机器人以及与PC的显示器关联的聊天机器人用作用户的对话伙伴。同样，与示例性实施例和修改例相似，当使用与组件关联的聊天机器人时，用户向一个或者多个组件给出指令的内容，并且通过该一个或者多个组件来执行在指令的内容中包括的处理。

在示例性实施例和修改例中，将聊天机器人与设备12关联。然而，可以将聊天机器人与软件关联。例如，可以将聊天机器人与一个或者多个软件关联，并且用户可以与聊天机器人建立对话以指令与聊天机器人关联的该一个或者多个软件执行处理。同样在这种情况下，同与设备12关联的聊天机器人的对话相似，用户在画面64上同与软件关联的聊天机器人建立对话以向该软件给出指令的内容。

作为示例，通过硬件和软件之间的配合来实施终端装置10和设备12中的每一个。具体地，终端装置10和设备12中的每一个包括一个或者多个处理器，诸如未图示的CPU。通过该一个或者多个处理器读取和执行在未图示的存储设备中存储的程序来实施终端装置10和设备12的各个组件的功能。通过诸如CD或者DVD等记录介质或者通过诸如网络等通信路径将程序存储在存储设备中。作为另一示例，例如，可以通过诸如处理器、电子电路和专用集成电路(ASIC)等硬件资源来实施终端装置10和设备12的各个组件。针对该实施，可以利用诸如存储器等设备。作为又一示例，可以通过数字信号处理器(DSP)或者现场可编程门阵列(FPGA)来实施终端装置10和设备12的各个组件。

出于图示和说明之目的，已经呈现了对本发明的示例性实施例的前述说明。并不旨在力求详尽或者将本公开局限于所公开的精确形式。显然，本领域的技术人员会想到许多修改和变化。选择和描述实施例是为了最好地阐释本公开及其实际应用的原理，从而使本领域的技术人员能够理解本公开用于适合于预期的特定用途的各种实施例和各种修改。本公开的范围旨在由所附权利要求书及其等同物限定。

Claims (23)

1.一种信息处理装置，所述信息处理装置包括：

控制单元，当用户在对话式用户界面上对多个对话伙伴给出指令时，所述控制单元控制所述指令的应对结果的通知。

2.根据权利要求1所述的信息处理装置，

其中，所述多个对话伙伴包括对所述用户的发言进行发言的第一对话伙伴和对所述用户的发言进行发言的第二对话伙伴，所述第一对话伙伴与执行所述指令中所包括的处理的第一设备关联，所述第二对话伙伴与执行所述处理的第二设备关联。

3.根据权利要求2所述的信息处理装置，

其中，当所述用户在与所述第一对话伙伴关联的第一图像和与所述第二对话伙伴关联的第二图像显示在所述用户界面的状态下给出所述指令时，所述控制单元控制所述应对结果的通知。

4.根据权利要求2或3所述的信息处理装置，

其中，所述控制单元还将设备候选列表显示在所述用户界面中，并且所述第一设备和所述第二设备是所述用户从所述列表中选择的设备。

5.根据权利要求2或3所述的信息处理装置，

其中，所述控制单元还将设备组合候选列表显示在所述用户界面中，所述候选是基于所述设备之间的兼容性来限定的，并且

所述第一设备和所述第二设备是所述用户从所述列表中选择的设备组合。

6.根据权利要求2至5中任一项所述的信息处理装置，

其中，所述指令包括一个或多个处理，所述一个或多个处理能够通过所述第一设备与所述第二设备之间的配合来执行。

7.根据权利要求2至5中任一项所述的信息处理装置，

其中，所述指令包括一个或多个处理，并且

所述第一对话伙伴和所述第二对话伙伴分担所述指令中所包括的所述一个或多个处理。

8.根据权利要求7所述的信息处理装置，

其中，所述第一对话伙伴控制所述指令中的能够由所述第一设备执行的处理的执行，并且

所述第二对话伙伴控制所述指令中的能够由所述第二设备执行的处理的执行。

9.根据权利要求7或8所述的信息处理装置，

其中，所述第一对话伙伴和所述第二对话伙伴分担所述指令中所包括的所述一个或多个处理，以便减少完成所述指令中所包括的所述一个或多个处理所需的时间。

10.根据权利要求7或8所述的信息处理装置，

其中，所述第一对话伙伴和所述第二对话伙伴分担所述指令中所包括的所述一个或多个处理，以便减少所述第一对话伙伴所负责的处理的数量与所述第二对话伙伴所负责的处理的数量之间的差异。

11.根据权利要求7或8所述的信息处理装置，

其中，所述第一对话伙伴和所述第二对话伙伴根据所述第一设备的性能和所述第二设备的性能，来分担所述指令中所包括的所述一个或多个处理。

12.根据权利要求7或8所述的信息处理装置，

其中，所述第一对话伙伴和所述第二对话伙伴根据所述第一设备得到的处理结果的质量和所述第二设备得到的处理结果的质量，来分担所述指令中所包括的所述一个或多个处理。

13.根据权利要求7至12中任一项所述的信息处理装置，

其中，所述控制单元还控制所述第一对话伙伴所负责的处理的第一预计完成时间的通知以及所述第二对话伙伴所负责的处理的第二预计完成时间的通知。

14.根据权利要求13所述的信息处理装置，

其中，所述控制单元分别通知所述第一预计完成时间和所述第二预计完成时间。

15.根据权利要求13所述的信息处理装置，

其中，当所述第一预计完成时间与所述第二预计完成时间之间的差异小于或者等于阈值时，所述控制单元在同一消息中通知所述第一预计完成时间与所述第二预计完成时间。

16.根据权利要求7至15中任一项所述的信息处理装置，

其中，所述控制单元还控制所述第一对话伙伴所负责的处理的完成的通知以及所述第二对话伙伴所负责的处理的完成的通知。

17.根据权利要求16所述的信息处理装置，

其中，在从所述用户被通知所述第一对话伙伴所负责的处理的完成和所述第二对话伙伴所负责的处理的完成时起预定时间内所述用户未执行检查工作的情况下，所述控制单元还控制用于提醒所述用户执行检查工作的信息的通知。

18.根据权利要求2至17中任一项所述的信息处理装置，

其中，所述第一设备和所述第二设备是相同类型的设备或者不同类型的设备。

19.根据权利要求2至18中任一项所述的信息处理装置，

其中，所述第一设备与进行了不同设置的多个第一对话伙伴关联。

20.根据权利要求2至19中任一项所述的信息处理装置，

其中，当所述用户给出了不能由所述第一设备和所述第二设备执行的指令时，所述控制单元还控制所述指令不能执行的通知。

21.根据权利要求2至20中任一项所述的信息处理装置，

其中，所述第一对话伙伴是自动对所述用户的发言进行发言的第一聊天机器人，并且

所述第二对话伙伴是自动对所述用户的发言进行发言的第二聊天机器人。

22.根据权利要求1至21中任一项所述的信息处理装置，

其中，所述控制单元还通知具有执行所述指令的功能的设备的导引。

23.一种存储程序的非暂时性计算机可读介质，所述程序使计算机执行处理，所述处理包括如下步骤：

当用户在对话式用户界面上向多个对话伙伴给出指令时，控制所述指令的应对结果的通知。