CN109895092A - 信息处理装置、信息处理方法以及计算机可读介质 - Google Patents

Abstract

本发明为一种信息处理装置、信息处理方法与存储程序的计算机可读介质，提供执行服务所需的信息。当在供用户与对话对方进行对话的接口中，将包含表示服务的内容的信息和被用于服务的结构的信息的指示内容发送至对话对方时，对跟与指示内容对应的处理相关的信息进行通知。

Description

信息处理装置、信息处理方法以及计算机可读介质

技术领域

本发明涉及一种信息处理装置、信息处理方法以及存储程序(program)的计算机可读介 质。

背景技术

专利文献1揭示了一种技术，与一个以上的机器人程序(bot)之间建立通信，通过所述 一个以上的机器人程序来与设备(device)进行相互作用。

现有技术文献

专利文献

专利文献1：日本专利特表2009-522687号公报

发明内容

[发明所要解决的问题]

本发明的目的在于提供执行服务所需的信息。

[解决问题的技术手段]

技术方案1所述的发明是一种信息处理装置，其包括：控制部件，当在供用户(user)与 对话对方进行对话的接口(interface)中，将包含表示服务(service)的内容的信息和被用于 所述服务的结构的信息的指示内容发送至所述对话对方时，对跟与所述指示内容对应的处理 相关的信息的通知进行控制。

技术方案2所述的发明是根据技术方案1所述的信息处理装置，其中，所述对话对方构 成为，为了提供所述服务而发出具有阶层结构的问询，所述指示内容中包含用户针对问询的 回答。

技术方案3所述的发明是根据技术方案2所述的信息处理装置，其中，所述对话对方构 成为，以上位阶层至下位阶层的顺序来发出属于各阶层的问询，来作为具有所述阶层结构的 问询。

技术方案4所述的发明是根据技术方案3所述的信息处理装置，其中，所述对话对方构 成为，根据用户针对问询的回答，来发出属于同一阶层的问询、或属于下位阶层的问询。

技术方案5所述的发明是根据技术方案1至技术方案4中任一技术方案所述的信息处理 装置，其中，作为与所述处理相关的信息，所述控制部件对与用户针对预定数量的问询的回 答相应的信息的通知进行控制。

技术方案6所述的发明是根据技术方案1至技术方案5中任一技术方案所述的信息处理 装置，其中，所述指示内容中包含具有阶层结构的回答。

技术方案7所述的发明是根据技术方案6所述的信息处理装置，其中，所述控制部件在 属于构成所述指示内容的多个阶层中的预定数量的阶层的信息被发送至所述对话对方时，对 与根据被发送至所述对话对方的信息而确定的所述处理相关的信息的通知进行控制。

技术方案8所述的发明是根据技术方案6或技术方案7所述的信息处理装置，其中，当 属于相同阶层的多个信息作为所述指示内容被连续发送至所述对话对方时，使用后来发送的 信息取代先发送的信息来作为所述指示内容中所含的信息。

技术方案9所述的发明是根据技术方案6至技术方案8中任一技术方案所述的信息处理 装置，其中，当属于下位阶层的信息被发送至所述对话对方后，属于上位阶层的信息被发送 至所述对话对方时，给予所述服务的变更指示。

技术方案10所述的发明是根据技术方案6至技术方案9中任一技术方案所述的信息处理 装置，其中，所述控制部件使所述指示内容中所含的各信息依照向所述对话对方的发送顺序 而显示于所述接口，并将插入所述各信息的排列中途的新的信息作为所述指示内容中所含的 信息而发送至所述对话对方。

技术方案11所述的发明是根据技术方案6至技术方案9中任一技术方案所述的信息处理 装置，其中，所述控制部件在所述指示内容中所含的信息被删除而输入有新的信息时，将所 述新的信息作为所述指示内容中所含的信息而发送至所述对话对方。

技术方案12所述的发明是根据技术方案1至技术方案11中任一技术方案所述的信息处 理装置，其中，与所述处理相关的信息是表示用于执行所述处理的功能的候补的信息。

技术方案13所述的发明是根据技术方案12所述的信息处理装置，其中，所述控制部件 在格式互不相同的多个数据作为所述指示内容中所含的信息被发送至所述对话对方时，对能 够使用所述多个数据来执行的功能的通知进行控制，以作为与所述处理相关的信息的通知的 控制。

技术方案14所述的发明是根据技术方案1至技术方案13中任一技术方案所述的信息处 理装置，其中，所述控制部件对跟与在限制时间内发送至所述对话对方的所述指示内容相应 的所述处理相关的信息的通知进行控制。

技术方案15所述的发明是一种存储程序的计算机可读介质，所述程序使计算机(computer)执行信息处理，所述信息处理包括：当在供用户与对话对方进行对话的接口中，将包含表示服务的内容的信息和被用于所述服务的结构的信息的指示内容发送至所述对话对 方时，对跟与所述指示内容对应的处理相关的信息的通知进行控制。

[发明的效果]

根据技术方案1、技术方案15所述的发明，提供执行服务所需的信息。

根据技术方案2、技术方案3、技术方案4、技术方案6、技术方案7所述的发明，容易确定与指示内容对应的处理。

根据技术方案5所述的发明，基于通过预定数量的问询所获得的信息来确定与指示内容 对应的处理。

根据技术方案8、技术方案9、技术方案10、技术方案11所述的发明，能够通过简便的 操作来对指示内容进行编辑。

根据技术方案12所述的发明，提供执行服务所需的功能的信息。

根据技术方案13所述的发明，提供与数据格式的组合相应的功能的信息。

根据技术方案14所述的发明，基于在限制时间内发送至对话对方的信息来确定与指示内 容对应的处理。

附图说明

图1是表示本发明的实施方式的机器系统的结构的框图。

图2是表示终端装置的结构的框图。

图3是表示图像形成装置的结构的框图。

图4是表示服务器的结构的框图。

图5是表示图像形成装置的外观的示意图。

图6是表示机器功能管理表的图。

图7是表示联动功能管理表的图。

图8是表示部分管理表的图。

图9是表示部分管理表的图。

图10是表示联动功能管理表的图。

图11是表示联动功能管理表的图。

图12是表示联动功能管理表的图。

图13是表示联动功能管理表的图。

图14是表示画面的图。

图15是表示画面的图。

图16是表示画面的图。

图17是表示画面的图。

图18是表示画面的图。

图19A及图19B是表示机器图像的图。

图20A及图20B是表示机器图像的图。

图21是表示画面的图。

图22是表示画面的图。

图23是表示画面的图。

图24是表示画面的图。

图25是表示画面的图。

图26是表示利用多个机器时的动作的序列图。

[符号的说明]

10：终端装置

12、14：机器

16：服务器

18、30、40：通信部

20、36：UI部

22：摄像机

24、34、42：存储部

26、38、44：控制部

28：确定部

32：图像形成部

46：标记

48：画面

48a、48b：显示区域

50、52：图像

54、56、58、60、62、64、66、68、70、72、74、76、78、80、82、84、86、88、90、 92、94、96、98、100、102、104、106、112、114、116、118、120、122、124、126、128、 130、132、134、136、138、140、142、144：发言内容

108、110：机器图像

108a、108b、108c、110a、110b：部分图像

N：通信路径

S01～S10：步骤

具体实施方式

参照图1来说明本发明的实施方式的作为信息处理系统的机器系统。图1中表示了实施 方式的机器系统的一例。

作为一例，本实施方式的机器系统包含终端装置10、多个机器(例如机器12、14)、以 及作为外部装置的一例的服务器(server)16。图1所示的示例中，终端装置10、机器12、机器14及服务器16具备经由网络(network)等通信路径N而彼此通信的功能。当然，终端 装置10、机器12、机器14及服务器16也可不利用通信路径N，而分别经由不同的通信路径 来与其他装置进行通信。图1所示的示例中，在机器系统中包含两个机器(机器12、14)，但 也可在机器系统中包含一个机器或三个以上的机器。而且，在机器系统中也可包含多个终端 装置10或多个服务器16。另外，机器12、机器14或服务器16也可不包含在机器系统中。

终端装置10为个人计算机(Personal Computer，PC)、平板(tablet)PC、智能电话(smartphone)、移动电话等装置，具有与其他装置之间收发数据的功能。而且，终端装置10也可为可穿戴式(wearable)终端(手表型终端、腕带(wristband)型终端、眼镜型终端、戒指型终端、隐形眼镜(contact lens)型终端、体内植入型终端、可听式(hearable)终端等)。

机器12、14为具有功能的装置，例如为具备图像形成功能的图像形成装置、PC、平板 PC、智能电话、移动电话、机器人(robot)(人型机器人、人以外的动物型机器人、除这些以 外的机器人等)、投影机(projector)、液晶显示器(display)等显示装置、记录装置、再生装 置、摄像机(camera)等摄像装置、冰箱、电饭煲、微波炉、咖啡机(coffee maker)、吸尘器、 洗衣机、空调机、照明机器、时钟、监控摄像机、汽车、二轮车、飞机(例如无人飞机(所谓的遥控无人驾驶飞机(drone)))、游戏机、各种传感(sensing)机器(例如温度传感器(sensor)、 湿度传感器、电压传感器、电流传感器等)等装置。机器12、14既可为对用户输出一输出(output) 的机器(例如图像形成装置或PC等)，也可为不对用户输出一输出的机器(例如传感机器)。 而且，既可以是执行后述的联动功能的多个机器中的所有机器为对用户输出一输出的机器， 也可以是一部分机器为对用户输出一输出的机器，而其他机器为不对用户输出一输出的机器， 还可以是所有机器为不对用户输出一输出的机器。机器12、14的概念范畴也可包含全盘机器。 例如，信息机器、影像机器、音响机器、其他机器均可包含在本实施方式的机器的范畴内。 而且，机器12、14具有与其他装置之间收发数据的功能。

服务器16是进行数据的管理、用户信息的管理、机器12、14的管理等的装置。而且，服务器16具有与其他装置之间收发数据的功能。

在终端装置10中，使用具有与用户进行对话的功能的对话对方。所述对话对方例如具有 下述功能，即，接受用户的发言，对所述发言内容进行分析，由此来制作针对此发言的回答 等回应并提供给用户。例如，用户的发言是通过文字输入、语音输入、图像输入等来进行， 回答等回应是通过文字输出、语音输出、图像输出等来进行。对话对方例如是通过执行程序 而实现，此程序例如被安装在终端装置10中。当然，也可为：与对话对方相关的程序被安装 于服务器16等外部装置，对话对方的功能是从服务器16等外部装置提供给终端装置10。

所述对话对方例如包含通过人工智能(Artificial Intelligence，AI)而实现的自动应答AI。 自动应答AI具有下述功能，即，对用户的发言内容进行分析，并将针对所述发言内容的回答 等回应提供给用户。自动应答AI也可为所谓的聊天机器人(chatbot)(活用人工智能的自动 会话程序)。自动应答AI也可具有下述能力，即，具有基于人工智能的学习功能，通过所述 学习功能来进行接近人的判断。而且，也可利用神经网络型深度学习(deeplearning)，还可利 用局部强化学习领域的强化学习等，除此以外，还可利用遗传算法(algorithm)、聚类(cluster) 分析、自组织映射(self-organizing map)、集成(ensemble)学习等。当然，也可利用除这些 以外的与人工智能相关的技术。

而且，自动应答AI也可利用国际互联网(Internet)等来检索信息，分析此检索结果，并 使此分析结果反映到回应中。而且，自动应答AI也可管理用户对各种应用程序的利用历史、 用户对终端装置10的操作历史、用户对机器12、14的利用历史等。而且，自动应答AI也可 通过与保存在其他装置中的自动应答AI之间进行通信，而从其他自动应答AI获取信息。自 动应答AI也可使自身所管理的信息或所获取的信息反映到回应中。

通过利用自动应答AI，一边由用户与自动应答AI进行对话，一边进行表示用户的指示内 容的信息的输入、或跟与所述指示内容对应的处理相关的信息的通知等。表示指示内容的信 息中包含：表示用户所请求的服务的内容的信息；以及被用于所述服务的结构的信息(用户 所指定的结构的信息)。结构例如为机器、功能(包含通过机器等硬件(hardware)而实现的 功能、和通过软件(software)(程序)而实现的功能)、文件(file)(数据)、其他、环境(例 如场所或人等)等。作为跟与指示内容对应的处理相关的信息，例如，对表示执行与指示内 容对应的处理所需的结构的候补(以下称作“结构候补”)的信息进行通知。例如，作为表示 结构候补的信息，对表示执行所述处理所需的功能或机器等的信息进行通知。对于服务或结 构候补，将在后文进行详细说明。另外，所述通知既可由终端装置10来进行，也可由服务器 16等外部装置来进行。

以下，参照图2来详细说明终端装置10的结构。

通信部18为通信接口，具有向其他装置发送数据的功能、以及从其他装置接收数据的功 能。通信部18既可为具有无线通信功能的通信接口，也可为具有有线通信功能的通信接口。 通信部18例如也可支持一种或多种通信方式，依照适合于通信对方的通信方式(即，通信对 方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、 Wi-Fi(注册商标)通信、接近式无线通信(例如近场通信(Near FieldCommunication，NFC) 等)等。作为接近式无线通信，使用Felica(注册商标)、蓝牙(Bluetooth)(注册商标)、射 频识别(Radio Frequency Identifier，RFID)等。当然，也可使用其他方式的无线通信作为接 近式无线通信。通信部18例如既可根据通信对方来切换通信方式或频带，也可根据周围环境 来切换通信方式或频带。

UI部20为用户接口部，包含显示部与操作部。显示部例如为液晶显示器等显示装置。操 作部例如为触控面板(touch panel)或键盘(keyboard)等输入装置。当然，也可为兼作显示 部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。 而且，UI部20也可包含麦克风(microphone)等拾音部或扬声器(speaker)等声音产生部。 此时，既可通过语音输入来将信息输入至终端装置10，也可通过语音来发出信息。

在UI部20的显示部上，例如也可显示由摄像机所拍摄的图像、或者与被识别为用于服 务的机器(例如单独利用的机器或联动对象机器)的机器关联的机器图像、与功能关联的功 能图像、与文件关联的文件图像等。机器图像既可为由摄像机所拍摄的表示机器的图像(静 态图像或动态图像)，也可为示意性地表示所述机器的图像(例如图标(icon))。示意性地表 示的图像的数据例如既可由终端装置10的控制部26来制作，也可预先存储在终端装置10的 存储部24中，还可存储在服务器16中并从服务器16提供给终端装置10，还可存储在其他装 置中并从所述其他装置提供给终端装置10。功能图像例如是表示功能的图标等图像。文件图 像例如是表示文件的图标等。

作为拍摄部件的摄像机22通过对拍摄对象进行拍摄而生成图像数据(例如静态图像数据 或动态图像数据)。图像例如被显示于UI部20的显示部。显示于显示部的图像也可由用户进 行操作。另外，由外部的摄像机所拍摄的图像数据经由通信路径被发送至终端装置10，此图 像也可显示于UI部20的显示部。此时，此图像也可由用户进行操作。

存储部24是硬盘(hard disk)或存储器(memory)(例如固态硬盘(Solid StateDrive， SSD)等)等存储装置。在存储部24中，例如存储有结构管理信息、各种数据、各种程序(例 如操作系统(Operating System，OS)、用于实现自动应答AI的程序(软件(software))、各 种应用程序(application program)(应用软件)等)、表示各机器的地址(address)的信息(机 器地址信息)、表示服务器16的地址的信息(服务器地址信息)、与所识别的机器相关的信息、 与所识别的联动对象机器相关的信息、与所识别的机器所具有的功能相关的信息、与联动功 能相关的信息等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。 另外，用于实现自动应答AI的程序也可存储在服务器16等外部装置中，通过由外部装置来 执行所述程序自身，从而将自动应答AI的功能从外部装置提供给终端装置10。此时，用于实 现自动应答AI的程序也可不存储在存储部24中。

以下，对结构管理信息进行详细说明。结构管理信息是用于对可使用结构(例如机器、 功能、文件等)来执行的功能(包含可使用单独的结构来执行的单独功能、和可使用多个结 构来执行的联动功能)进行管理的信息。作为一例，结构管理信息包含机器功能管理信息与 联动功能管理信息。如后所述，结构管理信息并不限定于此例。

机器功能管理信息是用于对机器所具有的功能进行管理的信息，例如是表示用于识别机 器的设备识别信息(机器识别信息)与功能信息的对应的信息，所述功能信息表示所述机器 所具有的功能。设备识别信息例如是机器ID、机器名称、表示机器种类的信息、机器的型号、 用于管理机器的信息(例如资产管理编号等)、表示设置机器的位置的信息(机器的位置信息)、 与机器关联的机器图像、机器的地址信息等。机器图像例如是表示机器的外观图像。外观图 像既可为表示机器外侧(例如机器的框体)的图像，也可为表示打开框体而从外部看到内部 的状态(例如内部结构)的图像，还可为表示由包装用片材(sheet)等覆盖机器的状态的图 像。机器图像既可为通过拍摄机器而生成的图像(表示机器外侧的图像或表示内部的图像等)， 也可为模仿机器的图像(例如图标等)。功能信息例如为功能ID或功能名称等。例如，当机 器12为图像形成装置且所述图像形成装置具有打印(print)功能、扫描(scan)功能及复印 (copy)功能时，作为一例，所述图像形成装置的设备识别信息对应有表示打印功能的功能 信息、表示扫描功能的功能信息、及表示复印功能的功能信息。通过参照机器功能管理信息， 来确定(识别)各机器所具有的功能。

根据机器功能管理信息而受到管理的机器例如为包含在机器系统中的机器(例如机器12、 14)。当然，未包含在机器系统中的机器也可根据机器功能管理信息而受到管理。例如，终端 装置10也可获取与未包含在机器系统中的新的机器相关的信息(包含设备识别信息与功能信 息的信息)，且新登记到机器功能管理信息中。与机器相关的信息例如既可通过利用国际互联 网(Internet)等来获取，也可由管理者等予以输入。而且，终端装置10也可在任意时机(timing)、 定期地或者在由管理者等所指定的时机等，更新机器功能管理信息。由此，有时会将表示在 更新前机器不具有而在更新后机器将具有的功能的功能信息登记到机器功能管理信息中。同 样，有时将表示在更新前机器具有而在更新后机器不具有的功能的功能信息从机器功能管理 信息中予以删除，或者登记为不可用信息。更新用的信息例如既可通过利用国际互联网等而 获取，也可由管理者等予以输入。当然，终端装置10自身也可不获取与机器相关的信息来执 行机器功能管理信息的生成或更新，而是由服务器16等外部装置获取与机器相关的信息来执 行机器功能管理信息的生成或更新。此时，由外部装置所生成或更新的机器功能管理信息是 从外部装置发送至终端装置10并存储在存储部24中。

联动功能管理信息是用于对通过使多个功能联动而执行的联动功能进行管理的信息。通 过使多个功能联动，来执行一个或多个联动功能。联动功能例如既可为通过使一个机器(例 如机器12)所具有的多个功能联动而可执行的功能，也可为通过使多个机器(例如机器12、 14)所具有的多个功能联动而可执行的功能。而且，发出操作指示的终端装置10也可被用作 联动对象机器，终端装置10所具有的功能也可被用作联动功能的一部分。

联动功能也可为不利用作为硬件(hardware)的机器而执行的功能。例如，联动功能也可 为通过使多个软件联动而执行的功能。当然，联动功能也可为通过使作为硬件的机器所具有 的功能、与通过软件来实现的功能联动而执行的功能。

联动功能管理信息例如是表示：表示被利用于联动功能的各功能的功能信息的组合、与 表示所述联动功能的联动功能信息的对应的信息。联动功能信息例如是联动功能ID或联动功 能名称等。当单独的功能受到更新时，伴随此更新，联动功能管理信息也得到更新。由此， 存在下述情况：在更新前不能彼此联动的多个功能的联动功能在更新后变得可用，或者与此 相反地，在更新前可用的联动功能在更新后变得不可用。表示在更新后变得可用的联动功能 的联动功能信息登记在联动功能管理信息中，而表示在更新后变得不可用的联动功能的联动 功能信息将从联动功能管理信息中删除，或者登记为不可用的信息。联动功能管理信息的更 新既可由终端装置10来进行，也可由服务器16等外部装置来进行。当由外部装置执行了联 动功能管理信息的更新时，经更新的联动功能管理信息从外部装置发送至终端装置10而存储 到存储部24中。

当使多个机器联动时，例如，联动功能管理信息是用于对利用多个机器所具有的多个功 能的联动功能进行管理的信息，是表示设备识别信息的组合与联动功能信息的对应的信息， 所述设备识别信息用于识别用于联动功能的各机器。而且，在使具有多个输出功能的机器(为 对用户输出一输出的机器且为具有多个输出功能的机器)与不具有输出功能的传感机器(不 对用户输出一输出的机器)联动的情况下，在联动功能管理信息中，也可包含下述信息，所 述信息是表示特定的传感机器与所述多个输出功能中的特定输出功能的组合。借此，可从多 个输出功能中，确定与特定的传感机器组合使用的输出功能。如上所述，当机器功能管理信 息受到更新时，伴随此更新，联动功能管理信息也得到更新。由此，存在下述情况：在更新 前不能彼此联动的多个机器的联动功能在更新后变得可用，或者与此相反地，在更新前可用 的联动功能在更新后变得不可用。

联动功能既可为通过使互不相同的多个功能联动而可执行的功能，也可为通过使同一功 能联动而可执行的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功 能既可为通过利用联动对象机器所具有的功能中的相同功能而可利用的功能，也可为通过使 互不相同的功能组合而可利用的功能。例如，通过使具有打印功能的机器(打印机(printer)) 与具有扫描功能的机器(扫描仪(scanner))联动，而实现作为联动功能的复印功能。即，通 过使打印功能与扫描功能联动而实现复印功能。此时，作为联动功能的复印功能、与打印功 能及扫描功能的组合相对应。在联动功能管理信息中，例如表示作为联动功能的复印功能的 联动功能信息、与用于对具有打印功能的机器进行识别的设备识别信息及用于对具有扫描功 能的机器进行识别的设备识别信息的组合相对应。

在联动功能的概念范畴内，也可包含通过使多个功能或多个机器联动而新功能的执行成 为可能的合体功能。例如，也可通过将多个显示器予以组合，实现作为合体功能的扩展显示 功能。作为另一例，也可通过将电视机(television)与录像机(recorder)加以组合，实现作 为合体功能的录像功能。所述录像功能也可为对显示于电视机的图像进行录像的功能。而且， 也可通过将多个摄像机予以组合，实现作为合体功能的拍摄区域扩展功能。所述扩展功能例 如是将各摄像机的拍摄区域拼接而拍摄的功能。而且，也可通过将电话与翻译机或翻译软件 予以组合，实现作为合体功能的翻译通话功能(对经由电话的会话进行翻译的功能)。如此， 在联动功能的概念范畴内，包含通过使彼此同一种类的机器或功能联动而可实现的功能、或 者通过使彼此不同种类的机器或功能联动而可实现的功能。

对于结构管理信息(机器功能管理信息或联动功能管理信息等)，将在后文进行详细说明。

控制部26控制终端装置10的各部的动作。控制部26例如进行通信部18的通信控制、 UI部20的显示部上的信息显示的控制等。而且，控制部26包含确定部28。

确定部28具有下述功能，即，接受表示由用户所输入的指示内容的信息(包含表示用户 所请求的服务的内容的信息、及表示用户所指定的结构的信息)，并确定与所述指示内容对应 的处理、或执行所述处理所需的结构候补。确定部28例如通过参照所述结构管理信息，从而 确定与指示内容对应的处理或结构候补(例如功能或机器等)。确定部28例如是通过自动应 答AI而实现。当然，确定部28也可通过其他程序等而实现，而非通过自动应答AI来实现。

一般而言，根据服务、机器、功能、软件、具体的动作内容及动作的对象物，来形成阶 层结构。例如，服务属于最上位的阶层(最上位的概念)。执行服务所需的机器属于较服务为 下位的阶层(下位的概念)。由机器所执行的功能、或在机器上动作的软件属于较机器为下位 的阶层。使用机器或软件等来进行的具体的动作内容属于较功能为下位的阶层。所述动作的 对象物属于较动作内容为下位的阶层。动作的对象物例如为文件。

例如，由用户所输入的指示内容具有阶层结构，确定部28通过分析具有此阶层的指示内 容，从而确定与所述指示内容对应的处理、或所述处理所需的结构候补。例如，表示指示内 容的信息中，作为属于最上位阶层的信息，包含表示用户所请求的服务的信息，进而，作为 属于下位阶层的信息，包含表示作为处理对象文件的信息。

而且，自动应答AI将具有阶层结构的问询通知给用户，并获取用户针对所述问询的回答 来作为用户的指示内容，以获得阶层性的指示内容。确定部28对如此般获取的指示内容进行 分析。例如，自动应答AI也可以上位阶层至下位阶层的顺序来将属于各阶层的问询通知给用 户，以作为具有阶层结构的问询。而且，自动应答AI也可在用户针对属于某阶层的问询的回 答符合针对所述问询的设想范围内的回答时，将属于较此问询的阶层为更下位的阶层的问询 提供给用户。借此，用户所请求的处理的具体内容缩窄，从而容易确定其内容。例如，针对 每个问询而预先设定有设想范围内的回答，自动应答AI判断用户的实际回答是否包含在设想 范围内。自动应答AI也可在用户的实际回答包含在设想范围内时，将属于更下位阶层的问询 提供给用户，在用户的实际回答不包含在设想范围内时，将属于相同阶层或更上位阶层的问 询提供给用户。

对于确定部28的处理，将在后文进行详细说明。另外，确定部28的处理也可由服务器 16等外部装置来进行。

控制部26进行与由确定部28所确定的事项相关的信息(例如与结构候补相关的信息等) 的通知(介绍)的控制。作为此通知，控制部26既可使与结构候补相关的信息显示于UI部 20的显示部，也可通过使用扬声器等来将与此结构候补相关的信息作为语音信息而发出。而 且，控制部26也可控制由确定部28所确定的处理的执行。

而且，用户对指示内容的输入既可在UI部20的显示部的画面上进行，也可通过语音来 进行。例如，当在UI部20的画面上显示有与结构关联的图像(例如与机器关联的机器图像) 时，用户也可通过在此画面上指定机器图像，来输入包含表示此机器的信息的指示内容。作 为另一例，无论在UI部20的画面上是否显示有与结构关联的图像，用户均可通过语音来指 定结构。例如，当用户通过语音来说出结构名(例如机器名)时，其声音被麦克风等拾音部 拾取，表示结构名的语音信息被输入至终端装置10。如此，信息的输入和通知既可通过画面 上的显示来进行，也可通过语音来进行。也可将画面上的显示与语音加以组合。

以下，参照图3来详细说明机器12的结构。作为一例，设机器12为图像形成装置。以下，有时将机器12称作图像形成装置12。图3中表示了图像形成装置12的结构。

通信部30为通信接口，具有向其他装置发送数据的功能、以及从其他装置接收数据的功 能。通信部30既可为具有无线通信功能的通信接口，也可为具有有线通信功能的通信接口。 通信部30例如也可支持一种或多种通信方式，依照适合于通信对方的通信方式(即，通信对 方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、 Wi-Fi通信、接近式无线通信等。通信部30例如既可根据通信对方来切换通信方式或频带， 也可根据周围环境来切换通信方式或频带。

图像形成部32具有图像形成功能。具体而言，图像形成部32具有扫描功能、打印功能、 复印功能及传真(facsimile)功能中的至少一个功能。通过执行扫描功能，读取原稿而生成扫 描数据(图像数据)。通过执行打印功能，在纸张等记录介质上打印图像。通过执行复印功能， 读取原稿并打印到记录介质上。通过执行传真功能，对图像数据进行传真发送或传真接收。 而且，也可执行利用多个功能的联动功能。例如，也可执行将扫描功能与发送功能(转发功 能)予以组合的扫描转发功能。通过执行所述扫描转发功能，读取原稿而生成扫描数据(图 像数据)，并将所述扫描数据发送至发送目标(例如终端装置10等外部装置)。当然，所述联 动功能不过是一例，也可执行其他联动功能。

存储部34是硬盘或存储器(例如SSD等)等存储装置。在存储部34中，例如存储表示图像形成命令的信息(例如作业(job)信息等)、成为打印对象的图像数据、通过执行扫描功能而生成的扫描数据、表示其他机器的地址的机器地址信息、表示终端装置10的地址的信息 (终端地址信息)、服务器16的服务器地址信息、各种控制数据、各种程序等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。

UI部36为用户接口部，包含显示部与操作部。显示部例如为液晶显示器等显示装置。操 作部例如为触控面板或键盘等输入装置。当然，也可为兼作显示部与操作部的用户接口(例 如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。另外，图像形成装置12也 可不具有UI部36，还可不具备显示部而具备作为硬件的硬件用户接口部(硬件UI部)。硬件 UI部例如为专用于数字输入的硬件键(例如数字键)、专用于方向指示的硬件键(例如方向指 示键)等。

控制部38控制图像形成装置12的各部的动作。

以下，参照图4来详细说明服务器16的结构。图4中表示了服务器16的结构。

通信部40为通信接口，具有对其他装置发送数据的功能、及从其他装置接收数据的功能。 通信部40既可为具有无线通信功能的通信接口，也可为具有有线通信功能的通信接口。

存储部42为硬盘或存储器(例如SSD等)等存储装置。在存储部42中，例如存储有各种数据、各种程序、终端装置10的终端地址信息、各机器的机器地址信息、服务器16的服 务器地址信息等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。 另外，当由服务器16对结构管理信息进行管理时，所述机器功能管理信息与联动功能管理信息也可存储在存储部42中，且在服务器16中，对机器功能管理信息与联动功能管理信息进行更新。而且，也可将机器功能管理信息与联动功能管理信息(若信息得到更新，则将更新后的信息)从服务器16发送至终端装置10。所述发送也可定期、或在指定的时机进行。由此，存储在终端装置10中的信息得到更新。当结构管理信息存储在服务器16中时，结构管理信息也可不存储在终端装置10中。

控制部44控制服务器16的各部的动作。控制部44例如控制通信部40的通信。而且，服务器16也可具有确定部28，从而执行确定部28的处理。此时，终端装置10也可不具有确定部28。

作为又一例，也可在机器12、14等机器中存储结构管理信息，还可设有确定部28。即， 确定部28的处理既可在终端装置10中进行，也可在机器12、14等机器中进行，还可在服务 器16中进行，进而还可在其他装置中进行。

本实施方式中，作为一例，通过适用增强现实(Augmented Reality，AR)技术(扩展现 实技术)，从而获取设备识别信息以识别机器。例如，通过适用AR技术，从而获取单独使用 的机器的设备识别信息以识别所述机器，而且，获取联动对象机器的设备识别信息以识别联 动对象机器。作为AR技术，使用公知的AR技术。例如，采用使用二维条形码(bar code)等标记(marker)的标记型AR技术、使用图像识别技术的无标记(marker less)型AR技术、使用位置信息的位置信息AR技术等。当然，也可不适用AR技术而获取设备识别信息来识别机器。例如，若是连接于网络的机器，则也可基于网际协议(Internet Protocol，IP)地址来识 别机器，还可读出机器ID来识别机器。进而，当使用具有红外线通信、可见光通信、Wi-Fi、 蓝牙(Bluetooth)等各种无线通信功能的机器或终端装置时，也可通过利用无线通信功能来 获取机器的ID以识别机器。

以下，参照图5来详细说明设备识别信息的获取处理。作为一例，对获取图像形成装置 12的设备识别信息的情况进行说明。图5中示意性地表示了图像形成装置12的外观。此处， 对用于适用标记型AR技术来获取设备识别信息的处理进行说明。在图像形成装置12的框体 上，设有二维条形码等标记46。标记46是对图像形成装置12的设备识别信息进行编码所得 的信息。用户启动终端装置10的摄像机22，通过摄像机22对作为利用对象的图像形成装置 12上所设的标记46进行拍摄。由此，生成表示标记46的图像数据。终端装置10的控制部 26通过对所述图像数据中表示的标记图像适用解码处理而提取设备识别信息。由此，来识别 作为利用对象的图像形成装置12(具有所拍摄的标记46的图像形成装置12)。终端装置10 的确定部28在机器功能管理信息中，确定表示与所提取的设备识别信息对应的功能的功能信 息。由此，来确定(识别)作为利用对象的图像形成装置12所具有的功能。

另外，服务器16的控制部44也可通过对表示标记46的图像数据适用解码处理，来提取 设备识别信息。此时，将图像数据从终端装置10发送至服务器16，在服务器16中对所述图 像数据适用解码处理。当在服务器16中设有确定部28时，也可在服务器16中确定与设备识 别信息对应的功能。

标记46也可对表示图像形成装置12所具有的功能的功能信息进行编码而包含。此时， 通过对表示标记46的图像数据适用解码处理，从而提取所述图像形成装置12的设备识别信 息，并且，也提取表示所述图像形成装置12所具有的功能的功能信息。由此，来确定(识别) 图像形成装置12，并且确定(识别)所述图像形成装置12所具有的功能。所述解码处理既可 由终端装置10来进行，也可由服务器16来进行。

而且，通过拍摄多个机器各自的标记，从而获取各机器的设备识别信息。

当适用无标记型AR技术而获取设备识别信息时，例如用户通过终端装置10的摄像机22， 来拍摄利用对象机器(例如图像形成装置12)的外观的全部或一部分。当然，有用的是：可 从外观拍摄而获得利用对象机器的名称(例如商品名)、型号或资产管理编号等用于确定机器 的信息。通过拍摄，生成表示利用对象机器的外观的全部或一部分的外观图像数据。终端装 置10的控制部26基于所述外观图像数据来识别利用对象机器。例如，在终端装置10的存储 部24中，针对每个机器而存储有外观图像对应信息，所述外观图像对应信息表示：表示机器 外观的全部或一部分的外观图像数据、与所述机器的设备识别信息的对应。控制部26例如将 外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较，基于其比较结果来 确定利用对象机器的设备识别信息。例如，控制部26从外观图像数据中提取利用对象机器的 外观特征，并在外观图像对应信息中所含的外观图像数据群中，确定表示与此外观的特征相 同或类似的特征的外观图像数据，并确定与所述外观图像数据对应的设备识别信息。由此， 来识别利用对象机器(由摄像机22所拍摄的机器)。作为另一例，当拍摄机器的名称(例如 商品名)或型号，并生成表示名称或型号的外观图像数据时，也可基于所述外观图像数据中 所示的名称或型号来识别利用对象机器。终端装置10的确定部28在机器功能管理信息中， 确定表示与所确定的设备识别信息对应的各功能的功能信息。由此，来确定利用对象机器(例 如图像形成装置12)所具有的功能。

另外，服务器16的控制部44也可将表示利用对象机器(例如图像形成装置12)的外观 的全部或一部分的外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较， 并基于其比较结果来确定利用对象机器的设备识别信息。外观图像对应信息被存储在服务器 16的存储部42中。此时，服务器16的控制部44通过参照外观图像对应信息，来确定利用对 象机器的设备识别信息。

通过拍摄多个机器各自的外观的全部或一部分，来获取各机器的设备识别信息。

当适用位置信息AR技术来获取设备识别信息时，例如，通过利用全球定位系统(Global Positioning System，GPS)功能，来获取表示设置有机器(例如图像形成装置12)的位置的位 置信息。例如，各机器具备GPS功能，获取表示机器自身位置的设备位置信息。终端装置10 对利用对象机器输出表示设备位置信息的获取请求的信息，并从所述机器接收所述机器的设 备位置信息，以作为针对所述获取请求的应答。终端装置10的控制部26基于所述设备位置 信息来识别利用对象机器。例如，在终端装置10的存储部24中，针对每个机器而存储有位 置对应信息，所述位置对应信息表示：表示设置有机器的位置的设备位置信息、与所述机器 的设备识别信息的对应。控制部26在所述位置对应信息中，确定与设备位置信息对应的设备 识别信息。由此，来确定(识别)利用对象机器。终端装置10的确定部28在机器功能管理 信息中，确定表示与所确定的设备识别信息对应的各功能的功能信息。由此，来确定(识别) 利用对象机器(例如图像形成装置12)所具有的功能。

另外，服务器16的控制部44也可在位置对应信息中，确定与利用对象机器的位置信息 对应的设备识别信息。位置对应信息被存储在服务器16的存储部42中。此时，服务器16的 控制部44通过参照位置对应信息，来确定利用对象机器的设备识别信息。

获取多个机器各自的设备位置信息，并基于各设备位置信息来确定各机器的设备识别信 息。

另外，也可使用多个识别技术来识别机器。例如，也可使用从标记型AR技术、无标记型 AR技术及位置信息AR技术中选择的多个技术来识别机器。而且，若通过某识别技术无法识 别机器，则也可使用其他识别技术来识别机器。例如，若通过标记型AR技术或无标记型AR 技术无法识别机器，则也可使用位置信息AR技术来识别机器。

以下，进一步详细说明本实施方式的机器系统。

参照图6来详细说明作为结构管理信息的一例的机器功能管理信息。图6中表示了作为 机器功能管理信息的机器功能管理表的一例。在机器功能管理表中，作为一例，机器ID、表 示机器名(例如机器的种类)的信息、表示机器所具有的功能的信息(功能信息)与图像ID 彼此对应。机器ID与机器名相当于设备识别信息的一例。图像ID是用于对与机器关联的机 器图像进行识别的图像识别信息的一例。另外，在机器功能管理表中，也可不含图像ID。例 如，机器ID为“B”的机器是多功能一体机(具有多个图像形成功能的图像形成装置)，具有 打印功能或扫描功能等功能。对于所述机器，对应有用于对与此机器关联的机器图像进行识 别的图像ID。与机器关联的机器图像的数据例如既可存储在终端装置10中，也可存储在服务 器16中，还可存储在其他装置中。

例如，通过适用AR技术，获取用于识别利用对象机器的机器ID。终端装置10的确定部 28通过参照机器功能管理表，来确定与所述机器ID对应的机器名、功能及图像ID。由此，来识别利用对象机器。也可将表示机器名的信息或机器图像显示于UI部20的显示部。当然，也可将由摄像机22所拍摄的图像其自身显示于UI部20的显示部。而且，当在UI部20中， 由用户指定了与机器关联的机器图像(例如由摄像机22所拍摄的图像、或示意性地表示机器的图像)时，也可将与此机器所具有的功能相关的信息(例如功能信息或功能的说明信息等) 显示于UI部20的显示部。

以下，参照图7来详细说明作为结构管理信息的一例的联动功能管理信息。图7中表示 了作为联动功能管理信息的联动功能管理表的一例。在联动功能管理表中，作为一例，机器 ID的组合、表示联动对象机器名(例如各机器的种类)的信息、与表示联动功能的信息(联 动功能信息)彼此对应。例如，机器ID为“A”的机器是PC(个人计算机(personalcomputer))， 机器ID为“B”的机器是多功能一体机。通过使PC(A)与多功能一体机(B)联动，作为 联动功能，例如实现“扫描转发功能”或“打印功能”。“扫描转发功能”是将通过多功能一 体机(B)的扫描而生成的图像数据转发给PC(A)的功能。“打印功能”是将保存在PC(A)中的数据(例如图像数据或文档数据)发送至多功能一体机(B)并通过多功能一体机(B) 进行打印的功能。另外，也可规定通过利用三个以上的机器而可执行的联动功能。此时，三 个以上的机器的组合与联动功能相对应，所述对应被登记在联动功能管理表中。

结构管理信息并不限定于所述机器功能管理信息与联动功能管理信息。例如，对于与机 器关联的机器图像内的每个部分分配有不同的功能，结构管理信息也可为对分配给各部分的 功能进行管理的信息(部分管理信息)。

以下，参照图8来详细说明作为结构管理信息的一例的部分管理信息。图8中表示了作 为部分管理信息的部分管理表的一例。所述部分管理表中，作为一例，机器ID、表示机器名 (例如机器的种类)的信息、表示机器图像内的位置(部分的位置)的信息、表示与所述机 器图像内的位置(部分的位置)对应的功能的信息(功能信息)、与图像ID相对应。机器图像内的位置是与机器关联的机器图像内的特定位置(特定部分)，例如是示意性地表示机器的 机器图像内的特定位置、或由摄像机所拍摄的机器图像内的特定位置。对于机器图像内的每 个特定位置(部分)，对应有不同的功能。

图9中表示了部分管理表的另一例。所述部分管理表中，作为一例，机器ID、表示机器 名(例如机器的种类)的信息、表示机器的部分的名称(例如部分的种类)的信息、作为用于识别所述部分的部分识别信息的部分ID、表示分配给所述部分的功能(所述部分所具有的 功能)的信息、和用于识别与所述部分关联的部分图像的部分图像ID彼此对应。部分图像是 表示通过摄像机的拍摄而获得的机器的部分的外观的图像。当然，示意性地表示机器的部分 的部分图像也可对应于所述部分。例如，对于机器的每个部分分配有不同的功能。

若举具体例进行说明，则对于PC(A)的显示部分配有画面显示功能，对于与所述显示 部关联的部分图像的部分图像ID，对应于有表示画面显示功能的信息。画面显示功能是将信 息显示于PC(A)的功能。对于PC(A)的本体部分配有数据保存功能，对于与所述本体部关联的部分图像的部分图像ID，对应于有表示数据保存功能的信息。数据保存功能是将数据 保存于PC(A)的功能。

而且，对于多功能一体机B的本体部分配有打印功能，对于与所述本体部关联的部分图 像的部分图像ID，对应有表示打印功能的信息。对于多功能一体机B的读取部(例如与多功 能一体机B的原稿罩、原稿玻璃或自动原稿供纸装置对应的部分)分配有扫描功能，对于与 所述读取部关联的部分图像的部分图像ID，对应有表示扫描功能的信息。对于多功能一体机 B的后处理装置分配有装订功能，对于与所述后处理装置关联的部分图像的部分图像ID，对 应有表示装订功能的信息。装订功能是将所输出的纸张通过订书钉进行装订的功能。

对机器的部分分配的功能例如通过使用无标记型AR技术来确定(识别)。例如，当通过 摄像机(例如终端装置10的摄像机22)而拍摄了机器的部分时，确定部28在图9所示的部 分管理表中，确定(识别)与所述外观图像数据对应的功能。由此，来确定(识别)分配给所拍摄的部分的功能。例如，当通过摄像机22而拍摄了多功能一体机B的本体部时，确定部28在部分管理表中，确定与表示多功能一体机B的本体部的外观图像数据对应的打印功能。由此，来确定分配给多功能一体机B的本体部的功能为打印功能。

当然，分配给机器的部分的功能也可通过使用标记型AR技术来确定(识别)。例如，在 机器的各部分，设有对用于识别部分的部分识别信息(例如部分ID)进行编码所得的二维条 形码等标记。当通过摄像机来拍摄设于部分的标记并适用标记型AR技术时，获取此部分的部 分识别信息(例如部分ID)。当如此般获取部分识别信息时，确定部28在图9所示的部分管 理表中，确定(识别)与所述部分识别信息(例如部分ID)对应的功能。

图10中表示了用于对可利用机器的部分来执行的联动功能进行管理的联动功能管理表的 一例。所述联动功能管理表是表示利用多个部分所具有的功能的联动功能的信息，所述联动 功能管理表中，作为一例，表示机器的部分的组合的信息、表示部分ID的组合的信息、与表 示可利用所述组合中所含的多个部分所具有的功能来执行的联动功能的信息彼此对应。当然， 联动功能管理表中，表示机器的部分与机器整体的组合的信息、与表示利用所述机器的部分 所具有的功能和机器整体所具有的功能的联动功能的信息也可对应。

若举具体例进行说明，则对于PC(A)的显示部与多功能一体机B的本体部的组合，分 配有作为联动功能的“打印功能”。作为联动功能的“打印功能”是将保存于PC(A)中的数据发送至多功能一体机B，并通过多功能一体机B来打印所述数据的功能。

而且，对于多功能一体机B的本体部与投影机C的本体部的组合，分配有作为联动功能 的“打印功能”。作为联动功能的“打印功能”是将由投影机C所投影的数据发送至多功能一 体机B，并通过多功能一体机B来打印所述数据的功能。

而且，对于多功能一体机B的读取部与投影机C的本体部的组合，分配有作为联动功能 的“扫描投影功能”。作为联动功能的“扫描投影功能”例如是将通过多功能一体机B的扫描 而生成的数据发送至投影机C，并通过投影机C来投影所述数据的功能。

另外，联动功能既可为可利用同一机器中所含的多个部分所具有的功能来执行的功能， 也可为可利用互不相同的多个机器的部分所具有的功能来执行的功能。而且，联动功能还可 为可利用三个以上的部分所具有的功能来执行的功能。

图11中表示了又一联动功能管理表。所述联动功能管理表是表示可利用多个功能来执行 的联动功能的信息。所述联动功能管理表中，作为一例，功能ID(例如用于识别软件的ID)、 表示功能名(例如软件名)的信息、与表示可利用多个功能来执行的联动功能的信息彼此对 应。通过参照所述联动功能管理表，从而确定可利用多个功能来执行的联动功能。

例如，作为功能的软件α是发送数据的软件，作为功能的软件β是对数据添加密码(password)的软件。通过将软件α、β予以组合，例如实现对数据添加密码后予以发送的联动功能。对于其他软件，也同样规定有可执行的联动功能。

另外，也可规定通过利用三个以上的功能(例如软件)而可执行的联动功能。此时，三 个以上的功能的组合与联动功能相对应，且将所述对应登记在联动功能管理表中。

联动功能也可为利用机器与功能来执行的功能。图12中表示了用于对可利用机器与功能 来执行的联动功能进行管理的表。所述联动功能管理表是表示可利用机器与功能(例如软件) 来执行的联动功能的信息。所述联动功能管理表中，作为一例，ID的组合(机器ID与功能 ID的组合)、表示机器名及功能名的信息、与表示可利用机器和功能来执行的联动功能的信息 彼此对应。通过参照所述联动功能管理表，从而确定可利用机器与功能来执行的联动功能。 例如，通过将作为机器A的PC(A)与作为功能α的数据发送功能予以组合，例如实现利用 PC(A)来发送数据的联动功能。对于其他机器与功能，也同样规定有可执行的联动功能。 另外，也可规定通过利用合计三个以上的机器或功能而可执行的联动功能。此时，三个以上 的机器或功能的组合与联动功能相对应，且将所述对应登记在联动功能管理表中。

图13中表示了又一联动功能管理表。所述联动功能管理表是用于对将多个文件(数据) 作为对象来执行的联动功能进行管理的表。所述联动功能既可为通过利用多个机器而可执行 的功能，也可为通过利用多个软件而可执行的功能，还可为通过利用作为硬件的机器所具有 的功能和通过软件来实现的功能而可执行的功能。例如，对应于各个文件，分别关联有对此 文件执行处理的软件(应用程序)，联动功能是通过使与由用户所选择的多个文件各自关联的 应用程序联动而实现的功能。

文件例如为文档文件、图像文件、视频文件、电子表格文件、演示文稿(presentation)用 文件、图形(图面)文件、音频文件等。

文档文件是具有文档格式(document format)的文件，是包含字符串或其他信息的文件。 图像、表或图形也可作为其他信息而包含在文档文件中。文档格式例如为文本(text)格式或 档案(document)格式等。具有文本格式的数据(例如附有字符串“.txt”作为扩展名的数据)、 或具有档案格式的数据(例如附有字符串“.doc”或“.docx”作为扩展名的数据)等相当于文 档文件。

图像文件是具有图像格式(image format)的文件。图像文件既可为具有光栅(raster)格 式的图像数据，也可为具有矢量(vector)格式的图像数据。图像格式例如为JPEG格式、BMP (位图(bitmap))格式、PDF格式、GIF格式、TIFF格式、PICT格式等。具有JPEG格式的 数据(附有字符串“.jpeg”作为扩展名的数据)、具有BMP格式的数据(附有字符串“.bmp” 作为扩展名的数据)、具有PDF格式的数据(附有字符串“.pdf”作为扩展名的数据)、具有 GIF格式的数据(附有字符串“.gif”作为扩展名的数据)、具有TIFF格式的数据(附有字符 串“.tiff”作为扩展名的数据)、具有PNG格式的数据(附有字符串“.png”作为扩展名的数 据)、具有PICT格式的数据(附有字符串“.pict”作为扩展名的数据)等相当于图像文件。当 然，也可使用具有除这些以外的格式的图像文件。

视频文件是具有视频格式(video format)的文件。视频格式例如为AVI格式、MP4格式、 MOV格式、MPEG2-TS格式、MPEG2-PS格式、WMV格式、FLV格式等。具有AVI格式的 数据(附有字符串“.avi”作为扩展名的数据)、具有MP4格式的数据(附有字符串“.mp4” 作为扩展名的数据)、具有MOV格式的数据(附有字符串“.mov”作为扩展名的数据)、具有MPEG2-TS格式的数据(附有字符串“.m2ts”作为扩展名的数据)、具有MPEG2-PS格式的 数据(附有字符串“.mpeg”作为扩展名的数据)、具有WMV格式的数据(附有字符串“.wmv” 作为扩展名的数据)、具有FLV格式的数据(附有字符串“.flv”作为扩展名的数据)等相当 于视频文件。当然，也可使用具有除这些以外的格式的视频文件。

电子表格文件是具有表格式(table format)的文件，是包含表、图表(graph)或其他信 息的文件。字符串、图像或图形也可作为其他信息而包含在电子表格文件中。例如是附有字 符串“.csv”、“.xls”或“.xlsx”作为扩展名的数据。

演示文稿用文件是具有演示文稿用工作表格式(sheet format)的文件。例如，附有字符 串“.ppt”或“.pptx”作为扩展名的数据相当于演示文稿用文件。演示文稿用文件例如包含字 符串、图像(静态图像或动态图像)、图形、音频等。

图形文件是具有图形(图面)格式(graphic format)的文件。图形文件例如是通过图形制 作软件(例如二维计算机辅助设计(Computer Aided Design，CAD)或三维CAD等)制作的 文件。例如，具有DXF格式(format)的数据(附有字符串“.dxf”作为扩展名的数据)、具有DWG格式的数据(附有字符串“.dwg”作为扩展名的数据)等。除此以外，附有“.vsd” 或“.vsdx”作为扩展名的数据也可作为图形文件来处理。

音频文件是具有音频格式(audio format)的文件。音频格式例如为非压缩音频格式(WAV 格式、AIFF格式、BWF格式等)、不可逆压缩音频格式(mp3格式、AAC格式、WMA格式等)、可逆压缩音频格式(TAK格式、FLAC格式等)等。具有非压缩音频格式的数据(附有“.wav”等作为扩展名的数据)、具有不可逆压缩音频格式的数据(附有字符串“.mp3”等作为扩展名的数据)、具有非压缩音频格式的数据(附有字符串“.tak”等作为扩展名的数据)等相当于音频文件。

登记在图13所示的联动功能管理表中的联动功能是针对每种文件格式(属性)而定，在 所述联动功能管理表中，例如表示多个文件格式的组合的信息、与表示联动功能的信息(联 动功能信息)彼此对应。联动功能信息例如是联动功能ID或联动功能名称等。文件格式为所 述文档格式、图像格式、视频格式、表格式、工作表格式、图形格式、音频格式等。通过参 照联动功能管理信息，来确定(识别)与多个文件格式的组合对应的联动功能。另外，图13 中表示了两个文件格式的组合，但也可将三个以上的文件格式的组合与联动功能的对应登记 在联动功能管理表中。

联动功能既可为通过使互不相同的多个功能(例如互不相同的软件)联动而实现的功能， 也可为通过使同一功能(例如同一软件)联动而实现的功能。联动功能也可为在联动前无法 利用的功能。在联动前无法利用的功能既可为通过使相同的功能联动而变得可用的功能，也 可为通过使互不相同的功能组合而变得可用的功能。例如，通过使文档制作功能(文档制作 软件)与图像显示功能(图像显示软件(例如图像查看器(viewer)))联动，从而作为联动功 能，实现在文档中插入(添加)图像的功能、或者在图像上重叠文档(字符串、文本)的功 能。即，通过使文档制作功能与图像显示功能联动，实现图像插入功能或文本重叠功能。

在联动功能的概念范畴内，也可包含通过使多个功能联动而新功能的执行成为可能的合 体功能。例如，也可通过将多个显示功能予以组合，实现作为合体功能的扩展显示功能。而 且，也可通过将多个拍摄功能予以组合，实现作为合体功能的拍摄区域扩展功能。而且，也 可通过将通话功能与翻译功能予以组合，实现作为合体功能的翻译通话功能(翻译通话内容 的功能)。如此，在联动功能的概念范畴内，也可包含通过使彼此同一种类的功能联动而可实 现的功能、或者通过使彼此不同种类的功能联动而可实现的功能。

登记在图13所示的联动功能管理表中的联动功能既可为可由安装于终端装置10的软件 来执行的功能，也可为可由安装于外部装置(例如服务器或其他终端装置等)的软件来执行 的功能，还可为可由安装于终端装置10的软件和安装于外部装置的软件来执行的功能。

以下，对图13所示的各联动功能进行说明。

图13中的“文档格式”为文本格式(扩展名为“.txt”)或档案格式(扩展名为“.doc”或“.docx”)。“表格式”为扩展名以“.csv”或“.xls”等来表达的格式。图像格式为扩展名以“.jpeg”或“.pdf”等来表达的格式。视频格式为扩展名以“.avi”或“.mpeg”等来表达的格式。工作表格式为扩展名以“.ppt”等来表达的格式。图13中，未表示图形格式或音频格式，但包含它们的组合与联动功能的对应也可登记在联动功能管理表中。当然，也可规定包含图 13所示的文件格式以外的文件格式的组合与联动功能的对应，并登记到联动功能管理表中。

例如，在由用户将文档文件A与电子表格文件B指定为结构的情况下，确定跟文档格式 与表格式的组合对应的“将表插入文档中的功能”与“将文档插入表中的功能”作为联动功 能。“将表插入文档中的功能”是指将由电子表格文件B所表示的表插入由文档文件A所表示 的文档中的功能。“将文档插入表中的功能”是指将由文档文件A所表示的文档插入由所述电 子表格文件B所表示的表中的功能。

在由用户将文档文件A与图像文件C指定为结构的情况下，确定跟文档格式与图像格式 的组合对应的“将图像插入文档中的功能”与“将文档重叠于图像上的功能”作为联动功能。 “将图像插入文档中的功能”是指将由图像文件C所表示的图像插入由文档文件A所表示的 文档中的功能。“将文档重叠于图像上的功能”是指将由文档文件A所表示的文档重叠于由图 像文件C所表示的图像上的功能。

在由用户将文档文件A与视频文件D指定为结构的情况下，确定跟文档格式与视频格式 的组合对应的“将视频插入文档中的功能”与“将静态图像插入文档中的功能”作为联动功 能。“将视频插入文档中的功能”是指将由视频文件D所表示的视频插入由文档文件A所表 示的文档中的功能。“将静态图像插入文档中的功能”是指将构成视频文件D的一帧或多帧 (静态图像)插入由文档文件A所表示的文档中的功能。例如，在文档文件A相当于不支持 视频的文档文件，即，无法插入视频的文件的情况下，若执行“将静态图像插入文档中的功 能”，则将视频文件D中的一帧或多帧(静态图像)插入由文档文件A所表示的文档中。

也可由用户选择具有同一文件格式的多个文件。例如，在由用户将文档文件A1、A2指 定为结构的情况下，确定跟文档格式与文档格式的组合对应的“将文档彼此合体的功能”作 为联动功能。“将文档彼此合体的功能”是指如下所述的功能，即：通过将文档文件A1、A2 所表示的文档合体(例如将两个文档结合)，从而保留文档文件A1、A2、或者不保留文档文 件A1、A2地，生成另外的新的文档文件A3。

在由用户将电子表格文件B1、B2指定为结构的情况下，确定跟表格式与表格式的组合对 应的“将表彼此合体的功能”作为联动功能。“将表彼此合体的功能”是指如下所述的功能， 即：通过将电子表格文件B1、B2所表示的表合体(例如将两个表结合)，从而保留电子表格 文件B1、B2、或者不保留电子表格文件B1、B2地，生成另外的新的电子表格文件B3。

在由用户将视频文件D1、D2指定为结构的情况下，确定跟视频格式与视频格式的组合 对应的“将视频彼此合体的功能”作为联动功能。“将视频彼此合体的功能”是指如下所述的 功能，即：通过将视频文件D1、D2所表示的视频合体(例如将两个视频结合)，从而保留视 频文件D1、D2、或者不保留视频文件D1、D2地，生成另外的新的视频文件D3。

除此以外，在由用户将演示文稿用文件E与文档文件A指定为结构的情况下，确定跟工 作表格式与文档格式的组合对应的“将文档插入演示文稿用工作表中的功能”作为联动功能。 “将文档插入演示文稿用工作表中的功能”是指将由文档文件A所表示的文档插入由演示文 稿用文件E所表示的工作表中的功能。

另外，联动对象的组合并不限定于所述组合。例如，当将机器、功能(包含通过机器而 执行的功能与通过软件而执行的功能)、文件及软件中的至少两个的组合选择为联动对象时， 也可对可使用此组合来执行的联动功能的通知进行控制。例如，当由用户将机器与文件指定 为结构时，也可由确定部28确定可使用所述机器和所述文件来执行的联动功能。若举具体例 进行说明，则当将多功能一体机B和文档文件指定为结构时，确定部28确定可使用多功能一 体机B与文档文件来执行的联动功能(例如通过多功能一体机B来打印文档文件的功能、或 通过多功能一体机B来传真发送文档文件的功能等)。同样，当软件和文件指定为结构时，也 可由确定部28确定可使用通过所述软件而实现的功能和所述文件来执行的联动功能。若举具 体例进行说明，则当将文档应用程序与文档文件指定为结构时，确定部28确定可使用文档应 用程序与文档文件来执行的联动功能(例如通过文档应用程序来对文档文件进行编辑的功能 或输出的功能等)。而且，当将机器与功能与文件指定为结构时，也可由确定部28确定可使 用所述机器、所述功能(例如软件)与所述文件来执行的联动功能。若举具体例进行说明， 则当将多功能一体机B、文档应用程序与文档文件指定为结构时，确定部28确定可使用多功 能一体机B、文档应用程序与文档文件来执行的联动功能(例如，通过文档应用程序对文档文 件进行编辑后输出至多功能一体机B，并通过多功能一体机B来对所述文档文件进行打印或 传真发送的功能等)。所述具体例中的组合不过是一例，也可规定可将所述以外的机器、功能、 文件、软件加以组合而执行的联动功能。

以下，举具体例来详细说明终端装置10的动作。

(具体例1)

参照图14来说明具体例1。图14中表示了显示于终端装置10的画面的一例。终端装置 10的控制部26使UI部20的显示部显示画面48，并使此画面48上显示各种信息。画面48是供用户与自动应答AI进行对话的接口(对话应答画面)。在画面48上，显示用户对终端装置10输入的信息(例如字符串或图像等)、及表示自动应答AI的发言内容的信息(例如字符串或图像等)。用户与自动应答AI之间的对话也可为所谓的聊天(chat)格式的对话(即实时(real time)格式的对话，进而，换言之，是用户与自动应答AI一边互相发言一边进行对话的格式)。例如，通过执行用于与自动应答AI进行对话的程序(例如聊天用程序)，从而在 UI部20的显示部上显示用于所述对话的画面48(对话应答画面)。

在画面48上设有每个对话者的显示区域(area)，各对话者的发言内容也可显示在自身用 的显示区域内。例如，显示区域48a是显示自动应答AI的发言内容的区域，显示区域48b是 显示用户的发言内容(用户对终端装置10输入的信息)的区域。图14所示的示例中，朝向 画面48而在左侧设有自动应答AI用的显示区域48a，在右侧设有用户用的显示区域48b。当 然，此显示例只不过是一例，显示区域的配置关系也可相反，还可在上下方向上设置各显示 区域，还可将各显示区域的全部或一部分重合，还可在画面48的特定区域(例如中央区域) 显示最新的发言内容，而在其周围显示过去的发言内容。而且，各显示区域既可具有彼此相 同的大小，也可具有互不相同的大小，还可根据一次发言内容的量或发言次数来放大或缩小。 显示区域的设定或大小的控制是由控制部26来进行。

图14所示的示例中，对话者仅为一位用户与一个自动应答AI，但也可有多个用户或多个 自动应答AI参加对话。此时，在画面48上，也可设有各对话者用的显示区域。例如，当有 两位用户与一个自动应答AI参加对话时，在画面48上设有三个显示区域，各对话者的发言 内容显示在自身的显示区域内。例如，当通过在多个终端装置10之间进行通信而在多个用户 之间进行经由画面48的对话时，所述多个用户的发言内容显示于画面48。多个自动应答AI 参加对话时也同样。既可将与多个自动应答AI相关的程序安装于同一终端装置10，从而将所 述多个自动应答AI保存在所述同一终端装置10中，也可将与所述多个自动应答AI各自相关 的程序安装在不同的终端装置10中，从而将各自动应答AI保存在不同的终端装置10中。例 如，在画面48上，显示有保存在作为自身装置的终端装置10中的自动应答AI的发言内容， 进而，显示有保存在其他终端装置10中的自动应答AI的发言内容。保存在其他终端装置10 中的自动应答AI例如经由通信路径N来参加对话。

例如，当聊天用程序启动时，终端装置10的控制部26使UI部20的显示部显示画面48。 在自动应答AI用的显示区域48a中，显示有与自动应答AI关联的图像50，在用户用的显示 区域48b中，显示有与用户关联的图像52。图像50是用于识别自动应答AI的图像，图像52是用于识别用户的图像。另外，也可取代图像50或者与图像50一同，显示表示自动应答AI的字符串(用于识别自动应答AI的字符串)。同样，也可取代图像52或者与图像52一同， 显示表示用户的字符串(例如姓名、用户ID、笔名(pseudonym)、昵称(nickname)等般用 于识别用户的字符串)。

以后，在用户与自动应答AI之间进行对话。在此对话中，用户的发言内容既可通过用户 操作UI部20来输入字符串或图像等信息而输入至终端装置10，也可通过声音来输入。而且， 用户的发言内容既可作为字符串或图像等信息而显示于画面48，也可不显示于画面48。同样， 自动应答AI的发言内容既可作为字符串或图像等信息而显示于画面48，也可不显示于画面 48，或者也可在显示的同时作为语音而发出。以下，作为一例，设各对话者的发言内容显示 于画面48来进行说明，但所述发言内容也可通过语音而发出。

另外，当在画面48上进行对话时，画面48滚动(scroll)，在画面48上显示不下的过去 的发言内容从画面48上消失，最新的发言内容或其最近的发言内容显示于画面48。

当聊天用程序启动时，首先，自动应答AI发表“怎么啦？”这一一般性问询(询问用户 请求的问询)，将表示所述问询的字符串作为自动应答AI的发言内容54而显示在显示区域48a 内。当然，也可将自动应答AI的发言内容取代字符串或者与字符串一同作为语音而发出。由 于所述发言内容是自动应答AI的发言内容，因此控制部26使所述发言内容作为与自动应答 AI的图像50关联的发言内容而显示于显示区域48a内。以下的对话中也同样。

针对所述发言内容54，用户将表示服务的内容的信息、或表示被用于服务的结构的信息 输入至终端装置10。例如，当用户进行“想要将收据追加至表中。”这一发言时，将所述发言 内容56显示于显示区域48b内。例如，用户既可通过操作画面48来输入字符串，从而将表 示发言内容的信息输入至终端装置10，还可通过语音来将表示发言内容的信息输入至终端装 置10。由于所述发言内容为用户的发言内容，因此控制部26使所述发言内容56作为与用户 的图像52关联的发言内容而显示于显示区域48b内。以下的对话中也同样。

发言内容56中所含的信息是表示用户所请求的服务的信息，是在用户的指示内容中所含 的信息中属于最上位阶层的信息。控制部26将所述发言内容56作为用户的指示内容而发送 至自动应答AI。自动应答AI通过分析用户的发言内容56来识别用户所请求的服务。

接下来，用户将表示属于较服务所属的阶层为下位阶层的结构(被用于服务的结构)的 信息输入至终端装置10。图14所示的示例中，通过用户的发言内容58，将具有表格式的电 子表格文件A的信息输入至终端装置10，紧跟着发言内容58，通过发言内容60，将具有图 像格式的图像文件B的信息输入至终端装置10。电子表格文件A与图像文件B相当于被用于 服务的结构的一例，是属于较服务所属的阶层为下位阶层的信息。电子表格文件A的信息是 用于识别电子表格文件A的识别信息，例如既可为与电子表格文件A关联的文件图像，也可 为表示所述识别信息(例如文件名)的文字信息或语音信息等。同样，图像文件B的信息是 用于识别图像文件B的识别信息，例如既可为与图像文件B关联的文件图像，也可为表示所 述识别信息(例如文件名)的文字信息或语音信息等。控制部26将发言内容58、60作为用 户的指示内容而发送至自动应答AI。

图14所示的示例中，输入与电子表格文件A关联的文件图像来作为电子表格文件A的 信息，输入与图像文件B关联的文件图像来作为图像文件B的信息。

例如，控制部26使备选区域(stock area)显示于用户用的显示区域48b内，并使文件图 像显示于所述备选区域内。例如，控制部26使与保存在终端装置10中的文件关联的文件图 像显示于所述备选区域内。控制部26也可使与保存在服务器16等外部装置中且用户可利用 的文件关联的文件图像显示于备选区域内。若在备选区域内存在显示不下的文件图像，则用 户对显示在备选区域内的文件图像进行滚动操作，从而将所述文件图像显示于备选区域内。

用户可从备选区域中选择与作为结构的文件关联的文件图像并使其移动到备选区域的外 侧，从而将所述文件图像作为用户的发言内容而发送至自动应答AI。例如，用户通过拖拽 (drag)操作，从备选区域使文件图像移动到显示用户发言内容的位置，在所述发言内容的显 示位置进行拖放(drop)操作。通过此操作，控制部26将文件图像作为用户的发言内容而发 送至自动应答AI。例如，通过用户在画面48上利用指示器(例如用户的手指、笔、指示笔(stylus) 等)来从备选区域中选择并取出图像(所述示例中为文件图像)，从而将此图像包含在用户的 发言内容中发送至自动应答AI。控制部26探测指示器对画面48的接触，并探测指示器在画 面48上的移动。

确定部28(通过自动应答AI而实现的确定部28)通过分析发言内容58来将电子表格文 件A识别为用于服务的结构。同样，确定部28通过分析发言内容60来将图像文件B识别为 用于服务的结构。

确定部28通过分析用户的指示内容，来识别与所述指示内容对应的处理，并确定执行所 述处理所需的结构候补。所述示例中，识别出属于上位阶层的服务“将收据追加至表中”，进 而识别出属于下位阶层的结构“电子表格文件A、图像文件B”。此时，确定部28识别出“将 图像文件B追加至电子表格文件A”这一具体的处理内容，并将执行所述处理内容所需的功 能确定为结构候补。确定部28例如通过参照图13所示的联动功能管理表，从而将跟表格式 与图像格式的组合对应的联动功能(例如，将图像文件插入电子表格文件中这一联动功能) 确定为执行所述处理所需的结构候补。另外，确定部28也可通过分析图像文件B自身，来识 别出图像文件B是表示收据的图像。

当如上所述般确定了作为结构候补的联动功能时，控制部26也可使与所述联动功能相关 的信息作为自动应答AI的发言内容而显示于显示区域48a内。例如，当确定有多个联动功能 时，控制部26使与所述多个联动功能相关的信息作为自动应答AI的发言内容而显示于显示 区域48a内。控制部26对由用户从所述多个联动功能中选择的联动功能的执行进行控制。例 如，当由用户指示了联动功能的执行时，控制部26使表示执行所述联动功能的意旨的信息作 为自动应答AI的发言内容62而显示于显示区域48a内。

而且，若未确定有多个结构候补，则控制部26也可对由确定部28所确定的联动功能的 执行进行控制。所述示例中，由于确定了“将图像文件B追加至电子表格文件A”这一处理， 因此控制部26也可控制所述处理的执行。此时，控制部26启动图像应用程序与电子表格应 用程序，通过图像应用程序来复制图像文件B，并通过电子表格应用程序来将所述图像文件B 粘贴到电子表格文件A中。如此，将图像文件B追加至电子表格文件A。

如上所述，用户将属于上位阶层的信息至属于下位阶层的信息作为用户的发言内容而依 序输入至终端装置10，由此，应执行的具体的处理内容逐渐变得明确，因此通过确定部28来 确定所述具体的内容。

若未能由确定部28确定具体的处理内容，则自动应答AI制作用于确定处理内容的问询。 控制部26使所述问询作为自动应答AI的发言内容而显示于显示区域48a内。

自动应答AI也可制作具有阶层结构的问询来通知给用户，以从用户获得具有阶层结构的 指示内容。此时，自动应答AI以上位阶层至下位阶层的顺序来将属于各阶层的问询通知给用 户。

首先，自动应答AI发出用于询问用户所请求的服务的内容的问询，以作为属于最上位阶 层的问询。控制部26例如使“您需要什么服务？”这一发言内容作为自动应答AI的发言内 容而显示于显示区域48a内，以作为用于询问服务的内容的发言内容。当用户针对所述问询 (发言内容)而输入表示服务的发言内容时，自动应答AI通过分析所述发言内容来识别用户 所请求的服务的内容。

自动应答AI判断用户针对属于最上位阶层的问询的回答(发言内容)是否符合针对所述 问询的设想范围内的回答。针对各阶层的问询分别预先设定有设想范围的回答，自动应答AI 判断用户的实际回答是否包含在设想范围内。例如，当由用户针对用于询问服务的内容的自 动应答AI的发言内容而输入了表示服务的内容的发言内容时，自动应答AI判断为用户的回 答包含在设想范围内。另一方面，当由用户输入了表示服务以外的内容的发言内容时，自动 应答AI判断为用户的回答未包含在设想范围内。

当用户针对属于最上位阶层的问询的实际回答符合针对所述问询的设想范围内的回答 时，自动应答AI将属于较最上位阶层为下位的阶层的问询(例如属于中位阶层的问询)通知 给用户。控制部26使属于所述下位阶层的问询作为自动应答AI的发言内容而显示于显示区 域48a内。另一方面，若用户的实际回答未包含在设想范围内，则自动应答AI将属于最上位 阶层的问询再次通知给用户。控制部26使属于最上位阶层的问询作为自动应答AI的发言内 容而再次显示于显示区域48a内。

当用户针对属于较最上位阶层为下位的阶层的问询(发言内容)输入了回答来作为发言 内容时，自动应答AI判断用户的实际回答是否符合针对所述问询的设想范围内的回答。例如， 用于询问被用于服务的结构的问询相当于属于较最上位阶层为下位的阶层的问询，控制部26 使所述问询作为自动应答AI的发言内容而显示于显示区域48a内。当用户针对所述问询(发 言内容)而输入了表示被用于服务的结构时，自动应答AI判断为用户的回答包含在设想范围 内。此时，自动应答AI为了确定具体的处理内容而制作属于更下位阶层的问询，控制部26 使所述问询作为自动应答AI的发言内容而显示于显示区域48a内。另外，若在此阶段由确定 部28确定了具体的处理内容，则控制部26也可将所述具体的处理内容、或执行所述处理所 需的结构候补(例如联动功能的候补等)通知给用户。另一方面，当由用户输入了表示结构 以外的内容的发言内容时，自动应答AI判断为用户的回答未包含在设想范围内。此时，自动 应答AI将属于相同阶层或上位阶层的问询通知给用户。控制部26使属于相同阶层或上位阶 层的问询作为自动应答AI的发言内容而显示于显示区域48a内。以后，确定部28将具有阶 层结构的问询作为自动应答AI的发言内容而通知给用户，直至基于用户的指示内容而确定了 具体的处理内容为止。通过将具有阶层结构的问询通知给用户，用户所请求的处理的具体内 容缩窄，从而容易确定其内容。

图14所示的示例中，作为用户针对属于最上位阶层的问询的回答，由用户输入了“想要 将收据追加至表中。”这一发言内容56。由于发言内容56表示了服务的内容，因此自动应答 AI判断为用户的回答包含在设想范围内。此时，自动应答AI制作用于确定被用于所述服务的 具体结构的问询，以作为属于较最上位为下位的阶层的问询。为了执行“将收据追加至表中” 这一服务，必须确定具体的“表”或“收据”，因此自动应答AI制作用于确定具体的“表” 或“收据”的问询。控制部26使所述问询作为自动应答AI的发言内容而显示于显示区域48a 内。例如，为了确定具体的“表”，由自动应答AI制作“是哪个电子表格文件？”这一发言 内容，或者为了确定具体的“收据”，由自动应答AI制作“是哪个收据？”这一发言内容， 并将此种发言内容作为自动应答AI的发言内容而显示于显示区域48a内。图14所示的示例 中，作为用户针对属于下位阶层的问询的回答，由用户输入了用于确定具体的“表”的信息 (电子表格文件A的信息)来作为发言内容58，且由用户输入了用于确定具体的“收据”的 信息(图像文件B的信息)来作为发言内容60。由于发言内容58、60表示了被用于服务的结 构，因此自动应答AI判断为用户的各回答包含在设想范围内。当由确定部28在此阶段确定 了具体的处理内容时，控制部26将表示执行所述处理内容所需的结构候补(例如联动功能的 候补)的信息通知给用户。图14所示的示例中，由用户先输入表示属于上位概念的服务的内 容的信息，随后由用户依序输入表示属于下位概念的结构(例如文件)，由此来逐渐确定具体 的处理内容。

确定部28也可基于在限制时间内由用户所输入的信息，来确定可执行的处理内容、与执 行所述处理内容所需的结构候补(例如联动功能的候补)。限制时间的开始时间点例如既可如 发言内容54般，为自动应答AI对用户发出问询的时间点，也可为发表了发言内容54后，用 户输入最初的发言内容56的时间点。在使用限制时间的情况下，也将具有阶层结构的问询通 知给用户。

例如设为：当发言内容56所示的服务的准确内容未被自动应答AI识别，所述服务的准 确内容对于自动应答AI而言为不明时，在限制时间内由用户输入了发言内容58、60，且发言 内容58、60所表示的内容被自动应答AI准确识别。此时，确定部28在图13所示的联动功 能管理表中，将跟发言内容58所表示的电子表格文件A与发言内容60所表示的图像文件B 的组合对应的联动功能，确定为执行处理内容所需的结构候补。例如设为：将“将图像插入 表中”功能与“将表重叠于图像”功能确定为联动功能。此时，确定部28将“将图像文件B 插入电子表格文件A中”和“将电子表格文件A重叠于图像文件B”，确定为可执行的处理内容。控制部26使与由确定部28所确定的处理内容和联动功能相关的信息，作为自动应答AI的发言而显示于显示区域48a内。例如，将与“将图像插入表中”功能相关的信息和与“将 表重叠于图像”功能相关的信息，作为执行服务所需的结构候补而显示于显示区域48a内。 当用户指定联动功能并给予了执行指示时，控制部26控制由用户所指定的联动功能的执行。

确定部28也可基于通过预定次数的问询而获得的用户回答，来确定可执行的处理内容、 和执行所述处理内容所需的结构候补(例如联动功能的候补)。此时，也将具有阶层结构的问 询通知给用户。

确定部28也可在由用户输入了属于构成指示内容的多个阶层中的预定数量的阶层的信息 时，基于这些信息来确定可执行的处理内容、和执行所述处理内容所需的结构候补(例如联 动功能的候补)。例如，当由用户输入了属于上位阶层的信息、属于中位阶层的信息、及属于 下位阶层的信息时，确定部28基于这些信息，来确定可执行的处理内容、和执行所述处理内 容所需的结构候补。

若举具体例进行说明，则设为：由用户输入表示服务的内容的发言内容(例如“想要将 收据追加至表中”这一发言内容)以作为属于上位阶层的信息，由用户输入表示机器的发言 内容(例如“想要使用PC(A)”这一发言内容)以作为属于中位阶层的信息，由用户输入表 示文件的发言内容(例如“电子表格文件A、图像文件B”这一发言内容)以作为属于下位阶 层的信息。此时，确定部28确定“使用PC(A)来将图像文件B插入至电子表格文件A中”这一处理内容，且作为执行所述处理内容所需的结构候补，确定“将图像插入电子表格文件中”这一联动功能。

另外，当输入有格式互不相同的多个数据的信息来作为用户的发言内容，且将所述多个 数据的信息发送至自动应答AI时，确定部28也可通过参照图13所示的联动功能管理表，而 确定可使用所述多个数据来执行的联动功能。此时，控制部26使与由确定部28所确定的联 动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。若以图14所示的 示例来进行说明，则通过发言内容58而输入的电子表格文件A是具有表格式的数据，通过发 言内容60而输入的图像文件B是具有图像格式的数据。如此，输入有具有表格式的数据的信 息和具有图像格式的数据的信息，因此，确定部28在图13所示的联动功能管理表中，确定 跟表格式与图像格式的组合对应的联动功能。控制部26使与所述联动功能相关的信息作为自 动应答AI的发言内容而显示于显示区域48a内。借此，根据由用户所输入的数据的格式，将 可执行的联动功能通知给用户。

(具体例2)

参照图15来说明具体例2。所述具体例1中，由用户将文件指定为被用于服务的结构， 但在具体例2中，将机器与文件指定为结构。

图15中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。

当聊天用程序启动时，首先，自动应答AI发表“怎么啦？”这一一般性问询(询问用户 请求的问询)，将表示所述问询的字符串作为自动应答AI的发言内容64而显示于显示区域48a 内。

针对所述发言内容64，用户将表示服务的内容的信息、或表示被用于服务的结构的信息 输入至终端装置10。例如，当用户进行“想要打印。”这一发言时，将所述发言内容66显示 于显示区域48b内。

发言内容66中所含的信息是表示用户所请求的服务的信息，是在用户的指示内容中所含 的信息中属于最上位阶层的信息。控制部26将所述发言内容66作为用户的指示内容而发送 至自动应答AI。自动应答AI通过分析用户的发言内容66来识别用户所请求的服务。

接下来，用户将表示属于较服务所属的阶层为下位阶层的结构(被用于服务的结构)的 信息输入至终端装置10。图15所示的示例中，通过用户的发言内容68，将作为机器的多功 能一体机B的信息输入至终端装置10，紧跟着发言内容68，通过发言内容70，将作为文件的 图像文件B的信息输入至终端装置10。多功能一体机B与图像文件B相当于被用于服务的结 构的一例，是属于较服务所属的阶层为下位阶层的信息。多功能一体机B的信息是用于识别 多功能一体机B的识别信息，例如既可为与多功能一体机B关联的机器图像，也可为表示所 述识别信息(例如机器名)的文字信息或语音信息等。控制部26将发言内容68、70作为用 户的指示内容而发送至自动应答AI。

多功能一体机B是通过利用所述AR技术(标记型AR技术、无标记型AR技术、位置信息AR技术)或其他识别技术，而由确定部28所识别的机器。当然，机器图像也可并非与多 功能一体机B自身关联的图像，而是与多功能一体机这一种类关联的图像。

图15所示的示例中，输入与多功能一体机B关联的机器图像来作为多功能一体机B的信 息，输入与图像文件B关联的文件图像来作为图像文件B的信息。

控制部26也可使机器图像用的备选区域显示于用户用的显示区域48b内，并使机器图像 显示于所述备选区域内。例如，控制部26使与已识别的机器关联的机器图像显示于所述备选 区域内。当然，控制部26也可使不与机器其自身关联而与机器的种类关联的机器图像显示于 备选区域内。例如，控制部26也可使不与多功能一体机B自身关联而与多功能一体机这一种 类关联的机器图像显示于备选区域内。与具体例1同样地，用户可从机器图像用的备选区域 中取出机器图像，并使其作为用户的发言内容而移动至显示区域48b内。

例如，与识别过一次的机器相关的信息存储在存储部24中，随后，即使不重新进行针对 所述机器的识别处理，仍将与所述机器关联的机器图像显示于备选区域内。当然，也可通过 用户的操作来从存储部中删除与所识别的机器相关的信息。此时，也删除与所述机器关联的 机器图像。作为另一例，也可在利用所识别的机器来执行联动功能后、或者从识别出机器的 时间点经过了预定时间后，从存储部24中删除与所述所识别的机器相关的信息。

与多功能一体机B关联的机器图像既可为通过摄像机22拍摄多功能一体机B而生成的图 像(既可为具有拍摄时的尺寸的图像，也可为经放大或缩小的图像)，也可为与多功能一体机 B关联的示意性的图像(例如图标)。

在使用示意性的图像的情况下，确定部28通过参照图6所示的机器功能管理表，来确定 与所识别的机器关联的示意性的图像。所述示意性的图像是作为机器图像而显示。示意性的 图像数据既可存储在终端装置10中，也可存储在服务器16等外部装置中。

另外，当利用通过拍摄机器而生成的图像数据时，当前的机器其自身的外观(例如反映 出瑕疵、便利贴、粘贴在机器上的贴画(seal)等的外观)将反映在图像中，因此有下述效果， 即，对于用户而言，可通过视觉来知晓与其他的同种机器的差异。而且，由于与机器自身关 联的机器图像(例如通过拍摄而获得的图像、或与机器其自身关联的图标等)是所述机器的 固有图像，因此通过将所述机器图像发送至自动应答AI，从而自动应答AI能够识别所述机器 其自身。另一方面，若机器图像并非与机器自身关联而是与机器的种类关联的图像，则自动 应答AI能够根据所述机器图像来识别机器的种类，但无法识别各个机器自身。例如，若机器 图像是与多功能一体机B关联的图像，则自动应答AI能够根据所述机器图像来识别多功能一 体机B其自身。另一方面，若机器图像是与多功能一体机这一种类关联的图像，则自动应答 AI将根据所述机器图像来识别多功能一体机这一种类。以下，设各机器图像是与各个机器自 身关联的图像来进行说明。

而且，若在备选区域内存在显示不下的其他机器图像，则用户对显示在备选区域内的机 器图像进行滚动操作，从而将所述其他机器图像显示于备选区域内。

也可如在所述具体例1中所说明般，显示文件图像用的备选区域，以使得可从所述备选 区域中取出文件图像而使其显示于显示区域48b内。

确定部28通过分析发言内容68，来将多功能一体机B识别为被用于服务的结构。同样， 确定部28通过分析发言内容70，来将图像文件B识别为被用于服务的结构。

确定部28通过分析用户的指示内容，来识别与所述指示内容对应的处理，并确定执行所 述处理所需的结构候补。所述示例中，识别出属于上位阶层的服务“想要打印”，进而，识别 出属于下位阶层的结构“多功能一体机B、图像文件B”。此时，确定部28识别出“通过多功 能一体机B来打印图像文件B”这一处理，并将执行所述处理所需的功能确定为结构候补。 确定部28通过参照例如图6所示的机器功能管理表，从而将多功能一体机B所具有的功能确 定为执行所述处理所需的结构候补。

当如上所述般确定了作为结构候补的功能时，控制部26也可使与所述功能相关的信息作 为自动应答AI的发言内容而显示于显示区域48a内。例如，当确定有多个功能时，控制部26 使与所述多个功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。控制部 26对由用户从所述多个功能中选择的功能的执行进行控制。例如，当由用户指示了功能的执 行时，控制部26使表示执行所述功能的意旨的信息作为自动应答AI的发言内容72而显示于 显示区域48a内。

而且，若未确定有多个结构候补，则控制部26也可对由确定部28所确定的功能的执行 进行控制。所述示例中，由于确定了“通过多功能一体机B来打印图像文件B”这一处理， 因此控制部26也可控制所述处理的执行。此时，控制部26将图像文件B发送至多功能一体 机B，使多功能一体机B打印图像文件B。

如上所述，用户将属于上位阶层的信息至属于下位阶层的信息作为用户的发言内容而依 序输入至终端装置10，由此，应执行的具体的处理内容逐渐变得明确，因此通过确定部28来 确定所述具体的内容。

与具体例1同样地，自动应答AI也可制作具有阶层结构的问询来通知给用户，以从用户 获得具有阶层结构的指示内容。

图15所示的示例中，作为用户针对属于最上位阶层的问询(例如“怎么啦？”这一问询) 的回答，由用户输入了“想要打印。”这一发言内容66。由于发言内容66表示了服务的内容， 因此自动应答AI判断为用户的回答包含在设想范围内。此时，自动应答AI制作用于确定被 用于所述服务的具体结构的问询，以作为属于较最上位为下位阶层的问询。为了执行“进行 打印”这一服务，必须确定具体的“机器”或“印刷(动作)对象物”，因此自动应答AI制作用于确定具体的“机器”或“印刷对象物”的问询。另外，用于确定“机器”的问询是属 于中位阶层的问询，用于确定“印刷对象物”的问询是属于下位阶层的问询。控制部26使所 述问询作为自动应答AI的发言内容而显示于显示区域48a内。例如，为了确定具体的“机器”， 由自动应答AI制作“要使用哪个机器？”这一发言内容，或者为了确定具体的“印刷对象物”，由自动应答AI制作“是哪个文件？”这一发言内容，并将此种发言内容作为自动应答AI的 发言内容而显示于显示区域48a内。图15所示的示例中，作为用户针对属于中位阶层的问询的回答，由用户输入了用于确定具体的“机器”的信息(多功能一体机B的信息)来作为发 言内容68。而且，作为用户针对属于下位阶层的问询的回答，由用户输入了用于确定具体的“印刷对象物”的信息(图像文件B的信息)来作为发言内容70。发言内容68、70表示了被 用于服务的结构，因此自动应答AI判断为用户的各回答包含在设想范围内。当由确定部28 在此阶段确定了具体的处理内容时，控制部26将表示执行所述处理内容所需的结构候补(例如功能的候补)的信息通知给用户。图15所示的示例中，由用户先输入表示属于上位概念的服务的内容的信息，随后由用户依序输入表示属于中位概念的结构(例如机器)的信息和表示属于下位概念的结构(例如文件)的信息，由此来逐渐确定具体的处理内容。

与具体例1同样地，确定部28也可基于在限制时间内由用户所输入的信息，来确定可执 行的处理内容、与执行所述处理内容所需的结构候补(例如功能的候补)。

例如设为：当发言内容66所示的服务的准确内容未被自动应答AI识别，所述服务的准 确内容对于自动应答AI而言为不明时，在限制时间内由用户输入了发言内容68、70，发言内 容68、70所示的内容被自动应答AI准确识别。此时，确定部28在图6所示的机器功能管理 表中，将可使用发言内容68所表示的多功能一体机B和发言内容70所表示的图像文件B来 执行的功能，确定为执行处理内容所需的结构候补。例如设为：将“打印功能”(处理内容： 通过多功能一体机B来打印图像文件B)、“传真功能”(处理内容：通过多功能一体机B来传 真发送图像文件B)及“数据转发功能”(处理内容：通过多功能一体机B将图像文件B转发至其他装置)确定为功能及处理内容。此时，控制部26使与由确定部28所确定的处理内容和功能相关的信息，作为自动应答AI的发言而显示于显示区域48a内。当用户指定功能并给予了执行指示时，控制部26控制由用户所指定的功能的执行。

与具体例1同样地，确定部28也可基于通过预定次数的问询而获得的用户的回答，来确 定可执行的处理内容、和执行所述处理内容所需的结构候补。此时，也将具有阶层结构的问 询通知给用户。

与具体例1同样地，确定部28也可在由用户输入了属于构成指示内容的多个阶层中的预 定数量的阶层的信息时，基于这些信息来确定可执行的处理内容、与执行所述处理内容所需 的结构候补。

而且，作为执行处理内容所需的结构候补，也可将机器的信息通知给用户。例如，当用 户未输入特定的多功能一体机(例如多功能一体机B)的信息，而是输入了未特定的多功能一 体机的信息或多功能一体机的种类信息，来作为发言内容68时，确定部28确定能够打印图 像文件B的机器(例如多功能一体机B或打印机)。控制部26将与所述机器相关的信息，作 为与用于执行打印图像文件B这一处理内容的机器候补相关的信息，而显示于显示区域48a 内。例如，将多功能一体机B的信息作为自动应答AI的发言内容而显示于显示区域48a内。 而且，在根据用户的发言内容而确定了处理内容或功能的情况下，也可由确定部28根据用户 所希望的设定或基于机械学习的AI的推测，来确定执行所述处理内容所需的机器或具有此功 能的机器，且控制部26将由确定部28所确定的机器通知给用户。例如，确定部28基于用户 与机器之间的位置关系来确定机器。具体而言，确定部28将能够执行处理内容且最靠近用户 当前位置的机器确定为通知对象机器，控制部26将所述机器通知给用户。而且，确定部28 也可将规格(spec)比其他机器高、处理速度比其他机器快的机器确定为通知对象机器，还可 将能免费使用的机器确定为通知对象机器，还可将用户具有操作权限的机器确定为通知对象。 控制部26将被确定为通知对象的机器通知给用户。

而且，也可将设置有机器的场所的信息通知给用户，以作为执行处理内容所需的结构候 补。例如，当使用多功能一体机B时，确定部28确定多功能一体机B的设置场所。控制部 26将表示所述设置场所的信息作为自动应答AI的发言内容而显示于显示区域48a内。

(具体例3)

参照图16来说明具体例3。具体例3中，将功能指定为被用于服务的结构。

图16中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。

当聊天用程序启动时，首先，自动应答AI发表“怎么啦？”这一一般性问询(询问用户 请求的问询)，将表示所述问询的字符串作为自动应答AI的发言内容74而显示于显示区域48a 内。

针对所述发言内容74，用户将表示服务的内容的信息、或表示被用于服务的结构的信息 输入至终端装置10。例如，当用户进行“想要添加密码后发送数据。”这一发言时，将所述发 言内容76显示于显示区域48b内。

发言内容76中所含的信息是表示用户所请求的服务的信息，是在用户的指示内容中所含 的信息中属于最上位阶层的信息。控制部26将所述发言内容76作为用户的指示内容而发送 至自动应答AI。自动应答AI通过分析用户的发言内容76来识别用户所请求的服务。

接下来，用户将表示属于较服务所属的阶层为下位阶层的结构(被用于服务的结构)的 信息输入至终端装置10。图16所示的示例中，通过用户的发言内容78，将作为功能的密码 功能的信息输入至终端装置10，紧跟着发言内容78，通过发言内容80，将作为功能的数据发 送功能的信息输入至终端装置10，紧跟着发言内容80，通过发言内容82，将作为文件的图像 文件B的信息输入至终端装置10。密码功能、数据发送功能及图像文件B相当于被用于服务 的结构的一例，是属于较服务所属的阶层为下位阶层的信息。密码功能的信息是用于识别密 码功能的识别信息，例如既可为与密码功能关联的功能图像(例如与密码设定软件关联的功 能图像)，也可为表示所述识别信息(例如名称)的文字信息或语音信息等。同样，数据发送 功能的信息是用于识别数据发送功能的识别信息，例如既可为与数据发送功能关联的功能图 像(例如与数据发送软件关联的功能图像)，也可为表示所述识别信息(例如名称)的文字信 息或语音信息等。控制部26将发言内容78、80、82作为用户的指示内容而发送至自动应答 AI。

图16所示的示例中，输入与密码功能关联的功能图像来作为密码功能的信息，输入与数 据发送功能关联的功能图像来作为数据发送功能的信息，输入与图像文件B关联的文件图像 来作为图像文件B的信息。

另外，功能图像例如既可为与软件(应用程序等)关联的图像，也可为与进行处理的机 器(位于现实空间内的机器)关联的图像。功能图像例如是图标等图像，从与表示作为硬件 的机器的实际外观的图像(例如照片)或表示机器其自身的图像区别的意义上来说，也可称 作虚拟(virtual)图像。

控制部26也可使功能图像用的备选区域显示于用户用的显示区域48b内，并使功能图像 显示于所述备选区域内。例如，控制部26使与安装于终端装置10中的软件关联的功能图像 等显示于所述备选区域内。而且，若在备选区域内存在显示不下的其他功能图像，则用户对 显示在备选区域内的功能图像进行滚动操作，从而将所述其他功能图像显示于备选区域内。 与具体例1同样地，用户可从功能图像用的备选区域中取出功能图像，并使其作为用户的发 言内容而移动至显示区域48b内。

也可如在所述具体例1中所说明般，显示文件图像用的备选区域，以使得可从所述备选 区域中取出文件图像而使其显示于显示区域48b内。

确定部28通过分析发言内容78，来将密码功能识别为被用于服务的结构，通过分析发言 内容80，来将数据发送功能识别为被用于服务的结构，并通过分析发言内容82，来将图像文 件B识别为被用于服务的结构。

确定部28通过分析用户的指示内容，来识别与所述指示内容对应的处理，并确定执行所 述处理所需的结构候补。所述示例中，识别出属于上位阶层的服务“想要添加密码后发送数 据”，进而识别出属于下位阶层的结构“密码功能、数据发送功能、图像文件B”。此时，确定 部28识别出“对图像文件B添加密码后发送图像文件B”这一处理，并将执行所述处理所需 的功能确定为结构候补。确定部28通过参照例如图11所示的联动功能管理表，从而将跟密 码功能β与数据发送功能α的组合对应的联动功能确定为执行所述处理所需的结构候补。

当如上所述般确定了作为结构候补的联动功能时，控制部26也可使与所述联动功能相关 的信息作为自动应答AI的发言内容而显示于显示区域48a内。例如，当确定有多个联动功能 时，控制部26使与所述多个联动功能相关的信息作为自动应答AI的发言内容而显示于显示 区域48a内。控制部26对由用户从所述多个联动功能中选择的联动功能的执行进行控制。例 如，当由用户指示了联动功能的执行时，控制部26使表示执行所述联动功能的意旨的信息作 为自动应答AI的发言内容84而显示于显示区域48a内。

而且，若未确定有多个结构候补，则控制部26也可对由确定部28所确定的联动功能的 执行进行控制。所述示例中，由于确定了“对图像文件B添加密码后发送图像文件B”这一 处理，因此控制部26也可控制所述处理的执行。此时，控制部26启动密码设定软件，通过所述密码设定软件来对图像文件B设定密码，并启动数据发送软件，通过所述数据发送软件来将图像文件B发送至发送目标。

如上所述，用户将属于上位阶层的信息至属于下位阶层的信息作为用户的发言内容而依 序输入至终端装置10，由此，应执行的具体的处理内容逐渐变得明确，因此通过确定部28来 确定所述具体的内容。

与具体例1同样地，自动应答AI也可制作具有阶层结构的问询来通知给用户，以从用户 获得具有阶层结构的指示内容。

图16所示的示例中，作为用户针对属于最上位阶层的问询(例如“怎么啦？”这一问询) 的回答，由用户输入了“想要添加密码后发送数据。”这一发言内容76。由于发言内容76表 示了服务的内容，因此自动应答AI判断为用户的回答包含在设想范围内。此时，自动应答 AI制作用于确定被用于所述服务的具体结构的问询，以作为属于较最上位为下位阶层的问询。 为了执行“添加密码后发送数据”这一服务，必须确定具体的“功能”或“动作对象物”，因 此自动应答AI制作用于确定具体的“功能”或“动作对象物”的问询。另外，用于确定“功 能”的问询是属于中位阶层的问询，用于确定“动作对象物”的问询是属于下位阶层的问询。 控制部26使所述问询作为自动应答AI的发言内容而显示于显示区域48a内。例如，为了确 定具体的“功能”，由自动应答AI制作“要使用哪个功能？”这一发言内容，或者，为了确定具体的“动作对象物”，由自动应答AI制作“是哪个文件？”这一发言内容，并将此种发 言内容作为自动应答AI的发言内容而显示于显示区域48a内。图16所示的示例中，作为用 户针对属于中位阶层的问询的回答，由用户输入了用于确定具体的“功能”的信息(密码功 能与数据发送功能的信息)来作为发言内容78、80。而且，作为用户针对属于下位阶层的问 询的回答，由用户输入了用于确定具体的“动作对象物”的信息(图像文件B的信息)来作 为发言内容82。由于发言内容78、80、82表示了被用于服务的结构，因此自动应答AI判断 为用户的各回答包含在设想范围内。当由确定部28在此阶段确定了具体的处理内容时，控制 部26将表示执行所述处理内容所需的结构候补(例如联动功能的候补)的信息通知给用户。

图16所示的示例中，由用户先输入表示属于上位概念的服务的内容的信息，随后由用户依序 输入表示属于中位概念的结构(例如功能)的信息和表示属于下位概念的结构(例如文件) 的信息，由此来逐渐确定具体的处理内容。

与具体例1同样地，确定部28也可基于在限制时间内由用户所输入的信息，来确定可执 行的处理内容、与执行所述处理内容所需的结构候补(例如联动功能的候补)。

例如设为：发言内容76所示的服务的准确内容未被自动应答AI识别，所述服务的准确 内容对于自动应答AI而言为不明时，在限制时间内由用户输入了发言内容78、80、82，发言 内容78、80、82所示的内容被自动应答AI准确识别。此时，确定部28在图11所示的联动功能管理表中，将可使用发言内容78所示的密码功能与发言内容80所示的数据发送功能来执行的联动功能，确定为执行处理内容所需的结构候补。例如，将“对数据添加密码后予以发送的功能”确定为联动功能，将“对图像文件B添加密码后予以发送”处理确定为具体的处理内容。此时，控制部26使与由确定部28所确定的处理内容和联动功能相关的信息，作为自动应答AI的发言而显示于显示区域48a内。当用户指定联动功能并给予了执行指示时，控制部26控制由用户所指定的功能的执行。

与具体例1同样地，确定部28也可基于通过预定次数的问询而获得的用户回答，来确定 可执行的处理内容、和执行所述处理内容所需的结构候补。此时，也将具有阶层结构的问询 通知给用户。

与具体例1同样地，确定部28也可在由用户输入了属于构成指示内容的多个阶层中的预 定数量的阶层的信息时，基于这些信息来确定可执行的处理内容、与执行所述处理内容所需 的结构候补。

而且，作为执行处理内容所需的结构候补，也可将功能的信息通知给用户。例如，若用 户未输入表示密码功能的发言内容78，则确定部28确定执行所述处理内容所需的密码功能， 以作为表示服务的内容的发言内容76的分析结果。控制部26将与所述密码功能相关的信息， 作为与用于执行对图像文件B添加密码后发送图像文件B这一处理内容的机器候补相关的信 息，而显示于显示区域48a内。

(具体例4)

参照图17来说明具体例4。具体例4中，将机器指定为被用于服务的结构。

图17中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。

当聊天用程序启动时，首先，自动应答AI发表“怎么啦？”这一一般性问询(询问用户 请求的问询)，将表示所述问询的字符串作为自动应答AI的发言内容86而显示于显示区域48a 内。

针对所述发言内容86，用户将表示服务的内容的信息、或表示被用于服务的结构的信息 输入至终端装置10。例如，当用户进行“想要将扫描数据保存至PC中”这一发言时，将所 述发言内容88显示于显示区域48b内。

发言内容88中所含的信息是表示用户所请求的服务的信息，是在用户的指示内容中所含 的信息中属于最上位阶层的信息。控制部26将所述发言内容88作为用户的指示内容而发送 至自动应答AI。自动应答AI通过分析用户的发言内容88来识别用户所请求的服务。

接下来，用户将表示属于较服务所属的阶层为下位阶层的结构(被用于服务的结构)的 信息输入至终端装置10。图17所示的示例中，通过用户的发言内容90，将作为机器的多功 能一体机B的信息输入至终端装置10，紧跟着发言内容90，通过发言内容92，将作为机器的 PC(A)的信息输入至终端装置10。多功能一体机B与PC(A)相当于被用于服务的结构的一例，是属于较服务所属的阶层为下位阶层的信息。控制部26将发言内容90、92作为用户的指示内容而发送至自动应答AI。

图17所示的示例中，输入与多功能一体机B关联的机器图像来作为多功能一体机B的信 息，输入与PC(A)关联的机器图像来作为PC(A)的信息。

控制部26也可使机器图像用的备选区域显示于用户用的显示区域48b内，并使机器图像 显示于所述备选区域内。与具体例1同样地，用户可从机器图像用的备选区域中取出机器图 像，并使其作为用户的发言内容而移动至显示区域48b内。

确定部28通过分析发言内容90，来将多功能一体机B识别为被用于服务的结构，并通过 分析发言内容92，来将PC(A)识别为被用于服务的结构。

确定部28通过分析用户的指示内容，来识别与所述指示内容对应的处理，并确定执行所 述处理所需的结构候补。所述示例中，识别出属于上位阶层的服务“想要将扫描数据保存至 PC中”，进而识别出属于下位阶层的结构“多功能一体机B，PC(A)”。此时，确定部28识 别出“通过多功能一体机B来进行扫描，并将通过所述扫描而生成的数据从多功能一体机B 发送至PC(A)”这一处理，并将执行所述处理所需的联动功能确定为结构候补。确定部28 通过参照例如图7所示的联动功能管理表，从而将跟多功能一体机B与PC(A)的组合对应 的联动功能确定为执行所述处理所需的结构候补。

当如上所述般确定了作为结构候补的联动功能时，控制部26也可使与所述联动功能相关 的信息作为自动应答AI的发言内容而显示于显示区域48a内。例如，当确定有多个联动功能 时，控制部26使与所述多个联动功能相关的信息作为自动应答AI的发言内容而显示于显示 区域48a内。例如，当确定了“扫描转发功能”与“打印功能”作为联动功能时，控制部26 使与它们相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。控制部26对由 用户从所述多个联动功能中选择的联动功能的执行进行控制。例如，当由用户指示了联动功 能的执行时，控制部26使表示执行所述联动功能的意旨的信息作为自动应答AI的发言内容 94而显示于显示区域48a内。

而且，若未确定有多个结构候补，则控制部26也可对由确定部28所确定的联动功能的 执行进行控制。所述示例中，由于确定了“通过多功能一体机B来进行扫描，并将通过所述 扫描而生成的数据从多功能一体机B发送至PC(A)”这一处理，因此控制部26也可控制所 述处理(联动功能“扫描转发功能”)的执行。此时，控制部26将扫描转发指示给予至多功能一体机B。多功能一体机B依照所述扫描转发指示来执行扫描，并将通过所述扫描而生成的数据发送至PC(A)。

如上所述，用户将属于上位阶层的信息至属于下位阶层的信息作为用户的发言内容而依 序输入至终端装置10，由此，应执行的具体的处理内容逐渐变得明确，因此通过确定部28来 确定所述具体的内容。

与具体例1同样地，自动应答AI也可制作具有阶层结构的问询来通知给用户，以从用户 获得具有阶层结构的指示内容。

图17所示的示例中，作为用户针对属于最上位阶层的问询(例如“怎么啦？”这一问询) 的回答，由用户输入了“想要将扫描数据保存至PC中”这一发言内容88。由于发言内容88 表示了服务的内容，因此自动应答AI判断为用户的回答包含在设想范围内。此时，自动应答 AI制作用于确定被用于所述服务的具体结构的问询，以作为属于较最上位为下位阶层的问询。 为了执行“想要将扫描数据保存至PC中”这一服务，必须确定具体的“机器”，因此自动应 答AI制作用于确定具体的“机器”的问询。控制部26使所述问询作为自动应答AI的发言内 容而显示于显示区域48a内。例如，为了确定具体的“机器”，由自动应答AI制作“要使用 哪个机器？”这一发言内容，并将此种发言内容作为自动应答AI的发言内容而显示于显示区 域48a内。图17所示的示例中，作为用户针对属于中位阶层的问询的回答，由用户输入了用 于确定具体的“机器”的信息(多功能一体机B与PC(A)的信息)来作为发言内容90、92。 由于发言内容90、92表示了被用于服务的结构，因此自动应答AI判断为用户的各回答包含 在设想范围内。当由确定部28在此阶段确定了具体的处理内容时，控制部26将表示执行所 述处理内容所需的结构候补(例如联动功能的候补)的信息通知给用户。图17所示的示例中， 由用户先输入表示属于上位概念的服务的内容的信息，随后由用户依序输入表示属于中位概 念的结构(例如机器)的信息，由此来逐渐确定具体的处理内容。

与具体例1同样地，确定部28也可基于在限制时间内由用户所输入的信息，来确定可执 行的处理内容、与执行所述处理内容所需的结构候补(例如联动功能的候补)。

例如设为：当发言内容88所示的服务的准确内容未被自动应答AI识别，所述服务的准 确内容对于自动应答AI而言为不明时，在限制时间内由用户输入了发言内容90、92，发言内 容90、92所示的内容被自动应答AI准确识别。此时，确定部28在图7所示的联动功能管理 表中，将可使用发言内容90所示的多功能一体机B与发言内容92所示的PC(A)来执行的 联动功能，确定为执行处理内容所需的结构候补。例如，将“扫描转发功能”与“打印功能” 确定为联动功能，将“通过多功能一体机B来进行扫描，并将通过所述扫描而生成的数据从 多功能一体机B发送至PC(A)”处理、和“通过多功能一体机B来打印PC(A)中保存的 数据”处理确定为具体的处理内容。此时，控制部26使与由确定部28所确定的处理内容和 联动功能相关的信息，作为自动应答AI的发言而显示于显示区域48a内。当用户指定联动功能并给予了执行指示时，控制部26控制由用户所指定的功能的执行。

与具体例1同样地，确定部28也可基于通过预定次数的问询而获得的用户回答，来确定 可执行的处理内容、和执行所述处理内容所需的结构候补。此时，也将具有阶层结构的问询 通知给用户。

与具体例1同样地，确定部28也可在由用户输入了属于构成指示内容的多个阶层中的预 定数量的阶层的信息时，基于这些信息来确定可执行的处理内容、与执行所述处理内容所需 的结构候补。

而且，作为执行处理内容所需的结构候补，也可将机器的信息或机器设置场所的信息通 知给用户。

(具体例5)

参照图18来说明具体例5。具体例5中，将机器与功能指定为被用于服务的结构。

图18中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。

当聊天用程序启动时，首先，自动应答AI发表“怎么啦？”这一一般性问询(询问用户 请求的问询)，将表示所述问询的字符串作为自动应答AI的发言内容96而显示于显示区域48a 内。

针对所述发言内容96，用户将表示服务的内容的信息、或表示被用于服务的结构的信息 输入至终端装置10。例如，当用户进行“想要将数据发送至PC”这一发言时，将所述发言内 容98显示于显示区域48b内。

发言内容98中所含的信息是表示用户所请求的服务的信息，是在用户的指示内容中所含 的信息中属于最上位阶层的信息。控制部26将所述发言内容98作为用户的指示内容而发送 至自动应答AI。自动应答AI通过分析用户的发言内容98来识别用户所请求的服务。

接下来，用户将表示属于较服务所属的阶层为下位阶层的结构(被用于服务的结构)的 信息输入至终端装置10。图18所示的示例中，通过用户的发言内容100，将作为机器的PC (A)的信息输入至终端装置10，紧跟着发言内容100，通过发言内容102，将作为功能的数 据发送功能的信息输入至终端装置10，紧跟着发言内容102，通过发言内容104，将作为动作 对象的图像文件B的信息输入至终端装置10。PC(A)、数据发送功能及图像文件B相当于 被用于服务的结构的一例，是属于较服务所属的阶层为下位阶层的信息。控制部26将发言内 容100、102、104作为用户的指示内容而发送至自动应答AI。

图18所示的示例中，输入与PC(A)关联的机器图像来作为PC(A)的信息，输入与数据发送功能关联的功能图像来作为数据发送功能的信息，输入与图像文件B关联的文件图像 来作为图像文件B的信息。

控制部26也可使机器图像用的备选区域、功能图像用的备选区域、及文件图像用的备选 区域显示于用户用的显示区域48b内。用户可从各个备选区域中取出机器图像、功能图像及 文件图像，并使它们作为用户的发言内容而移动至显示区域48b内。

确定部28通过分析发言内容100，来将多功能一体机B识别为被用于服务的结构，通过 分析发言内容102，来将数据发送功能识别为被用于服务的结构，并通过分析发言内容104， 来将图像文件B识别为被用于服务的结构。

确定部28通过分析用户的指示内容，来识别与所述指示内容对应的处理，并确定执行所 述处理所需的结构候补。所述示例中，识别出属于上位阶层的服务“想要将数据发送至PC”， 进而识别出属于下位阶层的结构“PC(A)、数据发送功能、图像文件B”。此时，确定部28 识别出“将图像文件B发送至PC(A)”这一处理，并将执行所述处理所需的联动功能确定为 结构候补。确定部28通过参照例如图12所示的联动功能管理表，从而将跟PC(A)与数据 发送功能α的组合对应的联动功能确定为执行所述处理所需的结构候补。

当如上所述般确定了作为结构候补的联动功能时，控制部26也可使与所述联动功能相关 的信息作为自动应答AI的发言内容而显示于显示区域48a内。例如，当确定有多个联动功能 时，控制部26使与所述多个联动功能相关的信息作为自动应答AI的发言内容而显示于显示 区域48a内。控制部26对由用户从所述多个联动功能中选择的联动功能的执行进行控制。例 如，当由用户指示了联动功能的执行时，控制部26使表示执行所述联动功能的意旨的信息作 为自动应答AI的发言内容106而显示于显示区域48a内。

而且，若未确定有多个结构候补，则控制部26也可对由确定部28所确定的联动功能的 执行进行控制。所述示例中，由于确定了“将图像文件B发送至PC(A)”这一处理，因此控 制部26也可控制所述处理的执行。此时，控制部26启动数据发送软件，通过所述数据发送 软件来将图像文件B发送至PC(A)。

如上所述，用户将属于上位阶层的信息至属于下位阶层的信息作为用户的发言内容而依 序输入至终端装置10，由此，应执行的具体的处理内容逐渐变得明确，因此通过确定部28来 确定所述具体的内容。

与具体例1同样地，自动应答AI也可制作具有阶层结构的问询来通知给用户，以从用户 获得具有阶层结构的指示内容。

图18所示的示例中，作为用户针对属于最上位阶层的问询(例如“怎么啦？”这一问询) 的回答，由用户输入了“想要将数据发送至PC。”这一发言内容98。由于发言内容98表示了 服务的内容，因此自动应答AI判断为用户的回答包含在设想范围内。此时，自动应答AI制 作用于确定被用于所述服务的具体结构的问询，以作为属于较最上位为下位阶层的问询。为 了执行“将数据发送至PC”这一服务，必须确定具体的“机器”、“功能”或“动作对象物”， 因此自动应答AI制作用于确定具体的“机器”、“功能”或“动作对象物”的问询。另外，用 于确定“机器”或“功能”的问询是属于中位阶层的问询，用于确定“动作对象物”的问询是属于下位阶层的问询。控制部26使所述问询作为自动应答AI的发言内容而显示于显示区域48a内。例如，为了确定具体的“机器”，由自动应答AI制作“要使用哪个机器？”这一 发言内容，或者为了确定具体的“功能”，由自动应答AI制作“要使用哪个功能？”这一发 言内容，或者为了确定具体的“动作对象物”，由自动应答AI制作“是哪个文件？”这一发 言内容，并将此种发言内容作为自动应答AI的发言内容而显示于显示区域48a内。图18所 示的示例中，作为用户针对属于中位阶层的问询的回答，由用户输入了用于确定具体的“机 器”与“功能”的信息(PC(A)与数据发送功能的信息)来作为发言内容100、102。而且， 作为用户针对属于下位阶层的问询的回答，由用户输入了用于确定具体的“动作对象物”的 信息(图像文件B的信息)来作为发言内容104。由于发言内容100、102、104表示了被用于 服务的结构，因此自动应答AI判断为用户的各回答包含在设想范围内。当由确定部28在此 阶段确定了具体的处理内容时，控制部26将表示执行所述处理内容所需的结构候补(例如联 动功能的候补)的信息通知给用户。图18所示的示例中，由用户先输入表示属于上位概念的 服务的内容的信息，随后由用户依序输入表示属于中位概念的结构(例如机器与功能)的信 息和表示属于下位概念的结构(例如文件)的信息，由此来逐渐确定具体的处理内容。

与具体例1同样地，确定部28也可基于在限制时间内由用户所输入的信息，来确定可执 行的处理内容、与执行所述处理内容所需的结构候补(例如联动功能的候补)。

例如设为：当发言内容98所示的服务的准确内容未被自动应答AI识别，所述服务的准 确内容对于自动应答AI而言为不明时，在限制时间内由用户输入了发言内容100、102、104， 发言内容100、102、104所示的内容被自动应答AI准确识别。此时，确定部28在图12所示 的联动功能管理表中，将可使用发言内容100所示的PC(A)与发言内容102所示的数据发 送功能来执行的联动功能，确定为执行处理内容所需的结构候补。例如，将“将数据发送至 PC的功能”确定为联动功能，将“将图像文件B发送至PC(A)”处理确定为具体的处理内容。此时，控制部26使与由确定部28所确定的处理内容和联动功能相关的信息，作为自动应答AI的发言而显示于显示区域48a内。当用户指定联动功能并给予了执行指示时，控制部26控制由用户所指定的功能的执行。

与具体例1同样地，确定部28也可基于通过预定次数的问询而获得的用户回答，来确定 可执行的处理内容、和执行所述处理内容所需的结构候补。此时，也将具有阶层结构的问询 通知给用户。

与具体例1同样地，确定部28也可在由用户输入了属于构成指示内容的多个阶层中的预 定数量的阶层的信息时，基于这些信息来确定可执行的处理内容、与执行所述处理内容所需 的结构候补。

而且，作为执行处理内容所需的结构候补，也可将机器或功能的信息通知给用户。而且， 也可将机器设置场所的信息通知给用户。

(具体例6)

以下对具体例6进行说明。具体例6中，将机器的部分指定为被用于服务的结构。

参照图19A及图19B来详细说明机器的部分。图19A及图19B中表示了与作为机器的多 功能一体机B关联的机器图像108。图20A及图20B中表示了与作为机器的PC(A)关联的机器图像110。如上所述，通过适用识别技术(例如AR技术)来识别多功能一体机B或PC (A)。而且，部分的识别也是通过使用所述识别技术来实现。例如，通过拍摄机器的各部分 来适用无标记型AR技术，从而识别各部分。

例如，如图19A所示，对于机器图像108中与多功能一体机B的本体部分对应的位置(部 分图像108a)，分配有“打印功能”。对于机器图像108中与多功能一体机B的原稿罩、原稿 玻璃或自动原稿供纸装置对应的位置(部分图像108b)，分配有“扫描功能”。对于机器图像 108中与后处理装置对应的位置(部分图像108c)，分配有“装订功能”。“装订功能”是将输 出的纸张通过订书机进行固定的功能。

而且，如图20A所示，对于机器图像110中与PC(A)的本体部分对应的位置(部分图像110a)，分配有“数据保存功能”。对于机器图像110中与PC(A)的显示部对应的特定位 置(部分图像110b)，分配有“画面显示功能”。“数据保存功能”是将从其他装置送来的数据 保存至PC(A)的功能。“画面显示功能”是将从其他装置送来的数据显示于PC(A)的功能。

各部分图像可从机器图像分离地操作。例如，当在UI部20的显示部显示有机器图像108 时，如图19B所示，若用户进行选择部分图像108b而从机器图像108分离的操作，则部分图 像108b将离开机器图像108而显示。图19B中，用虚线表示了经分离的部分图像108b。例如， 可通过拖拽和拖放操作来操作部分图像。具体而言，用户选择部分图像，通过拖拽操作来操 作部分图像从机器图像分离，并在目标显示位置进行拖放操作，由此，能够使部分图像显示 于所述显示位置。而且，当在备选区域中显示有机器图像108时，若用户进行选择所述机器 图像108的部分图像(例如部分图像108b)而从机器图像108分离的操作，便可使部分图像 108b从机器图像108分离而显示于备选区域的外侧。当然，即使在进行将部分图像从机器图 像分离的操作时，所述部分图像也可显示在原本的位置。部分图像108a、108c也可从机器图 像108分离而显示。

对于机器图像110，也与机器图像108同样，可使部分图像110a、110b从机器图像110 分离而显示。图20B中，部分图像110b(以虚线所示)从机器图像110分离。

以下，参照图21来详细说明具体例6。图21中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。

当聊天用程序启动时，首先，自动应答AI发表“怎么啦？”这一一般性问询(询问用户 请求的问询)，将表示所述问询的字符串作为自动应答AI的发言内容112而显示于显示区域 48a内。

针对所述发言内容112，用户将表示服务的内容的信息、或表示被用于服务的结构的信息 输入至终端装置10。例如，当用户进行“想要打印”这一发言时，将所述发言内容114显示 于显示区域48b内。

发言内容114中所含的信息是表示用户所请求的服务的信息，是在用户的指示内容中所 含的信息中属于最上位阶层的信息。控制部26将所述发言内容114作为用户的指示内容而发 送至自动应答AI。自动应答AI通过分析用户的发言内容114来识别用户所请求的服务。

接下来，用户将表示属于较服务所属的阶层为下位阶层的结构(被用于服务的结构)的 信息输入至终端装置10。图21所示的示例中，通过用户的发言内容116，将作为机器部分的 多功能一体机B的本体部的信息输入至终端装置10，紧跟着发言内容116，通过发言内容118， 将作为机器部分的PC(A)的显示部的信息输入至终端装置10。多功能一体机B与PC(A) 是相当于被用于服务的结构的一例，是属于较服务所属的阶层为下位阶层的信息。控制部26 将发言内容116、118作为用户的指示内容而发送至自动应答AI。

图21所示的示例中，输入与多功能一体机B的本体部关联的部分图像来作为多功能一体 机B的本体部的信息，输入与PC(A)的显示部关联的部分图像来作为PC(A)的显示部的 信息。

控制部26也可使机器图像用的备选区域显示于用户用的显示区域48b内。用户可从显示 于所述备选区域内的机器图像中分离出部分图像并从备选区域取出，并使其作为用户的发言 内容而移动至显示区域48b内。

确定部28通过分析发言内容116，来将多功能一体机B的本体部识别为被用于服务的结 构，并通过分析发言内容118，来将PC(A)的显示部识别为被用于服务的结构。

确定部28通过分析用户的指示内容，来识别与所述指示内容对应的处理，并确定执行所 述处理所需的结构候补。所述示例中，识别出属于上位阶层的服务“想要打印”，进而识别出 属于下位阶层的结构“多功能一体机B的本体部、PC(A)的显示部”。此时，确定部28通 过参照图10所示的联动功能管理表，从而将跟多功能一体机B的本体部与PC(A)的显示部 的组合对应的联动功能，确定为执行处理所需的结构候补。例如，将“通过多功能一体机来 打印PC的画面上所显示的信息的功能”确定为联动功能，将“通过多功能一体机B来打印 PC(A)的画面上所显示的信息”这一处理识别为具体的处理内容。

当如上所述般确定了作为结构候补的联动功能时，控制部26也可使与所述联动功能相关 的信息作为自动应答AI的发言内容而显示于显示区域48a内。例如，当确定有多个联动功能 时，控制部26使与所述多个联动功能相关的信息作为自动应答AI的发言内容而显示于显示 区域48a内。控制部26对由用户从所述多个联动功能中选择的联动功能的执行进行控制。例 如，当由用户指示了联动功能的执行时，控制部26使表示执行所述联动功能的意旨的信息作 为自动应答AI的发言内容120而显示于显示区域48a内。

而且，若未确定有多个结构候补，则控制部26也可对由确定部28所确定的联动功能的 执行进行控制。所述示例中，由于确定了“通过多功能一体机B来打印PC(A)的画面上所 显示的信息”这一处理，因此控制部26也可控制所述处理的执行。此时，控制部26将表示所述处理的执行指示的信息发送至PC(A)与多功能一体机B。PC(A)依照所述执行指示， 将显示于PC(A)的画面上的信息发送至多功能一体机B。多功能一体机B依照所述执行指 示，对从PC(A)发送来的信息进行打印。

如上所述，用户将属于上位阶层的信息至属于下位阶层的信息作为用户的发言内容而依 序输入至终端装置10，由此，应执行的具体的处理内容逐渐变得明确，因此通过确定部28来 确定所述具体的内容。

与具体例1同样地，自动应答AI也可制作具有阶层结构的问询来通知给用户，以从用户 获得具有阶层结构的指示内容。

图21所示的示例中，作为用户针对属于最上位阶层的问询(例如“怎么啦？”这一问询) 的回答，由用户输入了“想要打印。”这一发言内容114。由于发言内容114表示了服务的内 容，因此自动应答AI判断为用户的回答包含在设想范围内。此时，自动应答AI制作用于确 定被用于所述服务的具体结构的问询，以作为属于较最上位为下位阶层的问询。为了执行“进 行打印”这一服务，必须确定具体的“机器”、“功能”或“动作对象物”，因此自动应答AI 制作用于确定具体的“机器”、“功能”或“动作对象物”的问询。另外，“机器”或用于确定“功能”的问询是属于中位阶层的问询，用于确定“动作对象物”的问询是属于下位阶层的问询。控制部26使所述问询作为自动应答AI的发言内容而显示于显示区域48a内。例如， 为了确定具体的“机器”，由自动应答AI制作“要使用哪个机器？”这一发言内容，或者为 了确定具体的“功能”，由自动应答AI制作“要使用哪个功能？”这一发言内容，或者为了 确定具体的“动作对象物”，由自动应答AI制作“是哪个文件？”这一发言内容，并将此种 发言内容作为自动应答AI的发言内容而显示于显示区域48a内。图21所示的示例中，作为 用户针对属于中位阶层的问询的回答，由用户输入了用于确定具体的“机器的部分”的信息 (PC(A)的显示部与多功能一体机B的本体部的信息)来作为发言内容116、118。由于发 言内容116、118表示了被用于服务的结构，因此自动应答AI判断为用户的各回答包含在设 想范围内。当由确定部28在此阶段确定了具体的处理内容时，控制部26将表示执行所述处 理内容所需的结构候补(例如联动功能的候补)的信息通知给用户。图21所示的示例中，由 用户先输入表示属于上位概念的服务的内容的信息，随后由用户依序输入表示属于中位概念 的结构(例如机器的部分)的信息，由此来逐渐确定具体的处理内容。

与具体例1同样地，确定部28也可基于在限制时间内由用户所输入的信息，来确定可执 行的处理内容、与执行所述处理内容所需的结构候补(例如联动功能的候补)。

例如设为：当发言内容114所示的服务的准确内容未被自动应答AI识别，所述服务的准 确内容对于自动应答AI而言为不明时，在限制时间内由用户输入了发言内容116、118，发言 内容116、118所示的内容被自动应答AI准确识别。此时，确定部28在图10所示的联动功 能管理表中，将可使用发言内容116所示的多功能一体机B的本体部与发言内容118所示的 PC(A)的显示部来执行的联动功能，确定为执行处理内容所需的结构候补。例如，将“通 过多功能一体机来打印PC的画面上所显示的信息的功能”确定为联动功能，将“通过多功能 一体机B来打印PC(A)的画面上所显示的信息”处理确定为具体的处理内容。此时，控制 部26使与由确定部28所确定的处理内容和联动功能相关的信息，作为自动应答AI的发言而 显示于显示区域48a内。当用户指定联动功能并给予了执行指示时，控制部26控制由用户所 指定的功能的执行。

与具体例1同样地，确定部28也可基于通过预定次数的问询而获得的用户回答，来确定 可执行的处理内容、和执行所述处理内容所需的结构候补。此时，也将具有阶层结构的问询 通知给用户。

与具体例1同样地，确定部28也可在由用户输入了属于构成指示内容的多个阶层中的预 定数量的阶层的信息时，基于这些信息来确定可执行的处理内容、与执行所述处理内容所需 的结构候补。

而且，作为执行处理内容所需的结构候补，也可将机器设置场所的信息通知给用户。

所述具体例1至具体例6不过是一例。例如，作为用于执行处理内容的结构，也可单独 利用机器、机器的部分及功能。

以下，作为具体例7至具体例10，对用于修正用户的发言内容的处理进行说明。

(具体例7)

以下对具体例7进行说明。在具体例7中，当将属于相同阶层的多个信息作为用户的发 言内容连续输入至终端装置10而发送给自动应答AI时，确定部28使用后来输入的信息取代 先输入的信息来作为指示内容中所含的信息。以下，参照图22来详细说明具体例7。

图22中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。另外，在图22中，为了便于说明，省略了与自动应答AI关联的图像50和自动应答AI的发言内容的图示。

例如与图14同样地，将表示服务的内容的信息作为用户的发言内容122而输入至终端装 置10，紧跟着所述发言内容122，将文件的信息(例如电子表格文件A的信息)作为用户的 发言内容124而输入至终端装置10。控制部26将发言内容122、124发送至自动应答AI。自 动应答AI识别发言内容122、124所表示的服务的内容或文件。

紧跟着发言内容124，将文件的信息(例如电子表格文件C的信息)作为作为用户的发言 内容126而输入至终端装置10。控制部26将发言内容126发送至自动应答AI。自动应答AI 识别发言内容126所表示的文件。发言内容126所表示的电子表格文件C的信息是与之前的 发言内容124所表示的电子表格文件A的信息属于相同阶层的信息。此时，确定部28将后来 的发言内容126所表示的电子表格文件C取代先前的发言内容124所表示的电子表格文件A 而识别为用户的指示内容中所含的信息。即，确定部28将电子表格文件C取代电子表格文件 A而识别为处理对象文件。

在发言内容126之后，将文件的信息(例如图像文件B的信息)作为用户的发言内容128 而输入至终端装置10。此时，与所述具体例1同样地，确定部28将“将图像文件B追加至电 子表格文件C中”处理确定为具体的处理内容。

作为文件以外的结构，输入机器或功能的信息来作为用户发言内容时也同样。

另外，即使在连续输入有属于相同阶层的多个结构的信息的情况下，也有时并非使用后 来输入的结构来取代先输入的结构，而是对先输入的结构追加使用后来输入的结构。图22所 示的示例中，存在对电子表格文件A、C追加图像文件B的情况。例如，在画面48上显示用 于追加结构的按钮图像，当用户按下所述按钮图像来输入发言内容126时，确定部28将电子 表格文件A、C这两者识别为处理对象文件。另一方面，当用户未按下按钮图像而输入发言内 容126时，确定部28将电子表格文件C取代电子表格文件A而识别为处理对象文件。作为另 一例，也可为：当用户输入表示结构追加的字符串后输入发言内容126时，确定部28将电子 表格文件A、C这两者识别为处理对象文件。

根据具体例7，能够以简便的操作来修正用户的指示内容。

(具体例8)

以下对具体例8进行说明。在具体例8中，作为用户的发言内容，在将属于下位阶层的 信息输入至终端装置10而发送给自动应答AI后，将属于上位阶层的信息输入至终端装置10 而发送给自动应答AI时，确定部28识别为由用户给予了服务的变更指示。以下，参照图23 来详细说明具体例8。

图23中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。另外，在图23中，为了便于说明，省略了与自动应答AI关联的图像50和自动应答AI的发言内容的图示。

例如与图14同样地，将表示服务的内容的信息(属于最上位阶层的信息)作为用户的发 言内容130而输入至终端装置10，紧跟着所述发言内容130，将电子表格文件A的信息(属 于下位阶层的信息)作为用户的发言内容132而输入至终端装置10。用户所请求的服务是“将 收据追加至表中”。控制部26将发言内容130、132发送至自动应答AI。自动应答AI识别发 言内容130、132所表示的服务的内容或文件。

紧跟着发言内容132，将表示服务的内容的信息(属于最上位阶层的信息)作为用户的发 言内容134而输入至终端装置10。用户所请求的服务是“进行网上购物(netshopping)”。控 制部26将发言内容134发送至自动应答AI。自动应答AI识别发言内容134所表示的服务的 内容。

如此，当在表示属于下位阶层的信息的发言内容132之后，将表示属于上位阶层的信息 的发言内容134输入至终端装置10而发送给自动应答AI时，确定部28识别为由用户给予了 服务的变更指示。即，确定部28识别为：由用户指定了发言内容134所表示的“进行网上购 物”这一服务，来取代发言内容130所表示的“将收据追加至表中”这一服务。此时，确定 部28基于发言内容134以后的发言内容来识别处理内容。

紧跟着发言内容134，将邮购站点(site)(例如国际互联网上的主页(homepage))的地 址信息(例如统一资源定位符(Uniform Resoure Locator，URL))作为用户的发言内容136 而输入至终端装置10。控制部26将发言内容136发送至自动应答AI。自动应答AI识别发言 内容136所表示的地址信息。此时，确定部28基于发言内容134、136来识别应执行的处理 内容。图23所示的示例中，确定部28确定“访问(access)由用户所输入的邮购站点的地址 信息”这一处理内容。控制部26例如启动网页浏览器(Web browser)来访问所述邮购站点。 而且，控制部26也可使表示所述处理内容的信息作为自动应答AI的发言内容而显示于显示 区域48a内。当用户给予了访问指示时，控制部26例如启动网页浏览器来访问所述邮购站点。

根据具体例8，能够以简便的操作来变更服务的内容。

(具体例9)

以下对具体例9进行说明。在具体例9中，当用户长按显示有自身的发言内容的区域时 (将所述区域指定了预定时间以上时)，控制部26使用于编辑所述发言内容的编辑画面显示 于UI部20。以下，参照图24来详细说明具体例9。

图24中表示了画面48。在画面48上，与图14同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。另外，在图24中，为了便于说明，省略了与自动应答AI关联的图像50和自动应答AI的发言内容的图示。

例如，当由用户将表示服务的内容的发言内容138、表示电子表格文件A的发言内容140、 及表示图像文件B的发言内容142输入至终端装置10。控制部26将发言内容138、140、142 发送至自动应答AI，自动应答AI将发言内容138、140、142所表示的信息识别为用户的指示 内容。

此处，说明对已发送至自动应答AI的发言内容140进行编辑的情况。当用户在画面48 上长按显示有发言内容140的区域时，控制部26探测到所述长按，使用于编辑发言内容140 的编辑画面显示于UI部20的显示部。当用户在编辑画面上编辑发言内容140时，将反映出 此编辑的发言内容140显示于原本的位置。控制部26将反映出编辑的发言内容140发送至自 动应答AI。自动应答AI将反映出编辑的发言内容140所示的信息取代编辑前的发言内容140 而识别为用户的指示内容。

根据具体例9，能够以简便的操作来编辑已发送至自动应答AI的发言内容。

(具体例10)

以下，参照图24及图25来说明具体例10。图25中表示了画面48。

例如，如图24所示，由用户将表示服务的内容的发言内容138、表示电子表格文件A的 发言内容140、及表示图像文件B的发言内容142输入至终端装置10。控制部26将发言内容 138、140、142发送至自动应答AI，自动应答AI将发言内容138、140、142所表示的信息识别为用户的指示内容。

当用户使用UI部20来给予发言内容140的删除指示，紧接着，如图25所示，在发言内 容140的显示位置插入新的发言内容144时，控制部26将新的发言内容144作为取代原本的 发言内容140的发言内容而发送至自动应答AI。自动应答AI取代原本发言内容140而将新的 发言内容144所表示的信息识别为用户的指示内容。例如，作为原本的发言内容140，将电子 表格文件A的信息输入至终端装置10，而作为新的发言内容144，将电子表格文件C的信息 输入至终端装置10。此时，自动应答AI将电子表格文件C取代电子表格文件A而识别为用 户的指示内容。

当然，用户也可不删除发言内容，而在多个发言内容之间插入新的发言内容。例如，在 图24所示的示例中，用户也可不删除发言内容140，而在发言内容140与发言内容142之间 插入新的发言内容。此时，控制部26将所述新的发言内容发送至自动应答AI，自动应答AI 将所述新的发言内容所表示的信息识别为用户的指示内容。

根据具体例10，能够以简便的操作来编辑已发送至自动应答AI的发言内容。

以下，对利用多个机器来执行联动功能时的动作进行说明。当执行联动功能时，从终端 装置10对作为联动对象的各机器发送连接请求，终端装置10与各机器相连接。以下，参照 图26来说明此连接处理。图26是表示此处理的序列图。

在终端装置10中，当由用户指定了多功能一体机B与PC(A)来作为联动对象机器时(即， 将多功能一体机B与PC(A)的信息作为用户的对话内容而发送至自动应答AI时)，终端装 置10将表示连接请求的信息发送至联动对象机器(多功能一体机B与PC(A))(S01)。所述发送的控制也可由自动应答AI来进行。例如，当在服务器16中存储有作为联动对象的各机器的地址信息时，终端装置10从服务器16获取各机器的地址信息。当设备识别信息中含有地址信息时，终端装置10的控制部26从各机器的设备识别信息获取地址信息。地址信息的获取处理也可由自动应答AI来进行。当然，也可在终端装置10的存储部24中存储各机器的地址信息。终端装置10也可通过其他方法来获取各机器的地址信息。终端装置10使用作为联动对象的各机器(例如多功能一体机B与PC(A))的地址信息，将表示连接请求的信息发送至作为联动对象的各机器。

收到表示连接请求的信息的多功能一体机B与PC(A)判断与终端装置10的连接的允许 或不允许(S02)。例如，在多功能一体机B与PC(A)相当于不允许连接的机器的情况下、或者相当于请求连接的装置数量超过上限的机器的情况下，则不允许连接。另外，在允许了来自终端装置10的连接的情况下，也可禁止变更操作，以免多功能一体机B与PC(A)各自 的固有设定信息从终端装置10受到变更。例如，也可禁止多功能一体机B的色彩参数、或跳 转至省电时的设定时间等的变更。由此，对于联动对象机器的安全性提高。作为另一例，当 使机器联动时，与不使所述机器联动而单独利用的情况相比，也可限制设定信息的变更。例如，与单独利用机器的情况相比，也可允许更少的设定项目的变更。而且，也可禁止运行历史之类的其他用户的个人信息的阅览。由此，对于用户个人信息的安全性提高。

表示连接的允许或不允许的结果信息从多功能一体机B与PC(A)发送至终端装置10 (S03)。当允许对多功能一体机B与PC(A)的连接时，在终端装置10与多功能一体机B 之间建立通信，进而，在终端装置10与PC(A)之间建立通信。

接下来，在终端装置10中，用户指示联动功能(例如“打印功能”)的执行(S04)。终端装置10根据所述指示，将表示联动功能的执行指示的信息(执行指示信息)发送至作为联动对象的各机器(多功能一体机B与PC(A))(S05)。所述发送的控制也可由自动应答AI 来进行。在发送至多功能一体机B的执行指示信息中，包含表示由多功能一体机B来执行的 处理的信息(例如作业(job)信息)，在发送至PC(A)的执行指示信息中，包含表示由PC (A)来执行的处理的信息(例如作业信息)。

收到执行指示信息的多功能一体机B与PC(A)依照执行指示信息来执行联动功能(例 如“打印功能”)(S06)。当执行对象的联动功能中包含在多功能一体机B与PC(A)之间进行数据收发的处理时，在多功能一体机B与PC(A)之间建立通信。例如，在发送至多功能 一体机B的执行指示信息中包含PC(A)的地址信息，在发送至PC(A)的执行指示信息中 包含多功能一体机B的地址信息。使用这些地址信息，在多功能一体机B与PC(A)之间建 立通信。所述通信建立后，PC(A)将作为打印对象的图像数据发送至多功能一体机B，多功 能一体机B将所述图像数据打印到作为记录介质的纸张上。

当联动功能的执行结束时，表示联动功能的执行完成的信息从多功能一体机B与PC(A) 发送至终端装置10(S07)。在终端装置10的UI部20上，显示表示联动功能的执行已完成的 信息(S08)。另外，若即使从给予执行指示的时间点经过了预先设定的时间仍未显示表示执 行完成的信息，则终端装置10的控制部26也可使表示错误(error)的信息显示于UI部20， 并再次将执行指示信息或表示连接请求的信息发送至多功能一体机B与PC(A)。

接下来，用户确认是否解除多功能一体机B与PC(A)的联动状态(S09)，并执行与解除的有无相应的处理(S10)。当解除联动状态时，用户利用终端装置10来给予解除指示。由此，终端装置10与多功能一体机B之间的通信解除，进而，终端装置10与PC(A)之间的 通信解除。同样，多功能一体机B与PC(A)之间的通信也解除。若不解除联动状态，则也 可继续给予执行指示。

本实施方式也可适用于设定基于机器人过程自动化(Robotics ProcessAutomation，RPA) 的自动执行处理时。例如，当由设定者将与机器、功能或文件相关的信息发送至自动应答AI 时，将所述所发送的信息的组合、及与此组合对应的联动功能保存为设定内容，并依照所述 设定内容来执行处理。作为RPA，例如也可进行数据输入或通过多个应用软件的组合可执行 的作业等程式化处理、数据的收集或分析等处理、基于数据来进行学习判断的处理等。

作为一例，所述终端装置10、机器12、14及服务器16各自是通过硬件与软件的协动来 实现。具体而言，终端装置10、机器12、14及服务器16各自具备未图示的CPU等一个或多个处理器。所述一个或多个处理器通过读出未图示的存储装置中存储的程序来执行，从而实 现终端装置10、机器12、14及服务器16各自的各部的功能。所述程序是经由光盘(Compact Disc，CD)或数字通用光盘(Digital Versatile Disk，DVD)等记录介质，或者经由网络(network) 等通信路径而存储在存储装置中。作为另一例，终端装置10、机器12、14及服务器16各自 的各部例如也可通过处理器、电子电路或专用集成电路(ApplicationSpecific Integrated Circuit， ASIC)等硬件资源而实现。在此实现中，也可利用存储器等元件。作为又一例，终端装置10、 机器12、14及服务器16各自的各部也可通过数字信号处理器(Digital Signal Processor，DSP) 或现场可编程门阵列(Field Programmable GateArray，FPGA)等而实现。

Claims (22)

1.一种信息处理装置，包括：

控制部件，当在供用户与对话对方进行对话的接口中，将包含表示服务的内容的信息和被用于所述服务的结构的信息的指示内容发送至所述对话对方时，对跟与所述指示内容对应的处理相关的信息的通知进行控制。

2.根据权利要求1所述的信息处理装置，其特征在于，

当将图像文件用于作为所述结构时，将所述图像文件插入被用于所述服务的特定的文件。

3.根据权利要求1或2所述的信息处理装置，其特征在于，

所述对话对方构成为，为了提供所述服务而发出具有阶层结构的问询，

所述指示内容中包含用户针对问询的回答。

4.根据权利要求3所述的信息处理装置，其特征在于，

所述对话对方构成为，以上位阶层至下位阶层的顺序来发出属于各阶层的问询，来作为具有所述阶层结构的问询。

5.根据权利要求4所述的信息处理装置，其特征在于，

所述对话对方构成为，根据用户针对问询的回答，来发出属于同一阶层的问询、或属于下位阶层的问询。

6.根据权利要求1至5中任一项所述的信息处理装置，其特征在于，

作为与所述处理相关的信息，所述控制部件对与用户针对预定数量的问询的回答相应的信息的通知进行控制。

7.根据权利要求1至6中任一项所述的信息处理装置，其特征在于，

所述指示内容中包含具有阶层结构的回答。

8.根据权利要求7所述的信息处理装置，其特征在于，

所述控制部件在属于构成所述指示内容的多个阶层中的预定数量的阶层的信息被发送至所述对话对方时，对与根据被发送至所述对话对方的信息而确定的所述处理相关的信息的通知进行控制。

9.根据权利要求7或8所述的信息处理装置，其特征在于，

当属于相同阶层的多个信息作为所述指示内容被连续发送至所述对话对方时，使用后来发送的信息取代先发送的信息来作为所述指示内容中所含的信息。

10.根据权利要求7至9中任一项所述的信息处理装置，其特征在于，

当属于下位阶层的信息被发送至所述对话对方后，属于上位阶层的信息被发送至所述对话对方时，给予所述服务的变更指示。

11.根据权利要求7至10中任一项所述的信息处理装置，其特征在于，

所述控制部件使所述指示内容中所含的各信息依照向所述对话对方的发送顺序而显示于所述接口，并将插入所述各信息的排列中途的新的信息作为所述指示内容中所含的信息而发送至所述对话对方。

12.根据权利要求7至10中任一项所述的信息处理装置，其特征在于，

所述控制部件在所述指示内容中所含的信息被删除而输入有新的信息时，将所述新的信息作为所述指示内容中所含的信息而发送至所述对话对方。

13.根据权利要求1至12中任一项所述的信息处理装置，其特征在于，

与所述处理相关的信息是表示用于执行所述处理的功能的候补的信息。

14.根据权利要求13所述的信息处理装置，其特征在于，

所述控制部件在格式互不相同的多个数据作为所述指示内容中所含的信息被发送至所述对话对方时，对能够使用所述多个数据来执行的功能的通知进行控制，以作为与所述处理相关的信息的通知的控制。

15.根据权利要求1至14中任一项所述的信息处理装置，其特征在于，

所述控制部件对跟与在限制时间内发送至所述对话对方的所述指示内容相应的所述处理相关的信息的通知进行控制。

16.根据权利要求1至15中任一项所述的信息处理装置，其特征在于，

所述用户能够参与多人对话。

17.根据权利要求1至16中任一项所述的信息处理装置，其特征在于，

所述对话对方能够参与多人对话。

18.根据权利要求1至17中任一项所述的信息处理装置，其特征在于，

当将图像文件用于作为所述结构时，从显示于所述接口中的特定区域的一个或多个图像中指定所述图像文件。

19.根据权利要求1至18中任一项所述的信息处理装置，其特征在于，

所述控制部件进而对用于编辑被发送至所述对话对方的所述结构的编辑画面的显示进行控制，当所述编辑结束时在所述结构中反映出所述编辑。

20.根据权利要求1至19中任一项所述的信息处理装置，其特征在于，

所述指示内容由所述用户的语音所输入。

21.一种信息处理方法，包括：

当在供用户与对话对方进行对话的接口中，将包含表示服务的内容的信息和被用于所述服务的结构的信息的指示内容发送至所述对话对方时，对跟与所述指示内容对应的处理相关的信息的通知进行控制。

22.一种存储程序的计算机可读介质，所述程序使计算机执行信息处理，所述信息处理包括：

当在供用户与对话对方进行对话的接口中，将包含表示服务的内容的信息和被用于所述服务的结构的信息的指示内容发送至所述对话对方时，对跟与所述指示内容对应的处理相关的信息的通知进行控制。