CN109495664B - 信息处理装置以及存储程序的计算机可读介质 - Google Patents

信息处理装置以及存储程序的计算机可读介质 Download PDF

Info

Publication number
CN109495664B
CN109495664B CN201811009666.8A CN201811009666A CN109495664B CN 109495664 B CN109495664 B CN 109495664B CN 201811009666 A CN201811009666 A CN 201811009666A CN 109495664 B CN109495664 B CN 109495664B
Authority
CN
China
Prior art keywords
function
information
image
user
interlocking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811009666.8A
Other languages
English (en)
Other versions
CN109495664A (zh
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN109495664A publication Critical patent/CN109495664A/zh
Application granted granted Critical
Publication of CN109495664B publication Critical patent/CN109495664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229—Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1231—Device related settings, e.g. IP address, Name, Identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00344—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a management, maintenance, service or repair apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229—Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1232—Transmitting printer device capabilities, e.g. upon request or periodically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1275—Print workflow management, e.g. defining or changing a workflow, cross publishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00477—Indicating status, e.g. of a job
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H04N1/00954—Scheduling operations or managing resources

Abstract

本发明为一种信息处理装置与存储程序的计算机可读介质，提供可执行的联动功能的信息。当在供用户与对话对方进行对话的接口中，将联动对象的信息发送至对话对方时，对可利用所述联动对象来执行的联动功能的通知进行控制。

Description

信息处理装置以及存储程序的计算机可读介质
技术领域
本发明涉及一种信息处理装置以及存储程序(program)的计算机可读介质。
背景技术
专利文献1中揭示了一种技术，其生成使附加信息重叠于与图像形成装置相关的摄像图像的扩展现实图像并予以显示。
现有技术文献
专利文献
专利文献1：日本专利特开2014-48672号公报
发明内容
[发明所要解决的问题]
本发明的目的在于提供可执行的联动功能的信息。
[解决问题的技术手段]
技术方案1所述的发明是一种信息处理装置，其包括：控制部件，当在供用户与对话对方进行对话的接口中，将联动对象的信息发送至所述对话对方时，对可利用所述联动对象来执行的联动功能的通知进行控制。
技术方案2所述的发明是根据技术方案1所述的信息处理装置，其中，所述控制部件在将多个联动对象的信息发送至所述对话对方时，对可利用所述多个联动对象来执行的联动功能的通知进行控制。
技术方案3所述的发明是根据技术方案2所述的信息处理装置，其中，所述控制部件根据发送所述多个联动对象的信息的顺序，来改变联动功能的通知。
技术方案4所述的发明是根据技术方案2或技术方案3所述的信息处理装置，其中，所述控制部件在将表示所述多个联动对象的图像发送至所述对话对方时，对可利用所述多个联动对象来执行的联动功能的通知进行控制。
技术方案5所述的发明是根据技术方案1至技术方案4中任一技术方案所述的信息处理装置，其中，所述控制部件使一个或多个联动对象的候补的信息显示于所述接口，将从所述候补中选择的联动对象的信息发送至所述对话对方。
技术方案6所述的发明是根据技术方案1至技术方案5中任一技术方案所述的信息处理装置，其中，所述联动对象为机器，所述控制部件在将作为所述联动对象的信息的所述机器的信息发送至所述对话对方时，对可利用所述机器来执行的联动功能的通知进行控制。
技术方案7所述的发明是根据技术方案6所述的信息处理装置，其中，所述机器的信息为与所述机器关联的图像。
技术方案8所述的发明是根据技术方案7所述的信息处理装置，其中，与所述机器关联的图像为所述机器的外观图像。
技术方案9所述的发明是根据技术方案8所述的信息处理装置，其中，所述外观图像是通过拍摄所述机器而获得的图像。
技术方案10所述的发明是根据技术方案9所述的信息处理装置，其中，所述控制部件将在所述对话对方发出与机器相关的问询后所拍摄的所述外观图像发送至所述对话对方。
技术方案11所述的发明是根据技术方案6至技术方案10中任一技术方案所述的信息处理装置，其中，所述联动对象为所述机器的部分，所述控制部件在将作为所述机器的信息的所述部分的信息发送至所述对话对方时，对可利用所述部分来执行的联动功能的通知进行控制。
技术方案12所述的发明是根据技术方案6至技术方案11中任一技术方案所述的信息处理装置，其中，作为联动功能的通知，所述控制部件对用于控制所述机器以执行联动功能的接口的通知进行控制。
技术方案13所述的发明是根据技术方案1至技术方案5中任一技术方案所述的信息处理装置，其中，所述联动对象为功能，所述控制部件在将作为所述联动对象的信息的所述功能的信息发送至所述对话对方时，对可利用所述功能而执行的联动功能的通知进行控制。
技术方案14所述的发明是根据技术方案13所述的信息处理装置，其中，所述功能的信息为与所述功能关联的图像。
技术方案15所述的发明是根据技术方案1至技术方案5中任一技术方案所述的信息处理装置，其中，所述联动对象为机器和功能，所述控制部件在将作为所述联动对象的信息的所述机器和所述功能的信息发送至所述对话对方时，对可利用所述机器和所述功能来执行的联动功能的通知进行控制。
技术方案16所述的发明是根据技术方案15所述的信息处理装置，其中，所述联动对象为所述机器的部分和所述功能，所述控制部件在将作为所述机器的信息的所述部分的信息和所述功能的信息发送至所述对话对方时，对可利用所述部分和所述功能来执行的联动功能的通知进行控制。
技术方案17所述的发明是根据技术方案1至技术方案5中任一技术方案所述的信息处理装置，其中，所述联动对象为文件，所述控制部件在将作为所述联动对象的信息的所述文件的信息发送至所述对话对方时，对可利用所述文件来执行的联动功能的通知进行控制。
技术方案18所述的发明是根据技术方案17所述的信息处理装置，其中，所述控制部件根据所述文件的格式来改变联动功能的通知。
技术方案19所述的发明是根据技术方案1至技术方案5中任一技术方案所述的信息处理装置，其中，所述联动对象为软件，所述控制部件在将作为所述联动对象的信息的所述软件的信息发送至所述对话对方时，对可利用所述软件来执行的联动功能的通知进行控制。
技术方案20所述的发明是根据技术方案1至技术方案5中任一技术方案所述的信息处理装置，其中，所述联动对象为机器、功能、文件及软件中的至少两个的组合，所述控制部件在将作为所述联动对象的信息的所述组合的信息发送至所述对话对方时，对可利用所述组合来执行的联动功能的通知进行控制。
技术方案21所述的发明是一种存储程序的计算机可读介质，所述程序使计算机(computer)执行信息处理，其中，所述信息处理包括：当在供用户与对话对方进行对话的接口中，将联动对象的信息发送至所述对话对方时，对可利用所述联动对象来执行的联动功能的通知进行控制。
[发明的效果]
根据技术方案1、技术方案21所述的发明，提供可执行的联动功能的信息。
根据技术方案2所述的发明，在发送多个联动对象的信息的情况下，提供可执行的联动功能的信息。
根据技术方案3所述的发明，提供与发送联动对象的信息的顺序相应的联动功能的信息。
根据技术方案4所述的发明，通过将图像发送至对话对方，从而提供联动功能的信息。
根据技术方案5所述的发明，通过从候补中选择联动对象，从而提供联动功能的信息。
根据技术方案6所述的发明，提供可利用机器来执行的联动功能的信息。
根据技术方案7、技术方案8、技术方案9、技术方案10所述的发明，通过将与机器关联的图像发送至对话对方，从而提供联动功能的信息。
根据技术方案11所述的发明，提供可利用机器的部分来执行的联动功能的信息。
根据技术方案12所述的发明，可利用接口来控制机器。
根据技术方案13所述的发明，提供可利用功能来执行的联动功能的信息。
根据技术方案14所述的发明，通过将与功能关联的图像发送至对话对方，从而提供联动功能的信息。
根据技术方案15所述的发明，提供可利用机器和功能来执行的联动功能的信息。
根据技术方案16所述的发明，提供可利用机器的部分和功能来执行的联动功能的信息。
根据技术方案17所述的发明，提供可利用文件来执行的联动功能的信息。
根据技术方案18所述的发明，提供与文件的格式相应的联动功能的信息。
根据技术方案19所述的发明，提供可利用软件来执行的联动功能的信息。
根据技术方案20所述的发明，提供可利用机器、功能、文件及软件中的至少两个的组合来执行的联动功能的信息。
附图说明
图1是表示本发明的第1实施方式的机器系统的结构的框图。
图2是表示终端装置的结构的框图。
图3是表示图像形成装置的结构的框图。
图4是表示服务器的结构的框图。
图5是表示图像形成装置的外观的示意图。
图6是表示机器功能管理表的图。
图7是表示联动功能管理表的图。
图8是表示画面的图。
图9是表示画面的图。
图10是表示画面的图。
图11是表示画面的图。
图12是表示机器系统的动作的序列图。
图13是表示画面的图。
图14A及图14B是表示合成图像的图。
图15是表示变形例3的联动功能管理表的图。
图16是表示画面的图。
图17是表示画面的图。
图18是表示变形例4的机器功能管理表的图。
图19A及图19B是表示机器图像的图。
图20A及图20B是表示机器图像的图。
图21是表示画面的图。
图22是表示画面的图。
图23是表示变形例4的机器功能管理表的另一例的图。
图24是表示变形例4的联动功能管理表的图。
图25是表示画面的图。
图26是表示第2实施方式的联动功能管理表的图。
图27是表示画面的图。
图28是表示画面的图。
图29是表示画面的图。
图30是表示第3实施方式的联动功能管理表的图。
图31是表示画面的图。
图32是表示画面的图。
图33是表示第4实施方式的联动功能管理表的图。
图34是表示画面的图。
图35是表示画面的图。
图36是表示画面的图。
图37是表示画面的图。
图38是表示画面的图。
图39A至图39E是表示与对话对方关联的图像的图。
图40A至图40E是表示与对话对方关联的图像的图。
图41是表示画面的图。
图42是表示画面的图。
图43是表示画面的图。
图44是表示画面的图。
图45是表示画面的图。
[符号的说明]
10：终端装置
12：机器(图像形成装置)
14：机器
16：服务器
18、30、40：通信部
20、36：UI部
22：摄像机
24、34、42：存储部
26、38、44：控制部
28：确定部
32：图像形成部
46：标记
48、78、78a、78b：画面
48a、48b：显示区域
50、50a、52、82、140、160、178、188a：图像
50b：背景图像
54、68、70、72、74、76、80、84、86、88、90、100、102、104、106、108、110、112、114、116、118、120、128、130、132、134、136、138、142、144、146、148、150、152、156、158、162、164、166、174、176、180、182、184、186、190、192、194、196、198、200、202、204、208、210、212、214、218、220、222、224、226、228、230、234、236、240、242、244、246、248、250、254、256、258、260、262、264、266、268、270、272、274、276、280、282、284、286、288、292、294、296、298：发言内容
56、60、62、96、98、188、216：机器图像
58、124、170：备选区域
64、66：箭头
92、94：合成图像
96a、96b、96c、98a、98b、98c、206、232：部分图像
122、126、154、238、252：功能图像
168、172、278、290：文件图像
A：PC
B：多功能一体机
N：通信路径
S01～S10：步骤
具体实施方式
＜第1实施方式＞
参照图1来说明本发明的第1实施方式的作为信息处理系统的机器系统。图1中表示了第1实施方式的机器系统的一例。
作为一例，第1实施方式的机器系统包含终端装置10、多个机器(例如机器12、14)、以及作为外部装置的一例的服务器(server)16。图1所示的示例中，终端装置10、机器12、机器14及服务器16具备经由网络(network)等通信路径N而彼此通信的功能。当然，终端装置10、机器12、机器14及服务器16也可不利用通信路径N，而分别经由不同的通信路径来与其他装置进行通信。图1所示的示例中，在机器系统中包含两个机器(机器12、14)，但也可在机器系统中包含三个以上的机器。而且，在机器系统中也可包含多个终端装置10或多个服务器16。另外，服务器16也可不包含在机器系统中。
终端装置10为个人计算机(Personal Computer，PC)、平板(tablet)PC、智能电话(smartphone)、移动电话等装置，具有与其他装置之间收发数据的功能。而且，终端装置10也可为可穿戴式(wearable)终端(手表型终端、腕带(wristband)型终端、眼镜型终端、戒指型终端、隐形眼镜(contact lens)型终端、体内植入型终端、可听式(hearable)终端等)。终端装置10例如在机器的利用时作为用户接口部(UI(User Interface)部)发挥功能。
机器12、14为具有功能的装置，例如为具备图像形成功能的图像形成装置、PC、平板PC、智能电话、移动电话、机器人(robot)(人型机器人、人以外的动物型机器人、除这些以外的机器人等)、投影机(projector)、液晶显示器(display)等显示装置、记录装置、再生装置、摄像机(camera)等摄像装置、冰箱、电饭煲、微波炉、咖啡机(coffee maker)、吸尘器、洗衣机、空调机、照明机器、时钟、监控摄像机、汽车、二轮车、飞机(例如无人飞机(所谓的遥控无人驾驶飞机(drone)))、游戏机、各种传感(sensing)机器(例如温度传感器(sensor)、湿度传感器、电压传感器、电流传感器等)等装置。机器12、14既可为对用户输出一输出(output)的机器(例如图像形成装置或PC等)，也可为不对用户输出一输出的机器(例如传感机器)。而且，既可以是执行后述的联动功能的多个机器中的所有机器为对用户输出一输出的机器，也可以是一部分机器为对用户输出一输出的机器，而其他机器为不对用户输出一输出的机器，还可以是所有机器为不对用户输出一输出的机器。机器12、14的概念范畴也可包含全盘机器。例如，信息机器、影像机器、音响机器、其他机器均可包含在本实施方式的机器的范畴内。而且，机器12、14具有与其他装置之间收发数据的功能。
服务器16是进行数据的管理、用户信息的管理、机器12、14的管理等的装置。而且，服务器16具有与其他装置之间收发数据的功能。
在终端装置10中，使用具有与用户进行对话的功能的对话对方。所述对话对方例如具有下述功能，即，接受用户的发言，对所述发言内容进行分析，由此来制作针对此发言的回答等回应并提供给用户。例如，用户的发言是通过文字输入、语音输入、图像输入等来进行，回答等回应是通过文字输出、语音输出、图像输出等来进行。对话对方例如是通过执行程序而实现，此程序例如被安装在终端装置10中。当然，也可为：与对话对方相关的程序被安装于服务器16等外部装置，对话对方的功能是从服务器16等外部装置提供给终端装置10。
所述对话对方例如包含通过人工智能(Artificial Intelligence，AI)而实现的自动应答AI。自动应答AI具有下述功能，即，对用户的发言内容进行分析，并将针对所述发言内容的回答等回应提供给用户。自动应答AI也可为所谓的聊天机器人(chatbot)(活用人工智能的自动会话程序)。自动应答AI也可具有下述能力，即，具有基于人工智能的学习功能，通过所述学习功能来进行接近人的判断。而且，也可利用神经网络型深度学习(deeplearning)，还可利用局部强化学习领域的强化学习等，除此以外，还可利用遗传算法(algorithm)、聚类(cluster)分析、自组织映射(self-organizing map)、集成(ensemble)学习等。当然，也可利用除这些以外的与人工智能相关的技术。
通过利用自动应答AI，一边由用户与自动应答AI进行对话，一边进行各机器所具有的功能的通知、或可利用多个功能来执行的联动功能的通知等。另外，各机器所具有的功能或联动功能的确定处理既可由终端装置10来进行，也可由服务器16等外部装置来进行。以下设为由终端装置10来进行所述确定处理。
以下，参照图2来详细说明终端装置10的结构。
通信部18为通信接口，具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部18既可为具有无线通信功能的通信接口，也可为具有有线通信功能的通信接口。通信部18例如也可支持一种或多种通信方式，依照适合于通信对方的通信方式(即，通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、Wi-Fi(注册商标)通信、接近式无线通信(例如近场通信(Near FieldCommunication，NFC)等)等。作为接近式无线通信，使用Felica(注册商标)、蓝牙(Bluetooth)(注册商标)、射频识别(Radio Frequency Identifier，RFID)等。当然，也可使用其他方式的无线通信作为接近式无线通信。通信部18例如既可根据通信对方来切换通信方式或频带，也可根据周围环境来切换通信方式或频带。
UI部20为用户接口部，包含显示部与操作部。显示部例如为液晶显示器等显示装置。操作部例如为触控面板(touch panel)或键盘(keyboard)等输入装置。当然，也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。而且，UI部20也可包含麦克风(microphone)等拾音部或扬声器(speaker)等声音产生部。此时，既可通过语音输入来将信息输入至终端装置10，也可通过语音来发出信息。
在UI部20的显示部上，例如也可显示由摄像机所拍摄的图像、或者与被识别为利用对象机器(例如单独利用的机器或联动对象机器)的机器关联的图像、与功能关联的图像等。与机器关联的图像既可为由摄像机所拍摄的表示所述机器的图像(静态图像或动态图像)，也可为示意性地表示所述机器的图像(例如图标(icon))。示意性地表示的图像的数据例如既可由终端装置10的控制部26来制作，也可预先存储在终端装置10的存储部24中，还可存储在服务器16中并从服务器16提供给终端装置10，还可存储在其他装置中并从所述其他装置提供给终端装置10。与功能关联的功能图像例如是表示此功能的图标等图像。
作为拍摄部件的摄像机22通过对拍摄对象进行拍摄而生成图像数据(例如静态图像数据或动态图像数据)。图像例如被显示于UI部20的显示部。显示于显示部的图像也可由用户进行操作。另外，也可由外部的摄像机所拍摄的图像数据经由通信路径发送至终端装置10，并将此图像显示于UI部20的显示部。此时，此图像也可由用户进行操作。
存储部24是硬盘(hard disk)或存储器(memory)(例如固态硬盘(Solid StateDrive，SSD)等)等存储装置。在存储部24中，例如存储有机器功能管理信息、联动功能管理信息、各种数据、各种程序(例如操作系统(Operating System，OS)、用于实现自动应答AI的程序(软件(software))、各种应用程序(application program)(应用软件)等)、表示各机器的地址(address)的信息(机器地址信息)、表示服务器16的地址的信息(服务器地址信息)、与所识别的机器相关的信息、与所识别的联动对象机器相关的信息、与所识别的机器所具有的功能相关的信息、与联动功能相关的信息等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。另外，用于实现自动应答AI的程序也可存储在服务器16等外部装置中，通过由外部装置来执行所述程序自身，从而将自动应答AI的功能从外部装置提供给终端装置10。此时，用于实现自动应答AI的程序也可不存储在存储部24中。
以下，对机器功能管理信息与联动功能管理信息进行说明。
机器功能管理信息是用于对各机器所具有的功能进行管理的信息，例如是表示用于识别机器的设备识别信息(机器识别信息)与功能信息的对应的信息，所述功能信息表示所述机器所具有的功能。设备识别信息例如是机器ID、机器名称、表示机器种类的信息、机器的型号、用于管理机器的信息(例如资产管理编号等)、表示设置机器的位置的信息(机器的位置信息)、与机器关联的机器图像、机器的地址信息等。机器图像例如是表示机器的外观图像。外观图像既可为表示机器外侧(例如机器的框体)的图像，也可为表示打开框体而从外部看到内部的状态(例如内部结构)的图像，还可为表示由包装用片材(sheet)等覆盖着机器的状态的图像。机器图像既可为通过拍摄机器而生成的图像(表示机器外侧的图像或表示内部的图像等)，也可为模仿机器的图像(例如图标等)。功能信息例如为功能ID或功能名称等。例如，当机器12为图像形成装置且所述图像形成装置具有打印(print)功能、扫描(scan)功能及复印(copy)功能时，作为一例，所述图像形成装置的设备识别信息对应有表示打印功能的功能信息、表示扫描功能的功能信息、及表示复印功能的功能信息。通过参照机器功能管理信息，来确定(识别)各机器所具有的功能。
通过机器功能管理信息而受到管理的机器例如为包含在机器系统中的机器(例如机器12、14)。当然，未包含在机器系统中的机器也可通过机器功能管理信息而受到管理。例如，终端装置10也可获取与未包含在机器系统中的新的机器相关的信息(包含设备识别信息与功能信息的信息)，并新登记到机器功能管理信息中。与机器相关的信息例如既可通过利用国际互联网(Internet)等来获取，也可由管理者等予以输入。而且，终端装置10也可在任意时机(timing)、定期地或者在由管理者等所指定的时机等，更新机器功能管理信息。由此，有时会将表示在更新前机器不具有而在更新后机器所具有的功能的功能信息登记到机器功能管理信息中。同样，有时将表示在更新前机器具有而在更新后机器不具有的功能的功能信息从机器功能管理信息中予以删除，或者登记为不可用信息。更新用的信息例如既可通过利用国际互联网等而获取，也可由管理者等予以输入。当然，终端装置10自身也可不获取与机器相关的信息来执行机器功能管理信息的生成或更新，而是由服务器16等外部装置获取与机器相关的信息来执行机器功能管理信息的生成或更新。此时，由外部装置所生成或更新的机器功能管理信息是从外部装置发送至终端装置10并存储在存储部24中。
联动功能管理信息是用于对通过使多个功能联动而执行的联动功能进行管理的信息。通过使多个功能联动，来执行一个或多个联动功能。联动功能例如既可为通过使一个机器(例如机器12)所具有的多个功能联动而可执行的功能，也可为通过使多个机器(例如机器12、14)所具有的多个功能联动而可执行的功能。而且，发出操作指示的终端装置10也可被用作联动对象机器，终端装置10所具有的功能也可被用作联动功能的一部分。
联动功能也可为不利用作为硬件(hardware)的机器而执行的功能。例如，联动功能也可为通过使多个软件联动而执行的功能。当然，联动功能也可为通过使作为硬件的机器所具有的功能、与通过软件来实现的功能联动而执行的功能。
联动功能管理信息例如是表示：表示被利用于联动功能的各功能的功能信息的组合、与表示所述联动功能的联动功能信息的对应的信息。联动功能信息例如是联动功能ID或联动功能名称等。当单独的功能受到更新时，伴随此更新，联动功能管理信息也得到更新。由此，存在下述情况：在更新前不能彼此联动的多个功能的联动功能在更新后变得可用，或者与此相反地，在更新前可用的联动功能在更新后变得不可用。表示在更新后变得可用的联动功能的联动功能信息登记在联动功能管理信息中，而表示在更新后变得不可用的联动功能的联动功能信息将从联动功能管理信息中删除，或者登记为不可用的信息。联动功能管理信息的更新既可由终端装置10来进行，也可由服务器16等外部装置来进行。当由外部装置执行了联动功能管理信息的更新时，经更新的联动功能管理信息从外部装置发送至终端装置10而存储到存储部24中。
当使多个机器联动时，例如，联动功能管理信息是用于对利用多个机器所具有的多个功能的联动功能进行管理的信息，是表示设备识别信息的组合与联动功能信息的对应的信息，所述设备识别信息用于识别用于联动功能的各机器。而且，在使具有多个输出功能的机器(为对用户输出一输出的机器且为具有多个输出功能的机器)与不具有输出功能的传感机器(不对用户输出一输出的机器)联动的情况下，在联动功能管理信息中，也可包含下述信息，所述信息是表示特定的传感机器与所述多个输出功能中的特定输出功能的组合。借此，可从多个输出功能中，确定与特定的传感机器组合使用的输出功能。如上所述，当机器功能管理信息受到更新时，伴随此更新，联动功能管理信息也得到更新。由此，存在下述情况：在更新前不能彼此联动的多个机器的联动功能在更新后变得可用，或者与此相反地，在更新前可用的联动功能在更新后变得不可用。
联动功能既可为通过使互不相同的多个功能联动而可执行的功能，也可为通过使同一功能联动而可执行的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功能既可为通过利用联动对象机器所具有的功能中的相同功能而可利用的功能，也可为通过使互不相同的功能组合而可利用的功能。例如，通过使具有打印功能的机器(打印机(printer))与具有扫描功能的机器(扫描仪(scanner))联动，而实现作为联动功能的复印功能。即，通过使打印功能与扫描功能联动而实现复印功能。此时，作为联动功能的复印功能、与打印功能及扫描功能的组合相对应。在联动功能管理信息中，例如表示作为联动功能的复印功能的联动功能信息、与用于对具有打印功能的机器进行识别的设备识别信息及用于对具有扫描功能的机器进行识别的设备识别信息的组合相对应。
在联动功能的概念范畴内，也可包含通过使多个功能或多个机器联动而新功能的执行成为可能的合体功能。例如，也可通过将多个显示器予以组合，实现作为合体功能的扩展显示功能。作为另一例，也可通过将电视机(television)与录像机(recorder)加以组合，实现作为合体功能的录像功能。所述录像功能也可为对显示于电视机的图像进行录像的功能。而且，也可通过将多个摄像机予以组合，实现作为合体功能的拍摄区域扩展功能。所述扩展功能例如是将各摄像机的拍摄区域拼接而拍摄的功能。而且，也可通过将电话与翻译机或翻译软件予以组合，实现作为合体功能的翻译通话功能(对经由电话的会话进行翻译的功能)。如此，在联动功能的概念范畴内，包含通过使彼此同一种类的机器或功能联动而可实现的功能、或者通过使彼此不同种类的机器或功能联动而可实现的功能。
控制部26控制终端装置10的各部的动作。控制部26例如进行通信部18的通信控制、UI部20的显示部上的信息显示的控制等。而且，控制部26包含确定部28。
确定部28具有下述功能，即，确定由用户所指定的机器所具有的功能、或可利用由用户所指定的多个机器来执行的联动功能。确定部28例如通过自动应答AI来实现。当然，确定部28也可不通过自动应答AI来实现，而是通过其他程序等来实现。
例如，确定部28接受用于对由用户所指定的机器进行识别的设备识别信息，在存储于存储部24中的机器功能管理信息中，确定表示与此设备识别信息对应的功能的功能信息。由此，确定(识别)机器所具有的功能。
控制部26进行与由确定部28所确定的功能相关的信息(例如功能信息或功能的说明信息等)的通知(介绍)的控制。作为此通知，控制部26既可使与此功能相关的信息显示于UI部20的显示部，也可通过使用扬声器等来将与此功能相关的信息作为语音信息而发出。而且，控制部26也可控制所述功能的执行。而且，用户对机器的指定既可在UI部20的显示部的画面上进行，也可通过语音来进行。例如，当在UI部20的画面上显示有与机器关联的图像时，用户也可通过在此画面上指定图像来指定机器。作为另一例，无论在UI部20的画面上是否显示有与机器关联的图像，用户均可通过语音来指定机器。例如，当用户通过语音来说出机器名时，其声音被麦克风等拾音部拾取，表示机器名的语音信息被输入至终端装置10。确定部28判断为由用户指定了具有此机器名的机器而确定功能。如此，用于指定机器的操作与功能的通知既可通过画面上的显示来进行，也可通过语音来进行。也可将画面上的显示与语音加以组合。例如，也可通过用户在画面上指定与机器关联的图像来指定机器，并将表示功能的信息显示于画面。作为另一例，也可通过用户在画面上指定与机器关联的图像来指定机器，并将表示功能的信息通过语音而发出。作为又一例，也可通过将机器名作为语音信息输入至终端装置10来指定机器，并将表示功能的信息显示于画面。作为再一例，也可通过将机器名作为语音信息输入至终端装置10来指定机器，并将表示功能的信息通过语音而发出。
另外，功能的确定处理也可由服务器16来进行。此时，从终端装置10向服务器16发送设备识别信息，由服务器16中所设的确定部28来确定表示与所述设备识别信息对应的功能的功能信息。另外，当由服务器16进行确定处理时，在服务器16中存储有机器功能管理信息。与功能相关的信息既可从服务器16发送至终端装置10而显示于UI部20的显示部，也可作为语音信息而发出。
而且，确定部28接受用于对作为联动对象的各机器进行识别的设备识别信息，并在存储于存储部24中的联动功能管理信息中，确定表示与各设备识别信息的组合对应的联动功能的联动功能信息。由此，确定(识别)通过使作为联动对象的各机器所具有的功能联动而可执行的联动功能。控制部26进行与所确定的联动功能相关的信息(例如联动功能信息或联动功能的说明信息等)的通知(介绍)的控制。控制部26既可使与联动功能相关的信息显示于UI部20的显示部，也可使所述信息作为语音信息而发出。另外，与所述同样，作为联动对象的各机器的指定既可在画面上进行，也可通过语音来进行。
另外，联动功能的确定处理也可由服务器16来进行。此时，从终端装置10向服务器16发送多个设备识别信息，由服务器16中所设的确定部28来确定表示与所述多个设备识别信息对应的联动功能的联动功能信息。另外，当由服务器16进行确定处理时，在服务器16中存储有联动功能管理信息。与联动功能相关的信息既可从服务器16发送至终端装置10而显示于UI部20的显示部，也可作为语音信息而发出。
例如，当指定有一个机器时，确定此机器所具有的功能，当指定有多个机器时，确定可利用所述多个机器来执行的联动功能。
而且，确定部28也可接受表示用于联动功能的各功能的功能信息，并在联动功能管理信息中，确定表示与各功能信息的组合对应的联动功能的联动功能信息。由此，确定(识别)通过使作为联动对象的各功能联动而可执行的联动功能。所述确定处理也可由服务器16来进行，其处理结果既可显示于UI部20的显示部，也可作为语音信息而发出。
例如，用户将机器的信息发送至自动应答AI，由此来指定机器。当用户将多个机器的信息发送至自动应答AI时，确定部28将所述多个机器识别为联动对象机器，确定可利用所述多个机器来执行的联动功能。而且，当用户将一个机器的信息发送至自动应答AI时，确定部28识别此机器，确定此机器所具有的功能。机器的信息是用于识别机器的设备识别信息，例如是与机器关联的机器图像、或表示设备识别信息的文字信息或语音信息等。例如，在用户将与机器关联的机器图像发送至自动应答AI的情况下、或者用户通过终端装置10来输入表示机器的设备识别信息的字符串而给予至自动应答AI的情况下、或者用户通过语音来将机器的设备识别信息给予至自动应答AI的情况下，确定部28(通过自动应答AI而实现的确定部28)识别此机器。
另外，也可针对每个用户来管理用户可利用的功能(机器所具有的单独功能或联动功能)。此管理既可由终端装置10来进行，也可由服务器16等外部装置来进行。用户可利用的功能例如是无偿提供给用户的功能、有偿提供给用户而由用户购买的功能等。也可针对每个用户而制作表示用户可利用的功能的可利用功能信息(例如功能购买历史信息)来进行管理。当由终端装置10进行可利用功能的管理时，可利用功能信息存储在存储部24中，当由服务器16等外部装置来进行此管理时，可利用功能信息存储在外部装置中。当然，还有可免费利用的功能、追加升级(update)功能、由管理者特别管理的功能等，因此也可不一概地根据有无购买来判断功能的可利用。功能的购买处理例如由服务器16等外部装置来进行。
可利用功能管理信息是用于对各用户可利用的功能进行管理的信息，例如是表示用于识别用户的用户识别信息、与表示此用户可利用的功能的功能信息(也可包含联动功能信息)的对应的信息。用户可利用的功能如上所述，例如是无偿提供给用户的功能或用户购买的功能等，既可为单个的功能，也可为联动功能。用户识别信息例如是用户ID或姓名等用户账户(account)信息。通过参照可利用功能管理信息，从而确定(识别)各用户可利用的功能。可利用功能管理信息例如也可每当对用户提供功能时(例如每当无偿或有偿地对用户提供功能时)得到更新。
在管理有用户可利用的功能的情况下，确定部28也可接受用于识别用户的用户识别信息，并在可利用功能管理信息(例如存储在终端装置10或服务器16中的信息)中，确定表示与所述用户识别信息对应的各功能的功能信息。由此，来确定(识别)所述用户可利用的功能。控制部26既可使与所确定的功能相关的信息显示于UI部20的显示部，也可使所述信息作为语音信息而发出。例如，确定部28接受设备识别信息与用户识别信息，在机器功能管理信息中，确定表示与所述设备识别信息对应的功能的功能信息，进而，在可利用功能管理信息中，确定表示与所述用户识别信息对应的功能的功能信息。由此，确定由所述设备识别信息所确定的机器所具有的功能、且由所述用户识别信息所确定的用户可利用的功能。
另外，用户可利用的功能也可由服务器16等外部装置来确定。此时，从终端装置10向服务器16发送用户识别信息，由服务器16中所设的确定部28，来确定表示与所述用户识别信息对应的各功能的功能信息。当由服务器16进行确定处理时，可利用功能信息存储在服务器16中。与用户可利用的各功能相关的信息既可从服务器16发送至终端装置10而显示于UI部20的显示部，也可作为语音信息而发出。
以下，参照图3来详细说明机器12的结构。作为一例，设机器12为图像形成装置。以下，有时将机器12称作图像形成装置12。图3中表示了图像形成装置12的结构。
通信部30为通信接口，具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部30既可为具有无线通信功能的通信接口，也可为具有有线通信功能的通信接口。通信部30例如也可支持一种或多种通信方式，依照适合于通信对方的通信方式(即，通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、Wi-Fi通信、接近式无线通信等。通信部30例如既可根据通信对方来切换通信方式或频带，也可根据周围环境来切换通信方式或频带。
图像形成部32具有图像形成功能。具体而言，图像形成部32具有扫描功能、打印功能、复印功能及传真(facsimile)功能中的至少一个功能。通过执行扫描功能，读取原稿而生成扫描数据(图像数据)。通过执行打印功能，在纸张等记录介质上打印图像。通过执行复印功能，读取原稿并打印到记录介质上。通过执行传真功能，对图像数据进行传真发送或传真接收。而且，也可执行利用多个功能的联动功能。例如，也可执行将扫描功能与发送功能(转发功能)予以组合的扫描转发功能。通过执行所述扫描转发功能，读取原稿而生成扫描数据(图像数据)，并将所述扫描数据发送至发送目标(例如终端装置10等外部装置)。当然，所述联动功能不过是一例，也可执行其他联动功能。
存储部34是硬盘或存储器(例如SSD等)等存储装置。在存储部34中，例如存储表示图像形成命令的信息(例如作业(job)信息等)、成为打印对象的图像数据、通过执行扫描功能而生成的扫描数据、表示其他机器的地址的机器地址信息、表示终端装置10的地址的信息(终端地址信息)、服务器16的服务器地址信息、各种控制数据、各种程序等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。
UI部36为用户接口部，包含显示部与操作部。显示部例如为液晶显示器等显示装置。操作部例如为触控面板或键盘等输入装置。当然，也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。另外，图像形成装置12也可不具有UI部36，还可不具备显示部而具备作为硬件的硬件用户接口部(硬件UI部)。硬件UI部例如为专用于数字输入的硬件键(例如数字键)、专用于方向指示的硬件键(例如方向指示键)等。
控制部38控制图像形成装置12的各部的动作。
以下，参照图4来详细说明服务器16的结构。图4中表示了服务器16的结构。
通信部40为通信接口，具有对其他装置发送数据的功能、及从其他装置接收数据的功能。通信部40既可为具有无线通信功能的通信接口，也可为具有有线通信功能的通信接口。
存储部42为硬盘或存储器(例如SSD等)等存储装置。在存储部42中，例如存储有各种数据、各种程序、终端装置10的终端地址信息、各机器的机器地址信息、服务器16的服务器地址信息等。当然，它们既可存储在不同的存储装置中，也可存储在一个存储装置中。
当由服务器16对各机器所具有的功能与联动功能进行管理时，也可将所述机器功能管理信息与联动功能管理信息存储在存储部42中，且在服务器16中，对机器功能管理信息与联动功能管理信息进行更新。此时，当由终端装置10进行功能的确定处理时，将机器功能管理信息与联动功能管理信息(若信息得到更新，则将更新后的信息)从服务器16发送至终端装置10。所述发送也可定期、或在指定的时机进行。由此，存储在终端装置10中的信息得到更新。当然，终端装置10的确定部28也可参照存储在服务器16中的机器功能管理信息或联动功能管理信息，从而确定机器所具有的功能或联动功能。而且，也可由服务器16来执行功能的确定处理。
控制部44控制服务器16的各部的动作。控制部44例如控制通信部40的通信。
控制部44也可执行功能的购买处理，对所述购买的历史进行管理。例如，当由用户购买了收费功能时，控制部44也可对此用户适用记账处理。
而且，控制部44例如也可执行文字识别功能、翻译功能、图像加工功能、图像形成功能等与图像处理相关的功能。当然，控制部44也可执行与图像处理以外的处理相关的功能。通过执行文字识别功能，识别图像内的文字而生成表示所述文字的文字数据。通过执行翻译功能，将图像内的文字翻译成以特定语言表示的文字，并生成表示所翻译的文字的文字数据。通过执行图像加工功能，对图像进行加工。控制部44例如也可从图像形成装置12接收通过执行扫描功能而生成的扫描数据，并将所述扫描数据作为对象，来执行文字识别功能、翻译功能、图像加工功能等与图像处理相关的功能。控制部44也可从终端装置10接收图像数据，并将所述图像数据作为对象来执行各功能。由控制部44所生成的文字数据或图像数据例如从服务器16发送至终端装置10。服务器16被用作外部装置，联动功能也可为利用包含服务器16的多个机器所具有的功能的功能。
如上所述，机器功能管理信息也可存储在服务器16的存储部42中。此时，机器功能管理信息也可不存储在终端装置10的存储部24中。同样，联动功能管理信息也可存储在服务器16的存储部42中。此时，联动功能管理信息也可不存储在终端装置10的存储部24中。服务器16的控制部44也可具有所述确定部28，基于设备识别信息来识别机器，以确定机器所具有的功能，还可确定可利用多个功能来执行的联动功能。此时，终端装置10也可不具有确定部28。
当制作有可利用功能管理信息时，所述可利用功能管理信息也可存储在服务器16的存储部42中。此时，可利用功能管理信息也可不存储在终端装置10的存储部24中。终端装置10的控制部26也可对用户的功能购买历史进行管理。此时，服务器16的控制部44也可不具有所述管理功能。
作为又一例，也可在机器12、14等机器中存储机器功能管理信息或联动功能管理信息，机器12、14等机器也可具有确定部28。即，确定部28的处理既可在终端装置10中进行，也可在机器12、14等机器中进行，还可在服务器16中进行，进而还可在其他装置中进行。
第1实施方式中，作为一例，通过适用增强现实(Augmented Reality，AR)技术(扩展现实技术)，从而获取设备识别信息以识别机器。例如，通过适用AR技术，从而获取单独使用的机器的设备识别信息以识别所述机器，而且，获取联动对象机器的设备识别信息以识别联动对象机器。作为AR技术，使用公知的AR技术。例如，采用使用二维条形码(bar code)等标记(marker)的标记型AR技术、使用图像识别技术的无标记(marker less)型AR技术、使用位置信息的位置信息AR技术等。当然，也可不适用AR技术而获取设备识别信息来识别机器。例如，若是连接于网络的机器，则也可基于网际协议(Internet Protocol，IP)地址来识别机器，还可读出机器ID来识别机器。进而，当使用具有红外线通信、可见光通信、Wi-Fi、蓝牙(Bluetooth)等各种无线通信功能的机器或终端装置时，也可通过利用无线通信功能来获取机器的ID以识别机器。
以下，参照图5来详细说明设备识别信息的获取处理。作为一例，对获取图像形成装置12的设备识别信息的情况进行说明。图5中示意性地表示了图像形成装置12的外观。此处，对用于适用标记型AR技术来获取设备识别信息的处理进行说明。在图像形成装置12的框体上，设有二维条形码等标记46。标记46是对图像形成装置12的设备识别信息进行编码所得的信息。用户启动终端装置10的摄像机22，通过摄像机22对作为利用对象的图像形成装置12上所设的标记46进行拍摄。由此，生成表示标记46的图像数据。终端装置10的控制部26通过对所述图像数据中表示的标记图像适用解码处理而提取设备识别信息。由此，来识别作为利用对象的图像形成装置12(具有所拍摄的标记46的图像形成装置12)。终端装置10的确定部28在机器功能管理信息中，确定表示与所提取的设备识别信息对应的功能的功能信息。由此，来确定(识别)作为利用对象的图像形成装置12所具有的功能。
另外，服务器16的控制部44也可通过对表示标记46的图像数据适用解码处理，从而提取设备识别信息。此时，将图像数据从终端装置10发送至服务器16，在服务器16中对所述图像数据适用解码处理。当在服务器16中设有确定部28时，也可在服务器16中确定与设备识别信息对应的功能。
标记46也可对表示图像形成装置12所具有的功能的功能信息进行编码而包含。此时，通过对表示标记46的图像数据适用解码处理，从而提取所述图像形成装置12的设备识别信息，并且，也提取表示所述图像形成装置12所具有的功能的功能信息。由此，来确定(识别)图像形成装置12，并且确定(识别)所述图像形成装置12所具有的功能。所述解码处理既可由终端装置10来进行，也可由服务器16来进行。
而且，通过拍摄多个机器各自的标记，从而获取各机器的设备识别信息。
当适用无标记型AR技术而获取设备识别信息时，例如用户通过终端装置10的摄像机22，来拍摄利用对象机器(例如图像形成装置12)的外观的全部或一部分。当然，有用的是：可从外观拍摄而获得利用对象机器的名称(例如商品名)、型号或资产管理编号等用于确定机器的信息。通过拍摄，生成表示利用对象机器的外观的全部或一部分的外观图像数据。终端装置10的控制部26基于所述外观图像数据来识别利用对象机器。例如，在终端装置10的存储部24中，针对每个机器而存储有外观图像对应信息，所述外观图像对应信息表示：表示机器外观的全部或一部分的外观图像数据、与所述机器的设备识别信息的对应。控制部26例如将外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较，基于其比较结果来确定利用对象机器的设备识别信息。例如，控制部26从外观图像数据中提取利用对象机器的外观特征，并在外观图像对应信息中所含的外观图像数据群中，确定表示与此外观的特征相同或类似的特征的外观图像数据，并确定与所述外观图像数据对应的设备识别信息。由此，来识别利用对象机器(由摄像机22所拍摄的机器)。作为另一例，当拍摄机器的名称(例如商品名)或型号，并生成表示名称或型号的外观图像数据时，也可基于所述外观图像数据中所示的名称或型号来识别利用对象机器。终端装置10的确定部28在机器功能管理信息中，确定表示与所确定的设备识别信息对应的各功能的功能信息。由此，来确定利用对象机器(例如图像形成装置12)所具有的功能。
另外，服务器16的控制部44也可将表示利用对象机器(例如图像形成装置12)的外观的全部或一部分的外观图像数据、与外观图像对应信息中所含的各外观图像数据予以比较，并基于其比较结果来确定利用对象机器的设备识别信息。外观图像对应信息是存储在服务器16的存储部42中。此时，服务器16的控制部44通过参照外观图像对应信息，来确定利用对象机器的设备识别信息。
通过拍摄多个机器各自的外观的全部或一部分，来获取各机器的设备识别信息。
当适用位置信息AR技术来获取设备识别信息时，例如，通过利用例如全球定位系统(Global Positioning System，GPS)功能，来获取表示设置有机器(例如图像形成装置12)的位置的位置信息。例如，各机器具备GPS功能，获取表示机器自身位置的设备位置信息。终端装置10对利用对象机器输出表示设备位置信息的获取请求的信息，并从所述机器接收所述机器的设备位置信息，以作为针对所述获取请求的应答。终端装置10的控制部26基于所述设备位置信息来识别利用对象机器。例如，在终端装置10的存储部24中，针对每个机器而存储有位置对应信息，所述位置对应信息表示：表示设置有机器的位置的设备位置信息、与所述机器的设备识别信息的对应。控制部26在所述位置对应信息中，确定与设备位置信息对应的设备识别信息。由此，来确定(识别)利用对象机器。终端装置10的确定部28在机器功能管理信息中，确定表示与所确定的设备识别信息对应的各功能的功能信息。由此，来确定(识别)利用对象机器(例如图像形成装置12)所具有的功能。
另外，服务器16的控制部44也可在位置对应信息中，确定与利用对象机器的位置信息对应的设备识别信息。位置对应信息是存储在服务器16的存储部42中。此时，服务器16的控制部44通过参照位置对应信息，来确定利用对象机器的设备识别信息。
获取多个机器各自的设备位置信息，并基于各设备位置信息来确定各机器的设备识别信息。
另外，也可使用多个识别技术来识别机器。例如，也可使用从标记型AR技术、无标记型AR技术及位置信息AR技术中选择的多个技术来识别机器。而且，若通过某识别技术无法识别机器，则也可使用其他识别技术来识别机器。例如，若通过标记型AR技术或无标记型AR技术无法识别机器，则也可使用位置信息AR技术来识别机器。
以下，进一步详细说明第1实施方式的机器系统。
参照图6来详细说明机器功能管理信息。图6中表示了作为机器功能管理信息的机器功能管理表的一例。在机器功能管理表中，作为一例，机器ID、表示机器名(例如机器的种类)的信息、表示机器所具有的功能的信息(功能信息)与图像ID彼此对应。机器ID与机器名相当于设备识别信息的一例。图像ID是用于对与机器关联的机器图像进行识别的图像识别信息的一例。另外，在机器功能管理表中，也可不含图像ID。例如，机器ID为“B”的机器是多功能一体机(具有多个图像形成功能的图像形成装置)，具有打印功能或扫描功能等功能。对于所述机器，对应有用于对与此机器关联的机器图像进行识别的图像ID。与机器关联的机器图像的数据例如既可存储在终端装置10中，也可存储在服务器16中，还可存储在其他装置中。
例如，通过适用AR技术，获取用于识别利用对象机器的机器ID。终端装置10的确定部28通过参照机器功能管理表，来确定与所述机器ID对应的机器名、功能及图像ID。由此，来识别利用对象机器。也可将表示机器名的信息或机器图像显示于UI部20的显示部。当然，也可将由摄像机22所拍摄的图像其自身显示于UI部20的显示部。而且，当在UI部20中，由用户指定了与机器关联的机器图像(例如由摄像机22所拍摄的图像、或示意性地表示机器的图像)时，也可将与此机器所具有的功能相关的信息(例如功能信息或功能的说明信息等)显示于UI部20的显示部。
以下，参照图7来详细说明联动功能管理信息。图7中表示了作为联动功能管理信息的联动功能管理表的一例。在联动功能管理表中，作为一例，机器ID的组合、表示联动对象机器名(例如各机器的种类)的信息、与表示联动功能的信息(联动功能信息)彼此对应。例如，机器ID为“A”的机器是PC(个人计算机(personal computer))，机器ID为“B”的机器是多功能一体机。通过使PC(A)与多功能一体机(B)联动，作为联动功能，例如实现“扫描转发功能”或“打印功能”。“扫描转发功能”是将通过多功能一体机(B)的扫描而生成的图像数据转发给PC(A)的功能。“打印功能”是将保存在PC(A)中的数据(例如图像数据或文档数据)发送至多功能一体机(B)并通过多功能一体机(B)进行打印的功能。另外，也可规定通过利用三个以上的机器而可执行的联动功能。此时，三个以上的机器的组合与联动功能相对应，所述对应被登记在联动功能管理表中。
以下，举具体例来详细说明终端装置10的动作。
图8中表示了显示于终端装置10的画面的一例。终端装置10的控制部26使UI部20的显示部显示画面48，并使此画面48上显示各种信息。画面48是供用户与自动应答AI进行对话的接口(对话应答画面)。在画面48上，显示用户对终端装置10输入的信息(例如字符串或图像等)、及表示自动应答AI的发言内容的信息(例如字符串或图像等)。用户与自动应答AI之间的对话也可为所谓的聊天(chat)格式的对话(即实时(real time)格式的对话，进而，换言之，是用户与自动应答AI一边互相发言一边进行对话的格式)。例如，通过执行用于与自动应答AI进行对话的程序(例如聊天用程序)，从而在UI部20的显示部上显示用于所述对话的画面48(对话应答画面)。
也可在画面48上设置每个对话者的显示区域(area)，各对话者的发言内容显示在自身用的显示区域内。例如，显示区域48a是显示自动应答AI的发言内容的区域，显示区域48b是显示用户的发言内容(用户对终端装置10输入的信息)的区域。图8所示的示例中，朝向画面48而在左侧设有自动应答AI用的显示区域48a，在右侧设有用户用的显示区域48b。当然，此显示例只不过是一例，显示区域的配置关系也可相反，还可在上下方向上设置各显示区域，还可将各显示区域的全部或一部分重合，还可在画面48的特定区域(例如中央区域)显示最新的发言内容，而在其周围显示过去的发言内容。而且，各显示区域既可具有彼此相同的大小，也可具有互不相同的大小，还可根据一次发言内容的量或发言次数来放大或缩小。显示区域的设定或大小的控制是由控制部26来进行。
图8所示的示例中，对话者仅为一位用户与一个自动应答AI，但也可有多个用户或多个自动应答AI参加对话。此时，在画面48上，也可设有各对话者用的显示区域。例如，当有两位用户与一个自动应答AI参加对话时，在画面48上设有三个显示区域，各对话者的发言内容显示在自身的显示区域内。例如，当通过在多个终端装置10之间进行通信而在多个用户之间进行经由画面48的对话时，所述多个用户的发言内容显示于画面48。多个自动应答AI参加对话时也同样。既可将与多个自动应答AI相关的程序安装于同一终端装置10，从而将所述多个自动应答AI保存在所述同一终端装置10中，也可将与所述多个自动应答AI各自相关的程序安装在不同的终端装置10中，从而将各自动应答AI保存在不同的终端装置10中。例如，在画面48上，显示有保存在作为自身装置的终端装置10中的自动应答AI的发言内容，进而，显示有保存在其他终端装置10中的自动应答AI的发言内容。保存在其他终端装置10中的自动应答AI例如经由通信路径N来参加对话。
例如，当聊天用程序启动时，终端装置10的控制部26使UI部20的显示部显示画面48。在自动应答AI用的显示区域48a中，显示有与自动应答AI关联的图像50，在用户用的显示区域48b中，显示有与用户关联的图像52。图像50是用于识别自动应答AI的图像，图像52是用于识别用户的图像。另外，也可取代图像50或者与图像50一同，显示表示自动应答AI的字符串(用于识别自动应答AI的字符串)。同样，也可取代图像52或者与图像52一同，显示表示用户的字符串(例如姓名、用户ID、笔名(pseudonym)、昵称(nickname)等般用于识别用户的字符串)。
以后，在用户与自动应答AI之间进行对话。在此对话中，用户的发言内容既可通过用户操作UI部20来输入字符串或图像等信息而输入至终端装置10，也可通过声音来输入。而且，用户的发言内容既可作为字符串或图像等信息而显示于画面48，也可不显示于画面48。同样，自动应答AI的发言内容既可作为字符串或图像等信息而显示于画面48，也可不显示于画面48而作为语音发出，或者在显示的同时作为语音发出。以下，作为一例，设各对话者的发言内容显示于画面48来进行说明，但所述发言内容也可通过语音而发出。
另外，当在画面48上进行对话时，画面48滚动(scroll)，在画面48上显示不下的过去的发言内容从画面48上消失，最新的发言内容或其最近的发言内容显示于画面48。
当聊天用程序启动时，首先，自动应答AI发出“怎么啦？”这一一般性问询(询问用户请求的问询)，表示此问询的字符串作为自动应答AI的发言内容而显示在画面48上(图8中未图示)。当然，也可将自动应答AI的发言内容取代字符串、或者与字符串一同作为语音而发出。所述发言内容是自动应答AI的发言内容，因此控制部26使所述发言内容作为与自动应答AI的图像50关联的发言内容而显示于显示区域48a内。以下的对话中也同样。
接下来，当用户发表“想要执行联动功能”等而请求联动功能时，将表示所述请求的字符串作为用户的发言内容而显示于画面48(图8中未图示)。例如，用户既可通过操作画面48来输入字符串而将表示发言内容的信息输入至终端装置10，也可将表示发言内容的信息通过语音来输入至终端装置10。由于所述发言内容为用户的发言内容，因此控制部26使此发言内容作为与用户的图像52关联的发言内容而显示于显示区域48b内。以下的对话中也同样。
自动应答AI通过分析用户的发言内容来识别用户的请求，并制作针对此请求的回答等回应。控制部26使表示此回应的字符串作为自动应答AI的发言内容54而显示于显示区域48a内。例如，将“想要利用哪个机器？”这一发言内容54作为自动应答AI的发言内容而显示于显示区域48a。另外，自动应答AI既可利用国际互联网等来检索信息，并对此检索结果进行分析，还可获取与机器12、14相关的信息，并对此信息进行分析。自动应答AI也可使此分析结果反映到回应中。而且，自动应答AI也可管理用户对各种应用程序(application)的利用历史、用户对终端装置10的操作历史、用户对机器12、14的利用历史等。而且，自动应答AI也可通过与保存在其他装置中的自动应答AI之间进行通信，而从其他自动应答AI获取信息。自动应答AI也可使自身所管理的信息或所获取的信息反映到回应中。
当用户针对所述询问而指定机器时，确定部28(通过自动应答AI而实现的确定部28)将此机器识别为联动对象机器。例如，如图8所示，用户指定与机器关联的机器图像56，将所述机器图像56配置于显示用户发言内容的位置，由此，控制部26将所述机器图像56作为用户的发言内容而发送至自动应答AI。根据此操作，确定部28将与所述机器图像56关联的机器识别为联动对象机器。图8所示的示例中，用户使机器图像56显示于显示区域48b中的操作，相当于用户发表发言内容的行为。另外，用户也可通过操作UI部20来将表示机器的字符串作为用户的发言内容而输入至终端装置10。此时，确定部28将此字符串所表示的机器识别为联动对象机器。而且，也可通过语音来将联动对象机器的信息作为用户的发言内容而输入至终端装置10。另外，用户也可不指定各个机器，而是指定机器的种类。此时，将所述机器的种类识别为联动对象机器的种类。例如，用户既可指定多功能一体机B这一机器自身，也可指定多功能一体机这一种类。
机器图像56是与作为机器的多功能一体机B(图像形成装置)关联的图像。多功能一体机B是通过利用所述AR技术(标记型AR技术、无标记型AR技术、位置信息AR技术)或其他识别技术，而由确定部28予以识别的机器。当然，机器图像56也可并非与多功能一体机B自身关联的图像，而是与多功能一体机这一种类关联的图像。
例如，控制部26使备选区域(stock area)58显示于用户用的显示区域48b内，并使机器图像显示于所述备选区域58内。备选区域58是显示一个或多个联动对象候补的信息的区域，图8所示的示例中，作为候补信息的一例而显示有机器图像。例如，控制部26使与已识别的机器关联的机器图像显示于所述备选区域58内。图8所示的示例中，在所述备选区域58内显示有机器图像56、60、62。机器图像60是与作为机器的PC(A)关联的图像。机器图像62是与作为机器的投影机C关联的图像。当如此般识别有机器时，控制部26使与机器关联的机器图像显示于备选区域58内。当然，控制部26也可使并非与机器自身关联而是与机器种类关联的机器图像显示于备选区域58内。例如，控制部26也可使并非与多功能一体机B自身关联而是与多功能一体机这一种类关联的机器图像56、并非与PC(A)自身关联而是与PC这一种类关联的机器图像60、及并非与投影机C自身关联而是与投影机这一种类关联的机器图像62显示于备选区域58内。
例如，与一次识别的机器相关的信息存储在存储部24中，随后，即使不重新进行针对所述机器的识别处理，仍将与所述机器关联的机器图像显示于备选区域58内。当然，也可通过用户的操作来从存储部24中删除与所识别的机器相关的信息。此时，与所述机器关联的机器图像也被删除。作为另一例，也可在利用所识别的机器来执行联动功能后、或从识别出机器的时间点开始经过预定时间后，从存储部24中删除与所述所识别的机器相关的信息。
机器图像56既可为由摄像机22拍摄多功能一体机B而生成的图像(既可为具有拍摄时的尺寸的图像，也可为经放大或缩小的图像)，也可为与多功能一体机B关联的示意性的图像(例如图标)。对于机器图像60也同样，既可为通过拍摄PC(A)而生成的图像，也可为与PC(A)关联的示意性的图像。对于机器图像62也同样。
在使用示意性的图像的情况下，确定部28通过参照图6所示的机器功能管理表，来确定与所识别的机器关联的示意性的图像。所述示意性的图像是作为机器图像而显示。示意性的图像数据既可存储在终端装置10中，也可存储在服务器16等外部装置中。
另外，当利用通过拍摄机器而生成的图像数据时，当前的机器其自身的外观(例如反映出瑕疵、便利贴、粘贴在机器上的贴画(seal)等的外观)将反映在图像中，因此有下述效果，即，对于用户而言，可通过视觉来知晓与其他的同种机器的差异。而且，由于与机器自身关联的机器图像(例如通过拍摄而获得的图像或与机器自身关联的图标等)是所述机器的固有图像，因此通过将所述机器图像发送至自动应答AI，自动应答AI能够将所述机器自身识别为联动对象机器。另一方面，若机器图像并非与机器自身关联而是与机器种类关联的图像，则自动应答AI虽能根据所述机器图像来识别机器的种类，但无法识别各个机器自身。例如，若机器图像56是与多功能一体机B关联的图像，则自动应答AI能够根据所述机器图像56将多功能一体机B其自身识别为联动对象机器。另一方面，若机器图像56是与多功能一体机这一种类关联的图像，则自动应答AI将根据所述机器图像56而将多功能一体机这一种类识别为联动对象机器的种类。以下，设各机器图像是与各个机器自身关联的图像来进行说明。即设为：机器图像56是与多功能一体机B自身关联的图像，机器图像60是与PC(A)自身关联的图像，机器图像62是与投影机C自身关联的图像。
而且，当识别有机器时，也可将表示所述机器名称的信息显示于画面48。例如，也可与机器图像56一同显示字符串“多功能一体机B”。
而且，若存在在备选区域58内显示不下的其他机器图像，则如箭头64所示，用户对显示在备选区域58内的机器图像进行滚动操作，从而使所述其他机器图像显示在备选区域58内。
用户可如箭头66所示，从备选区域58中选择与联动对象机器关联的图像(图8所示的示例中为机器图像56)并使其移动到备选区域58的外侧，从而将所述机器图像56作为用户的发言内容而发送至自动应答AI。例如，用户通过拖拽(drag)操作，从备选区域58使机器图像56移动到显示用户发言内容的位置，在所述发言内容的显示位置进行拖放(drop)操作。通过此操作，控制部26将机器图像56作为用户的发言内容而发送至自动应答AI。
而且，图8所示的示例中，紧跟着机器图像56，用户从备选区域58中选择机器图像60，使所述机器图像60移动到用户发言内容的显示位置。通过此操作，将所述机器图像60作为用户的发言内容而发送至自动应答AI。
当用户在画面48上将多个机器的信息发送至自动应答AI时，即，当将多个机器的信息作为联动对象机器的信息而发言时，确定部28在图7所示的联动功能管理表中，确定与所述多个机器对应的联动功能。控制部26使与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
所述示例中，将机器图像56、60作为联动对象机器的信息而发送至自动应答AI。此时，确定部28将与机器图像56关联的多功能一体机B和与机器图像60关联的PC(A)识别为联动对象机器。另外，既可先将机器图像56发送至自动应答AI，随后将机器图像60发送至自动应答AI，也可先将机器图像60发送至自动应答AI，随后将机器图像56发送至自动应答AI。
例如，通过用户在画面48上利用指示器(例如用户的手指、笔、指示笔(stylus)等)来从备选区域58中选择并取出图像(所述示例中为机器图像56、60)，从而将此图像包含在用户的发言内容中发送至自动应答AI。例如，通过拖拽和拖放操作，使机器图像从备选区域58移动到用户发言内容的显示位置，由此，将机器图像作为用户的发言内容而发送至自动应答AI。控制部26探测指示器对画面48的接触，并探测指示器在画面48上的移动。
如上所述，当将机器图像56、60发送至自动应答AI而将多功能一体机B与PC(A)识别为联动对象机器时，控制部26使被识别为联动对象机器的机器的信息作为自动应答AI的发言内容68而显示于显示区域48a内。当用户认可所述发言内容68时(例如当用户发表“是的。”这一发言内容70时)，将与可利用PC(A)与多功能一体机B来执行的联动功能相关的信息显示于画面48。
确定部28在将机器图像56、60作为联动对象机器的信息而发送至自动应答AI的时机、或者在用户认可了发言内容68的时机，在图7所示的联动功能管理表中，确定跟PC(A)与多功能一体机B的组合对应的联动功能(例如“扫描转发功能”与“打印功能”)。由此，来确定可利用PC(A)与多功能一体机B来执行的联动功能。“扫描转发功能”是将通过多功能一体机B的扫描而生成的图像数据转发至PC(A)的功能。“打印功能”是将存储在PC(A)中的图像数据转发至多功能一体机B并通过多功能一体机B进行打印的功能。与如此般确定的联动功能相关的信息作为自动应答AI的发言内容而显示于画面48。另外，机器或联动功能的确定处理也可由服务器16来进行。
图9中表示了紧跟着图8的画面48。当如上所述般确定了联动功能时，终端装置10的控制部26使与联动功能相关的信息作为自动应答AI的发言内容72而显示于显示区域48a内。
当用户针对所述发言内容72而通过发言内容74来指定联动功能并给予了执行指示时，控制部26(例如通过自动应答AI而实现的控制部26)接受所述执行指示，并将表示所述执行指示的信息(执行指示信息)发送至联动对象机器。而且，控制部26使表示已接受了执行指示的信息作为自动应答AI的发言内容76而显示于显示区域48a内。作为另一例，也可在画面48上显示用于指示联动功能的执行的按钮(button)图像，用户通过按下所述按钮图像来给予联动功能的执行指示。当选择了PC(A)与多功能一体机B来作为联动对象机器时，将执行指示信息发送至PC(A)与多功能一体机B。收到执行指示信息的PC(A)与多功能一体机B执行所述执行指示信息所示的联动功能(由用户所指定的联动功能)。例如，当给予有“打印功能”的执行指示以作为联动功能时，PC(A)将作为打印对象的图像数据发送至多功能一体机B，多功能一体机B将所述图像数据打印到作为记录介质的纸张上。
另外，当用户通过发言内容74而指定了联动功能时，控制部26(自动应答AI)也可不将联动功能的执行指示给予至联动对象机器，而是使用于控制联动对象机器的画面显示于UI部20。图10中表示了此画面78。画面78例如是用于通过终端装置10来控制PC(A)与多功能一体机B的画面(遥控(remote control)用画面)。在画面78上，例如显示用于指示联动功能的执行的按钮图像(例如用于指示“扫描转发图像”的执行的按钮图像、用于指示“打印功能”的执行的按钮图像)。当用户在画面78上按下按钮图像时，执行与所述按钮图像关联的联动功能。而且，也可在画面78上进行各种参数的设定等。
而且，图11中表示了另一遥控用画面。画面78包含用于控制多功能一体机B的画面78a、与用于控制PC(A)的画面78b。在画面78a上，例如显示用于指示多功能一体机B所具有的单独功能的执行的按钮图像(例如用于指示复印功能的执行的按钮图像、用于指示打印功能的执行的按钮图像等)。而且，在画面78a上，也可进行多功能一体机B中所用的各种参数的设定等。在画面78b上，例如显示保存于PC(A)中的数据(文件)或保存位置(文件夹(folder))。而且，在画面78b上，也可进行PC(A)中所用的各种参数的设定等。而且，也可在画面78a、78b上，进行联动功能(例如作为联动功能的“扫描转发功能”或“打印功能”)的设定或执行指示。
另外，既可由用户对显示在图8中的备选区域58内的机器图像进行编辑，也可由用户对跟与所述机器图像关联的机器相关的信息进行编辑。例如，当用户指定备选区域58内显示的机器图像而给予编辑指示时，控制部26使编辑画面显示于UI部20的显示部。控制部26例如在用户长按机器图像的情况下(例如长按机器图像的时间长度达到阈值以上的情况下)、在用户按下用于显示编辑画面的按钮图像的情况下、或者在用户通过语音对终端装置10输入编辑指示的情况等下，使编辑画面显示于UI部20的显示部。在所述编辑画面中，可进行机器图像的编辑，例如也可从机器图像中切出与机器的部分关联的部分图像。而且，也可进行跟与机器图像关联的机器相关的信息的编辑。
而且，控制部26也可使与跟终端装置10之间建立了通信的机器关联的机器图像显示于备选区域58内，还可使与已登记在终端装置10中的机器关联的机器图像显示于备选区域58内。
另外，当通过标记型AR技术或无标记型AR技术来识别各机器时，所述各机器既可独立地拍摄而识别，也可一起拍摄而识别。例如，在摄像机22的拍摄区域中包含多功能一体机B的状态下拍摄多功能一体机B，接下来，在摄像机22的拍摄区域中包含PC(A)的状态下拍摄PC(A)，由此来依次识别多功能一体机B与PC(A)。作为联动对象的各机器未必配置在彼此靠近的位置而多功能一体机B与PC(A)这两者一起包含在摄像机22的拍摄区域中。也有时可通过拍摄区域的角度(angle)变更、拍摄区域的放大或缩小等来应对，但也有时此种操作无法完全应对。此时，通过多次拍摄来识别各机器。
作为另一例，也可将联动对象机器预先设定为基本联动机器。例如设为：多功能一体机B被预先设定为基本联动机器。基本联动机器的设备识别信息也可预先存储在终端装置10的存储部24中。用户也可利用UI部20来指定基本联动机器。当设定有基本联动机器时，用户将与基本联动机器以外的联动对象机器关联的机器图像作为发言内容发送至自动应答AI。由此，来确定(识别)联动对象机器，并确定(识别)可利用基本联动机器与所述机器来执行的联动功能。
以下，对执行联动功能时的动作进行说明。例如，当执行联动功能时，从终端装置10对作为联动对象的各机器发送连接请求，终端装置10与各机器相连接。以下，参照图12来说明此连接处理。图12是表示此处理的序列图。
在终端装置10中，当由用户指定了多功能一体机B与PC(A)作为联动对象机器时(即，多功能一体机B与PC(A)的信息作为用户的对话内容而发送至自动应答AI时)，终端装置10将表示连接请求的信息发送至联动对象机器(多功能一体机B与PC(A))(S01)。所述发送的控制也可由自动应答AI来进行。例如，当在服务器16中存储有联动对象的各机器的地址信息时，终端装置10从服务器16获取各机器的地址信息。当设备识别信息中含有地址信息时，终端装置10的控制部26从各机器的设备识别信息获取地址信息。地址信息的获取处理也可由自动应答AI来进行。当然，也可在终端装置10的存储部24中存储各机器的地址信息。终端装置10也可通过其他方法来获取各机器的地址信息。终端装置10使用作为联动对象的各机器(例如多功能一体机B与PC(A))的地址信息，将表示连接请求的信息发送至作为联动对象的各机器。
收到表示连接请求的信息的多功能一体机B与PC(A)判断与终端装置10的连接的允许或不允许(S02)。例如，在多功能一体机B与PC(A)相当于不允许连接的机器的情况下、或者相当于请求连接的装置数量超过上限的机器的情况下，则不允许连接。另外，在允许了来自终端装置10的连接的情况下，也可禁止变更操作，以免多功能一体机B与PC(A)各自的固有设定信息从终端装置10受到变更。例如，也可禁止多功能一体机B的色彩参数、或跳转至省电时的设定时间等的变更。由此，对于联动对象机器的安全性(security)提高。作为另一例，当使机器联动时，与不使所述机器联动而单独利用的情况相比，也可限制设定信息的变更。例如，与单独利用机器的情况相比，也可允许更少的设定项目的变更。而且，也可禁止运行历史之类的其他用户的个人信息的阅览。由此，对于用户个人信息的安全性提高。
表示连接的允许或不允许的结果信息从多功能一体机B与PC(A)发送至终端装置10(S03)。当允许对多功能一体机B与PC(A)的连接时，在终端装置10与多功能一体机B之间建立通信，进而，在终端装置10与PC(A)之间建立通信。
接下来，在终端装置10中，用户指示联动功能(例如“打印功能”)的执行(S04)。终端装置10根据所述指示，将表示联动功能的执行指示的信息(执行指示信息)发送至联动对象的各机器(多功能一体机B与PC(A))(S05)。所述发送的控制也可由自动应答AI来进行。在发送至多功能一体机B的执行指示信息中，包含表示由多功能一体机B来执行的处理的信息(例如作业(job)信息)，在发送至PC(A)的执行指示信息中，包含表示由PC(A)来执行的处理的信息(例如作业信息)。
收到执行指示信息的多功能一体机B与PC(A)依照执行指示信息来执行联动功能(例如“打印功能”)(S06)。当执行对象的联动功能中包含在多功能一体机B与PC(A)之间进行数据收发的处理时，在多功能一体机B与PC(A)之间建立通信。例如，在发送至多功能一体机B的执行指示信息中包含PC(A)的地址信息，在发送至PC(A)的执行指示信息中包含多功能一体机B的地址信息。使用这些地址信息，在多功能一体机B与PC(A)之间建立通信。所述通信建立后，PC(A)将作为打印对象的图像数据发送至多功能一体机B，多功能一体机B将所述图像数据打印到作为记录介质的纸张上。
当联动功能的执行结束时，表示联动功能的执行完成的信息从多功能一体机B与PC(A)发送至终端装置10(S07)。在终端装置10的UI部20上，显示表示联动功能的执行已完成的信息(S08)。另外，若即使从给予执行指示的时间点经过了预先设定的时间仍未显示表示执行完成的信息，则终端装置10的控制部26也可使表示错误(error)的信息显示于UI部20，并再次将执行指示信息或表示连接请求的信息发送至多功能一体机B与PC(A)。
接下来，用户确认是否解除多功能一体机B与PC(A)的联动状态(S09)，并执行与解除的有无相应的处理(S10)。当解除联动状态时，用户利用终端装置10来给予解除指示。由此，终端装置10与多功能一体机B之间的通信解除，进而，终端装置10与PC(A)之间的通信解除。同样，多功能一体机B与PC(A)之间的通信也解除。若不解除联动状态，则也可继续给予执行指示。
而且，也可增加联动对象机器。例如也可将与第3台机器关联的图像作为对话内容而发送至自动应答AI，使包含多功能一体机B与PC(A)的三台机器联动。另外，将表示多功能一体机B与PC(A)已被识别为联动对象机器的信息存储在终端装置10或服务器16中。
表示联动对象机器的设备识别信息、或表示所执行的联动功能的联动功能信息也可存储在终端装置10或服务器16等。例如，也可获取利用终端装置10的用户的用户账户(account)信息(用户识别信息)，制作历史信息，并存储在终端装置10或服务器16等中，所述历史信息表示所述用户账户信息、表示联动对象机器的设备识别信息、与表示所执行的联动功能的联动功能信息的对应。历史信息既可由终端装置10来制作，也可由服务器16来制作。通过参照历史信息，来确定哪种联动功能是使用哪种机器群来执行。
另外，联动对象机器(例如多功能一体机B与PC(A))也可将请求连接的用户的用户账户信息、或表示连接请求源的终端装置10的终端识别信息存储为历史信息。通过参照所述历史信息来确定利用机器的用户。例如，在确定机器损坏时使用所述机器的用户的情况下、或在对于耗材等进行核款处理的情况等下，也可活用历史信息来确定用户。历史信息既可存储在终端装置10或服务器16中，也可存储在其他装置中。
用户账户信息例如预先存储在终端装置10的存储部24中，终端装置10的控制部26作为用户识别部件的一例发挥功能，从存储部24中读取用户的用户账户信息，以识别使用终端装置10的用户。当在存储部24中存储有多个用户的用户账户信息时，用户使用终端装置10来指定自身的用户账户信息。由此，来读取所述用户的用户账户信息，识别所述用户。作为另一例，终端装置10的控制部26也可通过读取登录(login)到终端装置10的用户的用户账户信息来识别用户。作为又一例，当在同一终端装置10中仅存储有一个用户账户信息时，终端装置10的控制部26也可通过读取此用户账户信息来识别用户。另外，在未设定用户账户而未制作用户账户信息的情况下，进行初始设定，由此来制作用户账户信息。
当识别出用户时，也可将表示用户自身的图像(例如用户自身的照片(例如头像等))、或者虽非用户自身的图像但与用户关联的图标等作为图8中的与用户关联的图像52予以显示。而且，也可将所识别出的用户的姓名、用户ID、笔名、昵称等用户识别信息作为字符串而显示于画面48。
也可针对每个用户来管理联动功能的利用历史，将表示由所读取的用户账户信息所表示的用户在过去所利用的联动功能的信息显示于终端装置10的UI部20。所述表示利用历史的信息既可存储在终端装置10中，也可存储在服务器16中。而且，也可显示表示利用频率为预先设定的利用频率以上的联动功能的信息。通过设置此种快捷方式(shortcut)功能，从而减轻与联动功能相关的用户操作的麻烦。
如上所述，根据第1实施方式，在用于与自动应答AI进行对话的画面48上，将成为联动对象的机器的信息作为用户的对话内容而发送至自动应答AI，由此来提供与联动功能相关的信息。如此，通过利用与自动应答AI的对话的简便方法，来提供与联动功能相关的信息。
另外，当将三个以上的机器图像作为对话内容而发送至自动应答AI时，提供与可利用三个以上的机器来执行的联动功能相关的信息。
而且，确定部28也可在预定的限制时间内将多个机器的信息作为用户的发言内容而发送至自动应答AI时，确定可利用所述多个机器来执行的联动功能，当在所述限制时间内将一个机器的信息作为用户的发言内容而发送至自动应答AI时，确定所述机器所具有的功能(单独功能)。此时，将与由确定部28所确定的联动功能或单独功能相关的信息显示于UI部20的显示部。限制时间的开始时间点例如既可如发言内容54般，为自动应答AI向用户询问联动对象机器的时间点，也可为在发表了发言内容54后，用户将最初的机器图像发送至自动应答AI的时间点。
例如，图8所示的示例中，当从如发言内容54般自动应答AI向用户询问联动对象机器的时间点开始在限制时间内，用户仅将机器图像56作为发言内容而发送至自动应答AI时，确定部28在图6所示的机器功能管理表中，确定与多功能一体机B对应的功能(单独功能)。控制部26使与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a。此时，与图10所示的处理同样，当对多功能一体机B发送了表示连接请求的信息而允许连接时，由多功能一体机B来执行由用户所指定的单独功能。
另一方面，当从如发言内容54般自动应答AI向用户询问联动功能的机器的时间点开始在限制时间内，用户将机器图像56、60作为发言内容而发送至自动应答AI时，确定部28在图7所示的联动功能管理表中，确定跟多功能一体机B与PC(A)的组合对应的联动功能。控制部26使与所述联动功能相关的信息显示于显示区域48a。
即使限制时间的开始时间点是用户将最初的机器图像(例如机器图像56)发送至自动应答AI的时间点的情况下，也进行与所述同样的处理。
如上所述，通过设置限制时间，能够切换联动功能或单独功能的提供。
而且，图8所示的示例中，当在如发言内容54般自动应答AI向用户询问联动对象机器后，用户通过摄像机22来拍摄机器(例如多功能一体机B)时，控制部26将与所述机器(多功能一体机B)关联的机器图像56(例如通过所述拍摄而获得的图像或示意性的图像)作为用户的发言内容而发送至自动应答AI。确定部28将与所述机器图像56关联的多功能一体机B识别为联动对象机器。进而，当用户通过摄像机22拍摄了其他机器(例如PC(A))时，控制部26将与所述机器(PC(A))关联的机器图像60作为用户的发言内容而发送至自动应答AI。确定部28将与所述机器图像60关联的PC(A)识别为联动对象机器。此时，确定部28在图7所示的联动功能管理表中，确定跟多功能一体机B与PC(A)的组合对应的联动功能。与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另外，也可通过摄像机22以外的拍摄装置来进行联动对象机器的拍摄。此时，通过所述拍摄装置的拍摄而生成的机器图像数据经由网络等通信路径而发送至终端装置10，将所述机器图像作为用户的发言内容而发送至自动应答AI。
而且，若在联动功能管理表中未登记与由用户所指定的多个机器的组合对应的联动功能，则确定部28判断为未登记可用的联动功能。此时，控制部26使表示未登记可用的联动功能的消息(message)作为自动应答AI的发言内容而显示于显示区域48a内。此种情况下，根据机器的更新状况等，有时联动功能也会变得可用。此时，确定部28确定变得可用的联动功能。
(变形例1)
以下，参照图13来说明变形例1。图13中表示了画面48。变形例1中，当将作为联动对象的多个机器的信息作为用户的发言内容而发送至自动应答AI时，对可利用所述多个机器来执行的联动功能进行通知。以下对变形例1进行详细说明。
在画面48上，与图8同样地，显示有与自动应答AI关联的图像50和与用户关联的图像52，进而，显示有表示用户与自动应答AI之间的对话的信息。
与图8同样地，作为自动应答AI的发言内容80，将“想要利用哪个机器？”这一发言内容显示于显示区域48a内。
当用户针对所述发言内容80来指定表示多个机器的图像82作为用户的发言内容而发送至自动应答AI时，确定部28将所述图像82所表示的多个机器识别为联动对象机器。例如，当图像82中表示了与多功能一体机B关联的机器图像56和与PC(A)关联的机器图像60时，确定部28基于机器图像56来将多功能一体机B识别为联动对象机器，并基于机器图像60来将PC(A)识别为联动对象机器。
用户也可通过操作画面48来从备选区域58中选择机器图像56、60，并将机器图像56、60重合于图像82上。由此，在图像82中表示机器图像56、60，将图像82作为用户的发言内容而发送至自动应答AI。
作为另一例，图像82也可为由摄像机22等拍摄装置一起拍摄多功能一体机B与PC(A)而生成的图像。而且，在发表了发言内容80后，用户也可通过摄像机22来一起拍摄多功能一体机B与PC(A)，将一起表示多功能一体机B与PC(A)的图像82作为用户的发言内容而发送至自动应答AI。
如上所述，当识别出多功能一体机B与PC(A)时，控制部26使被识别为联动对象机器的机器的信息作为自动应答AI的发言内容84而显示于显示区域48a内。当用户认可所述发言内容84时(例如当用户发表“是的。”这一发言内容86时)，将与可利用PC(A)与多功能一体机B来执行的联动功能相关的信息作为自动应答AI的发言内容88而显示于显示区域48a内。当用户针对所述发言内容88而通过发言内容90来指定联动功能并给予执行指示时，控制部26接受所述执行指示，并将执行指示信息发送至联动对象机器(PC(A)与多功能一体机B)。由此，由PC(A)与多功能一体机B来执行联动功能。当然，也可将用于控制联动对象机器的画面(遥控用的画面)显示于UI部20的显示部。
而且，当在图像82内显示有三个以上的机器图像时，对与可利用三个以上的机器来执行的联动功能相关的信息进行通知。而且，当在图像82内显示有一个机器图像时，对跟与所述一个机器图像关联的机器所具有的功能(单独功能)相关的信息进行通知。
而且，当从备选区域58选择与联动对象机器关联的机器图像时，也可通过利用所述限制时间的控制，来通知与联动功能或单独功能相关的信息。例如，当在限制时间内从备选区域58中取出了多个机器图像而重合于图像82上时，确定部28确定可利用与所述多个机器图像各自关联的机器来执行的联动功能。此时，将与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另一方面，当在限制时间内从备选区域58中取出一个机器图像而重合于图像82上时，确定部28确定与所述机器图像关联的机器所具有的功能(单独功能)。此时，将与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
例如图13所示的示例中，当用户在限制时间内从备选区域58中选择了与多功能一体机B关联的机器图像56而重合于图像82上，而未将其他机器图像重合于图像82上时，确定部28在图6所示的联动功能管理表中，确定与多功能一体机B对应的功能(单独功能)。控制部26使与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
另一方面，当用户在限制时间内从备选区域58中选择了机器图像56、60而重合于图像82上时，确定部28在图7所示的联动功能管理表中，确定跟多功能一体机B与PC(A)的组合对应的联动功能。控制部26使与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
(变形例2)
以下对变形例2进行说明。变形例2中，当将多个机器图像作为用户的发言内容而发送至自动应答AI时，控制部26也可生成表示所述多个机器图像彼此重合的状态的新的合成图像、或者表示所述多个机器图像彼此相邻地结合的状态的合成图像。图14A中表示了合成图像的一例。例如，当将机器图像56、60以此顺序作为用户的发言内容而发送至自动应答AI时，控制部26通过对机器图像56、60进行编组(grouping)而生成新的合成图像92。控制部26既可使所述合成图像92显示于UI部20的显示部，也可作为显示于备选区域58的图像而登记在终端装置10中。合成图像92既可为直接表示机器图像60重合于机器图像56上的状态的图像，也可为示意性地表示此状态的图像(例如图标)。
当将机器图像60、56以此顺序作为用户的发言内容而发送至自动应答AI时，控制部26生成表示在机器图像60上重合有机器图像56的状态的合成图像。
而且，如图14B所示，控制部26也可生成表示机器图像56、60彼此相邻地结合的状态的合成图像94。控制部26既可使所述合成图像94显示于UI部20的显示部，也可作为显示于备选区域58的图像而登记在终端装置10中。
而且，变形例1中，当多个机器图像从备选区域58重合于图像82上时，控制部26也可将表示多个机器图像的图像82作为新的合成图像而登记在终端装置10中。
如上所述，当生成有合成图像时，用户也可将所述合成图像作为用户的发言内容而发送至自动应答AI。例如，当用户将所述合成图像与其他机器图像作为用户的发言内容而发送至自动应答AI时，确定部28将与合成图像关联的多个机器和与所述其他机器图像关联的机器识别为联动对象机器。例如，当用户将合成图像92和与投影机C关联的机器图像作为用户的发言内容而发送至自动应答AI时，确定部28将与合成图像92关联的多功能一体机B与PC(A)识别为联动对象机器，进而，将与所述机器图像关联的投影机C识别为联动对象机器。此时，确定部28在图7所示的联动功能管理表中，确定跟PC(A)、多功能一体机B与投影机C的组合对应的联动功能。与所述联动功能相关的信息作为自动应答AI的发言内容而显示于画面48。而且，也可生成合成图像92和与投影机C关联的机器图像彼此重合的新的合成图像、或合成图像92与所述机器图像彼此相邻地结合的新的合成图像。
如上所述，通过使用合成图像，能够以简便的操作来增加联动对象机器。而且，由于合成图像表示作为联动对象的多个机器，因此通过显示合成图像，对于用户而言，容易在视觉上了解哪种机器被指定为联动对象机器。
所述合成图像也可被用作下次以后执行联动功能时的快捷方式用图像。例如，当用户使用终端装置10来给予将合成图像登记为快捷方式用图像的指示时，将所述登记用画面显示于UI部20的显示部。在所述登记画面上，显示合成图像，并且显示下述信息，所述信息表示可利用作为联动对象的多个机器来执行的联动功能的登记内容。例如，将表示联动功能名、联动功能的概要、及联动所需的机器的信息作为表示登记内容的信息予以显示。用户也可使用终端装置10来编辑登记内容(例如联动功能名、联动功能的概要等)。当用户在登记画面上给予登记指示时，将合成图像登记为快捷方式用图像。而且，当由用户来编辑登记内容时，所述编辑内容也关联于合成图像而登记。例如，生成作为合成图像的快捷方式用图像并显示于备选区域58内。快捷方式用图像例如是由终端装置10的控制部26所生成。当生成多个快捷方式用图像并予以登记时，也可在画面48上显示快捷方式用图像的一览。另外，快捷方式用图像与表示登记内容的信息存储在终端装置10中。作为另一例，快捷方式用图像与表示登记内容的信息也可关联于用户账户信息而存储在服务器16中。此时，当用户账户信息从终端装置10发送至服务器16时，将与所述用户账户信息关联的信息(快捷方式用图像与表示登记内容的信息)从服务器16发送至终端装置10而予以显示。
另外，在快捷方式用图像中，也可针对每个联动对象机器而包含表示机器状态(status)的信息(例如图像等)。例如，当联动对象机器为可执行联动功能的状态时，将表示此意旨的图像(例如绿色或蓝色的图像)作为表示状态的信息予以显示。当联动对象机器并非可执行联动功能的状态时，将表示此意旨的图像(例如白色或红色的图像)作为表示状态的信息予以显示。所谓可执行联动功能的状态，例如是指当前机器未被使用的状态、未发生故障的状态等。所谓无法执行联动功能的状态，例如是指机器正在被使用的状态、发生了故障的状态等。例如，自动应答AI从联动对象机器获取表示联动对象机器的状态的信息，并基于此信息来显示状态信息。信息的获取也可由服务器16来进行。
当用户将快捷方式用图像作为用户的发言内容而发送至自动应答AI时，也可显示跟与所述快捷方式用图像关联的联动功能相关的信息，还可控制所述联动功能的执行。
如上所述，通过将联动功能与快捷方式用图像相关联地进行管理，从而减轻下次以后用于执行联动功能的用户的操作负担。
(变形例3)
以下对变形例3进行说明。变形例3中，对与将机器的信息发送至自动应答AI的顺序相应的联动功能的通知进行控制。以下，参照图15至图17来详细说明变形例3。
图15中表示了变形例3的联动功能管理表的一例。所述联动功能管理表中，作为一例，表示机器ID的组合的信息、表示联动对象机器名(例如各机器的种类)的信息、表示联动功能的信息(联动功能信息)、表示连接顺序的信息、表示优先顺位的信息彼此对应。机器ID与机器名相当于设备识别信息的一例。另外，也可规定通过利用三个以上的机器而可执行的联动功能。此时，三个以上的机器的组合与联动功能相对应，并将所述对应登记在联动功能管理表中。
连接顺序对应于机器的指定顺序，例如对应于将机器的信息(例如机器图像、文字信息或语音信息)作为用户的发言内容而发送至自动应答AI的顺序。例如，当用户就多个机器的信息而将各机器的信息依序作为用户的发言内容发送至自动应答AI时，所述顺序相当于连接顺序。具体而言，当用户将第1机器的信息作为用户的发言内容而先发送至自动应答AI，随后，将第2机器的信息作为用户的发言内容而发送至自动应答AI时，第1机器的指定顺序为1号，第2机器的指定顺序为2号。
优先顺位是与联动功能相关的信息的通知(例如显示或语音输出)的优先顺位。例如，对于PC(A)与多功能一体机B的组合，作为联动功能而对应有“扫描转发功能”与“打印功能”。例如，当以多功能一体机B、PC(A)的顺序来将各机器的信息作为用户的发言内容而发送至自动应答AI时，“扫描转发功能”的优先顺位成为“第1位”，“打印功能”的优先顺位成为“第2位”。此时，与“扫描转发功能”相关的信息较之与“打印功能”相关的信息而优先进行通知。例如，与“扫描转发功能”相关的信息较之与“打印功能”相关的信息而上位显示，或者先显示。与此相反，当以PC(A)、多功能一体机B的顺序来将各机器的信息作为用户的发言内容而发送至自动应答AI时，“打印功能”的优先顺位成为“第1位”，“扫描转发功能”的优先顺位成为“第2位”。此时，与“打印功能”相关的信息较之与“扫描转发功能”相关的信息而优先显示。
图16中表示了依照优先顺位的显示例。例如，当以多功能一体机B、PC(A)的顺序来将机器图像56、60作为用户的发言内容而发送至自动应答AI时，“扫描转发功能”的优先顺位成为“第1位”，“打印功能”的优先顺位成为“第2位”。因此，与“扫描转发功能”相关的信息较之与“打印功能”相关的信息而优先(例如上位)显示于画面48。当由用户在画面48上指定联动功能并给予执行指示时，执行所指定的联动功能。
图17中表示了依照优先顺位的另一显示例。例如，当以PC(A)、多功能一体机B的顺序来将机器图像56、60作为用户的发言内容而发送至自动应答AI时，“打印功能”的优先顺位成为“第1位”，“扫描转发功能”的优先顺位成为“第2位”。因此，与“打印功能”相关的信息较之与“扫描转发功能”相关的信息而优先(例如上位)显示于画面48。
如上所述，根据将机器的信息作为用户的发言内容发送至自动应答AI的顺序，来变更与联动功能相关的信息的通知顺序(例如显示顺位)。机器的连接顺序(将机器的信息发送至自动应答AI的顺序)兼作在各机器中利用的功能的顺序、或在联动的机器间移动的数据的移动顺序，指定机器的操作兼作对功能的顺序或数据的移动顺序进行指定的操作。因此，通过根据连接顺序来改变与联动功能相关的信息的通知顺序，从而优先通知与预测为用户可能要利用的联动功能相关的信息。即，优先通知与用户利用的可能性高的联动功能相关的信息。例如，当以多功能一体机B、PC(A)的顺序来将各机器的信息作为用户的发言内容而发送至自动应答AI时，预测为用户将利用“在PC(A)之前先利用多功能一体机B的功能，从多功能一体机B向PC(A)转发数据”这一联动功能。而且，当以PC(A)、多功能一体机B的顺序来将各机器的信息作为用户的发言内容而发送至自动应答AI时，预测为用户将利用“在多功能一体机B之前先利用PC(A)的功能，从PC(A)向多功能一体机B转发数据”这一联动功能。因此，通过根据选择机器的顺序来改变与联动功能相关的信息的通知顺序，从而优先通知与用户利用的可能性高的联动功能相关的信息。
(变形例4)
以下对变形例4进行说明。变形例4中，对于与机器关联的机器图像内的每个部分分配有不同的功能。当由用户指定机器图像内的部分，并将此部分的信息作为用户的发言内容而发送至自动应答AI时，对与可利用分配给此部分的功能来执行的联动功能相关的信息进行通知。以下对变形例4进行详细说明。
图18中表示了变形例4的机器功能管理表的一例。所述机器功能管理表中，作为一例，机器ID、表示机器名(例如机器的种类)的信息、表示机器图像内的位置(部分的位置)的信息、表示与所述机器图像内的位置(部分的位置)对应的功能的信息(功能信息)、与图像ID相对应。机器图像内的位置是与机器关联的机器图像内的特定位置(特定部分)，例如是示意性地表示机器的机器图像内的特定位置、或由摄像机所拍摄的机器图像内的特定位置。对于机器图像内的每个特定位置(部分)，对应有不同的功能。另外，也可规定通过利用三个以上的部分而可执行的联动功能。此时，三个以上的部分的组合与联动功能相对应，且将所述对应登记在联动功能管理表中。当然，也可规定可利用部分和机器整体来执行的联动功能，并将部分和机器全体的组合与联动功能的对应登记在联动功能管理表中。
以下，参照图19A及图19B以及图20A及图20B来详细说明机器的部分。图19A及图19B中表示了与作为机器的多功能一体机B关联的机器图像96。图20A及图20B中表示了与作为机器的PC(A)关联的机器图像98。如上所述，通过适用识别技术(例如AR技术)来识别多功能一体机B或PC(A)。而且，部分的识别也是通过使用所述识别技术来实现。例如，通过拍摄机器的各部分来适用无标记型AR技术，从而识别各部分。
例如，如图19A所示，对于机器图像96中与多功能一体机B的本体部分对应的位置(部分图像96a)，分配有“打印功能”。对于机器图像96中与多功能一体机B的原稿罩(cover)、原稿玻璃(glass)或自动原稿供纸装置对应的位置(部分图像96b)，分配有“扫描功能”。对于机器图像96中与后处理装置对应的位置(部分图像96c)，分配有“装订功能”。“装订功能”是将输出的纸张通过订书机进行固定的功能。
而且，如图20A所示，对于机器图像98中与PC(A)的本体部分对应的位置(部分图像98a)，分配有“数据保存功能”。对于机器图像98中与PC(A)的显示部对应的特定位置(部分图像98b)，分配有“画面显示功能”。“数据保存功能”是将从其他装置送来的数据保存至PC(A)的功能。“画面显示功能”是将从其他装置送来的数据显示于PC(A)的功能。
各部分图像可从机器图像分离地操作。例如，当在UI部20的显示部显示有机器图像96时，如图19B所示，若用户进行选择部分图像96b而从机器图像96分离的操作，则部分图像96b将离开机器图像96而显示。图19B中，用虚线表示了经分离的部分图像96b。例如，可通过拖拽和拖放操作来操作部分图像。具体而言，用户选择部分图像，通过拖拽操作来操作部分图像从机器图像分离，并在目标显示位置进行拖放操作，由此，能够使部分图像显示于所述显示位置。而且，当在备选区域58中显示有机器图像96时，若用户进行选择所述机器图像96的部分图像(例如部分图像96b)而从机器图像96分离的操作，便可使部分图像96b从机器图像96分离而显示于备选区域58的外侧。当然，即使在进行将部分图像从机器图像分离的操作时，所述部分图像也可显示在原本的位置。部分图像96a、96c也可从机器图像96分离而显示。
对于机器图像98，也与机器图像96同样，可使部分图像98a、98b从机器图像98分离而显示。图20B中，部分图像98b(以虚线所示)从机器图像98分离。
变形例4中，用户可将部分图像作为用户的发言内容而发送至自动应答AI。此时，确定部28将与所述部分图像关联的部分识别为联动对象部分。当用户将多个部分图像作为用户的发言内容而发送至自动应答AI时，确定部28将与所述多个部分图像各自关联的部分识别为联动对象部分，确定可利用多个部分来执行的联动功能。
另外，当机器图像显示于UI部20的显示部时，控制部26也可使对机器图像内的各位置分配的功能的名称(例如打印或扫描等)显示于UI部20的显示部。借此，将分配给各位置的功能的信息提供给用户。当然，也可不显示功能的名称。
以下，举具体例来说明使用部分图像的处理。
图21中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50和与用户关联的图像52，进而，显示有表示用户与自动应答AI之间的对话的信息。而且，在画面48上显示有备选区域58。
与图8同样地，作为自动应答AI的发言内容54，“想要利用哪个机器？”这一发言内容显示于显示区域48a内。
当用户针对所述发言内容54而指定机器的部分时，确定部28(通过自动应答AI而实现的确定部28)将所述机器的部分识别为联动对象部分。例如，如图21所示，当用户将与多功能一体机B的部分关联的部分图像96b指定为用户的发言内容而发送至自动应答AI时，确定部28将与所述部分图像96b关联的部分识别为联动对象部分。图21所示的示例中，与图8所示的示例同样地，用户使部分图像96b显示于显示区域48b的操作相当于用户发布发言内容的行为。另外，用户也可通过操作UI部20，来将表示机器的部分的字符串作为用户的发言内容而输入至终端装置10。此时，确定部28将所述字符串所表示的部分识别为联动对象部分。而且，也可通过语音来将联动对象部分的信息作为用户的发言内容而输入至终端装置10。
例如，用户选择显示于备选区域58内的机器图像96中所含的部分图像96b，通过拖拽操作，使部分图像96b从备选区域58移动到显示用户发言内容的位置，在所述发言内容的显示位置处进行拖放操作。通过此操作，控制部26将部分图像96b作为用户的发言内容而发送至自动应答AI。
而且，图21所示的示例中，紧跟着部分图像96b，用户从备选区域58中取出部分图像98b，使所述部分图像98b移动到用户发言内容的显示位置。通过此操作，将所述部分图像98b作为用户的发言内容而发送至自动应答AI。
当用户在画面48上将多个部分的信息作为用户的发言内容而发送至自动应答AI时，即，当将多个部分的信息作为联动对象部分的信息而发言时，确定部28将所述多个部分识别为联动对象部分。所述示例中，将与包含部分图像96b的机器图像96关联的多功能一体机B和与包含部分图像98b的机器图像98关联的PC(A)识别为联动对象机器，并且将与部分图像96b对应的“扫描功能”和与部分图像98b对应的“画面显示功能”识别为联动对象功能。
当识别出联动对象机器(例如PC(A)与多功能一体机B)时，确定部28在图7所示的联动功能管理表中，确定跟PC(A)与多功能一体机B的组合对应的联动功能。而且，确定部28通过参照图18所示的机器功能管理表，从而确定与作为用户的发言内容而发送至自动应答AI的机器图像内的部分对应的功能。并且，确定部28在可利用PC(A)与多功能一体机B来执行的联动功能群中，提高利用与此部分对应的功能的联动功能的优先顺位，降低不利用此功能的联动功能的优先顺位。终端装置10的控制部26根据所述优先顺位，使与联动功能相关的信息作为自动应答AI的发言内容而显示于画面48。
例如，当将多功能一体机B与PC(A)识别为联动对象机器，进而，将机器的部分识别为联动对象部分时，控制部26使被识别为联动对象机器的机器的部分的信息作为自动应答AI的发言内容100而显示于画面48。当用户认可所述发言内容100时(例如用户发表“是的。”这一发言内容102时)，将与可利用由用户所指定的多个部分来执行的联动功能相关的信息显示于画面48。
图22中表示了紧跟着图21的画面48。如上所述，当联动功能经确定时，控制部26使与联动功能相关的信息作为自动应答AI的发言内容104而显示于显示区域48a内。由于由用户依次指定了“扫描功能”与“图像显示功能”，因此与可利用“扫描功能”和“图像显示功能”来执行的联动功能“扫描转发显示功能”相关的信息较之与其他联动功能相关的信息而优先(例如上位)显示。例如，与“扫描转发显示功能”相关的信息较之与可利用“扫描功能”和“数据保存功能”来执行的联动功能“扫描转发保存功能”相关的信息而优先显示。另外，“扫描转发显示功能”是将通过多功能一体机B的扫描而生成的数据转发至PC(A)并显示在PC(A)的画面上的功能。“扫描转发保存功能”是将通过多功能一体机B的扫描而生成的数据转发至PC(A)并保存在PC(A)中的功能。
当用户针对自动应答AI的发言内容104而通过发言内容106指定了联动功能并给予执行指示时，控制部26接受所述执行指示，并将所述执行指示信息发送至联动对象机器。而且，控制部26将表示已收到执行指示的信息作为自动应答AI的发言内容108而显示于显示区域48a内。例如，当给予了“扫描转发显示功能”的执行指示时，将通过多功能一体机B的扫描而生成的数据转发至PC(A)并显示在PC(A)的画面上。
另外，也可将用于控制联动对象机器(例如多功能一体机B与PC(A))的画面(遥控用画面)显示于UI部20的显示部。
根据变形例4，当联动对象机器具有多个功能时，各别地指定功能，并优先通知与可利用所述所指定的功能来执行的联动功能相关的信息。由此，优先通知预测为用户可能要利用的联动功能。
另外，联动功能既可为利用彼此相同的机器或互不相同的机器的部分彼此的组合的功能，也可为利用机器整体与机器的部分的组合的功能，还可为利用机器整体彼此的组合的功能。
而且，通过组合变形例3、变形例4，也可根据将机器或部分的信息作为用户的发言内容而发送至自动应答AI的顺序，来切换与联动功能相关的信息的显示。
而且，当将一个部分的信息作为用户的发言内容而发送至自动应答AI时，将与可利用所述一个部分来执行的单独功能相关的信息显示于UI部20的显示部。
以下，对使用部分图像的处理的另一例进行说明。
图23中表示了变形例4的机器功能管理表的另一例。所述机器功能管理表中，作为一例，机器ID、表示机器名(例如机器的种类)的信息、表示机器的部分的名称(例如部分的种类)的信息、作为用于识别所述部分的部分识别信息的部分ID、表示分配给所述部分的功能(所述部分所具有的功能)的信息、和用于识别与所述部分关联的部分图像的部分图像ID彼此对应。部分图像是表示通过摄像机的拍摄而获得的机器的部分的外观的图像。当然，示意性地表示机器的部分的部分图像也可对应于所述部分。例如，对于机器的每个部分分配有不同的功能。
若举具体例进行说明，则对于PC(A)的显示部分配有画面显示功能，对于与所述显示部关联的部分图像的部分图像ID，对应于有表示画面显示功能的信息。画面显示功能是将信息显示于PC(A)的功能。对于PC(A)的本体部分配有数据保存功能，对于与所述本体部关联的部分图像的部分图像ID，对应于有表示数据保存功能的信息。数据保存功能是将数据保存于PC(A)的功能。
而且，对于多功能一体机B的本体部分配有打印功能，对于与所述本体部关联的部分图像的部分图像ID，对应有表示打印功能的信息。对于多功能一体机B的读取部(例如与多功能一体机B的原稿罩、原稿玻璃或自动原稿供纸装置对应的部分)分配有扫描功能，对于与所述读取部关联的部分图像的部分图像ID，对应有表示扫描功能的信息。对于多功能一体机B的后处理装置分配有装订功能，对于与所述后处理装置关联的部分图像的部分图像ID，对应有表示装订功能的信息。装订功能是将所输出的纸张通过订书钉进行装订的功能。
对机器的部分分配的功能例如通过使用无标记型AR技术来确定(识别)。例如，当通过摄像机(例如终端装置10的摄像机22)而拍摄了机器的部分时，确定部28在图23所示的机器功能管理表中，确定(识别)与所述外观图像数据对应的功能。由此，来确定(识别)分配给所拍摄的部分的功能。例如，当通过摄像机22而拍摄了多功能一体机B的本体部时，确定部28在机器功能管理表中，确定与表示多功能一体机B的本体部的外观图像数据对应的打印功能。由此，来确定分配给多功能一体机B的本体部的功能为打印功能。
当然，分配给机器的部分的功能也可通过使用标记型AR技术来确定(识别)。例如，在机器的各部分，设有对用于识别部分的部分识别信息(例如部分ID)进行编码所得的二维条形码等标记。当通过摄像机来拍摄设于部分的标记并适用标记型AR技术时，获取此部分的部分识别信息(例如部分ID)。当如此般获取部分识别信息时，确定部28在图23所示的机器功能管理表中，确定(识别)与所述部分识别信息(例如部分ID)对应的功能。
图24中表示了变形例4的联动功能管理表的一例。所述联动功能管理表是表示利用多个部分所具有的功能的联动功能的信息，所述联动功能管理表中，作为一例，表示机器的部分的组合的信息、表示部分ID的组合的信息、与表示可利用所述组合中所含的多个部分所具有的功能来执行的联动功能的信息彼此对应。当然，联动功能管理表中，表示机器的部分与机器整体的组合的信息、与表示利用所述机器的部分所具有的功能和机器整体所具有的功能的联动功能的信息也可对应。
若举具体例进行说明，则对于PC(A)的显示部与多功能一体机B的本体部的组合，分配有作为联动功能的“打印功能”。作为联动功能的“打印功能”是将保存于PC(A)中的数据发送至多功能一体机B，并通过多功能一体机B来打印所述数据的功能。
而且，对于多功能一体机B的本体部与投影机C的本体部的组合，分配有作为联动功能的“打印功能”。作为联动功能的“打印功能”是将由投影机C所投影的数据发送至多功能一体机B，并通过多功能一体机B来打印所述数据的功能。
而且，对于多功能一体机B的读取部与投影机C的本体部的组合，分配有作为联动功能的“扫描投影功能”。作为联动功能的“扫描投影功能”例如是将通过多功能一体机B的扫描而生成的数据发送至投影机C，并通过投影机C来投影所述数据的功能。
另外，联动功能既可为可利用同一机器中所含的多个部分所具有的功能来执行的功能，也可为可利用互不相同的多个机器的部分所具有的功能来执行的功能。而且，联动功能还可为可利用三个以上的部分所具有的功能来执行的功能。
例如，当用户将多个部分图像作为用户的发言内容而发送至自动应答AI时，确定部28在图24所示的联动功能管理表中，确定(识别)跟与所述多个部分图像各自关联的部分的组合对应的联动功能。例如，当将与多功能一体机B的本体部关联的部分图像和与投影机C的本体部关联的部分图像发送至自动应答AI时，确定部28在图24所示的联动功能管理表中，确定跟多功能一体机B的本体部与投影机C的本体部的组合对应的联动功能“打印功能”等。如图22所示，与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
而且，通过组合变形例3、变形例4，也可根据将机器图像或部分图像作为用户的发言内容而发送至自动应答AI的顺序，来切换与联动功能相关的信息的显示。
(变形例5)
以下对变形例5进行说明。变形例5中，先由用户将与联动功能相关的信息作为用户的发言内容而输入至终端装置10，接下来，通过用户的发言内容将与联动对象机器相关的信息输入至终端装置10。以下对变形例5进行详细说明。
图25中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
首先，用户输入表示联动功能的执行请求的发言内容110。图25所示的示例中，用户所请求的联动功能是用于将扫描数据转发至PC的联动功能。自动应答AI通过分析所述发言内容110而判断为用户请求了联动功能的执行，从而发表用于向用户询问用于所述联动功能的机器的发言内容112。控制部26使所述发言内容112显示于显示区域48a内。针对所述发言内容112，用户将与用于联动功能的机器相关的信息输入至终端装置10。用户既可通过将作为与机器相关的信息的机器图像配置于用户发言内容的显示位置，从而将与机器相关的信息输入至终端装置10，也可通过语音来将与机器相关的信息输入至终端装置10。图25所示的示例中，在用户发言内容的显示位置显示有机器图像56、60。由此，控制部26将机器图像56、60作为用户的发言内容而发送至自动应答AI，确定部28将与机器图像56关联的多功能一体机B和与机器图像60关联的PC(A)识别为联动对象机器。自动应答AI发表表示所识别的机器的发言内容114，控制部26使所述发言内容114显示于显示区域48a内。当用户针对所述发言内容114而发表表示联动功能的执行指示的发言内容116时，控制部26使多功能一体机B与PC(A)执行用户所请求的联动功能。而且，控制部26将表示发出了联动功能的执行指示的信息作为自动应答AI的发言内容118而显示于显示区域48a内。
如上所述，根据变形例5，即使在用户先将与联动功能相关的信息发送至自动应答AI的情况下，也能够通过与自动应答AI的对话而以简便的操作来执行联动功能。
(变形例6)
以下对变形例6进行说明。变形例6中，通过利用自动应答AI的学习功能，根据自动应答AI所获得的信息来控制联动功能的通知。自动应答AI通过学习功能来获取例如与用户相关的信息(例如表示终端装置10的操作历史的信息、表示机器的操作历史的信息、表示行动历史的信息等)以及与机器12、14相关的信息(例如表示利用历史的信息、表示机器状态的信息等)等。自动应答AI既可从终端装置10获取信息，也可从机器12、14等机器获取信息，还可从服务器16获取信息，还可从其他装置(例如云(cloud)等)获取信息，还可从保存于其他装置的其他操作助理(assistant)(例如保存在其他装置中的人工智能)获取信息。
控制部26根据由自动应答AI所获取的信息，来控制联动功能的通知。例如，当由自动应答AI获取了表示用户对机器的利用历史的信息、或表示用户的日程(schedule)(预定)的信息(日程信息)时，控制部26通过参照利用历史或日程，使与用户使用的可能性高的联动功能相关的信息作为自动应答AI的发言内容而优先显示于UI部20的显示部。例如，通过用户将多个机器图像作为用户的发言内容而发送至自动应答AI，从而确定可利用与所述多个机器图像各自关联的机器来执行的多个联动功能。控制部26分析利用历史或日程，使与所述多个联动功能中用户使用的可能性高的联动功能相关的信息优先显示于UI部20的显示部。例如，控制部26对照在过去多个机器被指定为联动对象机器的时机与日程，使与在当前时间点被使用的可能性高的联动功能相关的信息优先显示于UI部20的显示部。
若举具体例进行说明，则假设：在过去，用户在午后外出日的上午，将第1机器图像与第2机器图像作为用户的发言内容而发送至自动应答AI以执行联动功能Z。若存在此种利用历史，则当将第1机器图像与第2机器图像作为用户的发言内容而发送至自动应答AI的时机是用户预定午后要外出之日的上午时，控制部26判断为使用所述联动功能Z的可能性高，而使与所述联动功能Z相关的信息优先显示于UI部20的显示部。
若举另一具体例进行说明，则假设：在过去，在某时间段将第1机器图像与第2机器图像作为用户的发言内容而发送至自动应答AI，以执行作为联动功能的录像功能，从而录制频道(channel)X的节目。若存在此种利用历史，则当将第1机器图像与第2机器图像作为用户的发言内容而发送至自动应答AI的时机包含在所述时间段时，控制部26判断为使用所述录像功能的可能性高，使与所述录像功能相关的信息(例如与录制频道X的功能相关的信息)优先显示于UI部20的显示部。
而且，若与发送至自动应答AI的机器图像关联的机器处于使用中或故障中，则控制部26也可降低与可利用所述机器来执行的联动功能相关的信息的优先级而使所述信息显示于UI部20的显示部。若所述机器并未发生故障且未处于使用中，则控制部26使与可利用所述机器来执行的联动功能相关的信息优先显示于UI部20的显示部。借此，将与可立即使用的联动功能相关的信息优先提供给用户。
(变形例7)
以下对变形例7进行说明。变形例7中，自动应答AI推荐作为联动对象的机器。例如，当用户将机器图像作为用户的发言内容而发送至自动应答AI时，确定部28识别与所述机器图像关联的机器，并通过参照联动功能管理表，来确定能以与所述机器的组合来执行联动功能的机器。控制部26使与由确定部28所确定的机器相关的信息作为自动应答AI的发言内容而显示于UI部20的显示部。例如，当用户将与多功能一体机B关联的机器图像56作为用户的发言内容而发送至自动应答AI时，确定部28通过参照联动功能管理表，来确定能以与多功能一体机B的组合来执行联动功能的机器(例如PC或投影机等)。将与所述机器(例如PC或投影机)相关的信息作为自动应答AI的发言内容而显示于UI部20的显示部。借此，将成为联动对象的机器提供给用户。
而且，确定部28基于联动功能的使用历史(所述用户的使用历史、或其他用户的利用历史)，来确定跟与所述机器图像关联的机器(例如多功能一体机B)组合而实际利用的机器，控制部26也可使与所述机器相关的信息作为自动应答AI的发言内容而显示于UI部20的显示部。例如，确定部28也可确定以跟与所述机器图像关联的机器(例如多功能一体机B)的组合而利用的频率(例如利用次数)达到预定阈值以上的机器。借此，将利用频率相对较高的机器提供给用户。
而且，控制部26也可使与以跟与所述机器图像关联的机器(例如多功能一体机B)的组合而利用的频率越高的机器相关的信息，越优先显示于UI部20的显示部。
(变形例8)
以下对变形例8进行说明。变形例8中，多个自动应答AI也可彼此联动。例如，保存在终端装置10中的自动应答AI也可与保存在其他终端装置中的自动应答AI共享信息(例如联动功能的使用历史信息、机器的使用历史信息等)。此时，确定部28也可通过使用自动应答AI所获取的所述共享信息来确定联动功能，还可与变形例7同样，推荐作为联动对象的机器。例如，确定部28也可通过使用共享信息中所含的使用历史信息，来确定能以与用户交给操作助理的机器的组合来执行联动功能的机器。
而且，也可针对每个用户来规定自动应答AI。此时，也可在同一终端装置10中保存有多个自动应答AI。各自动应答AI也可对与关联于自身的用户相关的信息(例如终端装置10的操作历史信息、联动功能的使用历史信息、机器的使用历史信息等)进行管理，并与其他自动应答AI共享信息。此时，各自动应答AI既可通过使用所述共享信息来推荐作为联动对象的机器，也可推荐联动功能。
(变形例9)
以下对变形例9进行说明。变形例9中，用户与自动应答AI的对话是通过语音来进行。例如，当用户通过语音来说出作为联动对象的机器名称(例如多功能一体机B、PC(A)等)时，所述语音被输入至终端装置10，确定部28(通过自动应答AI而实现的确定部28)接受所述语音输入而确定联动功能。与所述联动功能相关的信息既可作为自动应答AI的发言内容而显示于UI部20的显示部，也可作为语音信息而发出。当使用语音输入时，与自动应答AI关联的图像也可显示于UI部20的显示部。当然，当显示有与自动应答AI关联的图像时，也可通过语音输入来将与机器相关的信息作为用户的发言内容而输入至终端装置10。
＜第2实施方式＞
以下对第2实施方式的机器系统进行说明。所述第1实施方式中，当将机器的信息作为用户的发言内容而发送至自动应答AI时，将与联动功能相关的信息作为自动应答AI的发言内容予以通知，但在第2实施方式中，当将功能的信息作为用户的发言内容而发送至自动应答AI时，将与联动功能相关的信息作为自动应答AI的发言内容予以通知。功能的信息是用于识别功能的识别信息，例如是与功能关联的功能图像、表示所述识别信息的文字信息或语音信息等。例如，在用户将与功能关联的功能图像发送至自动应答AI的情况下、或者用户通过终端装置10来输入表示功能的识别信息的字符串而给予至自动应答AI的情况下、或者用户通过语音来将功能的识别信息给予至自动应答AI的情况下，确定部28识别所述功能。
功能图像例如既可为与软件(应用程序等)关联的图像，也可为与进行处理的机器(位于现实空间内的机器)关联的图像。功能图像例如是图标等图像，从与表示作为硬件的机器的实际外观的图像(例如照片)或表示机器其自身的图像区别的意义上来说，也可称作虚拟(virtual)图像。例如，当将与软件关联的功能图像作为用户的发言内容而发送至自动应答AI时，将表示可利用与所述功能图像关联的软件来执行的联动功能的信息作为自动应答AI的发言内容予以通知。以下对第2实施方式进行详细说明。
图26中表示了第2实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用多个功能来执行的联动功能的信息。所述联动功能管理表中，作为一例，功能ID(例如用于识别软件的ID)、表示功能名(例如软件名)的信息、与表示可利用多个功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表，从而确定可利用多个功能来执行的联动功能。
例如，作为功能的软件α是发送数据的软件，作为功能的软件β是对数据添加密码(password)的软件。通过将软件α、β予以组合，例如实现对数据添加密码后予以发送的联动功能。对于其他软件，也同样规定有可执行的联动功能。
另外，也可规定通过利用三个以上的功能(例如软件)而可执行的联动功能。此时，三个以上的功能的组合与联动功能相对应，且将所述对应登记在联动功能管理表中。
以下，举具体例来详细说明第2实施方式。
图27中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
例如，作为自动应答AI的发言内容，将“想要利用哪个功能？”这一发言内容120显示于显示区域48a内。
当用户针对所述发言内容120而指定功能时，确定部28(通过自动应答AI而实现的确定部28)将所述功能识别为联动对象功能。例如，如图27所示，用户指定与功能关联的功能图像122，并将所述功能图像122配置于显示用户发言内容的位置，由此，控制部26将所述功能图像122作为用户的发言内容而发送至自动应答AI。根据此操作，确定部28将与所述功能图像122关联的功能识别为联动对象功能。图27所示的示例中，用户使功能图像122显示于显示区域48b的操作相当于用户发布发言内容的行为。另外，用户也可通过操作UI部20来将表示功能的字符串作为用户的发言内容而输入至终端装置10。此时，确定部28将此字符串所表示的功能识别为联动对象功能。而且，也可通过语音来将联动对象功能的信息作为用户的发言内容而输入至终端装置10。
功能图像122是与密码设定功能关联的图像(例如与密码设定软件关联的图像)。当由用户选择了功能图像122并给予密码设定功能的启动指示时，例如密码设定软件启动，以进行针对数据等的密码设定处理。
例如，控制部26与第1实施方式同样地，使备选区域124显示于用户用的显示区域48b内，并使功能图像显示于所述备选区域124内。例如，控制部26使与安装于终端装置10的软件关联的功能图像等显示于所述备选区域124内。而且，若存在在备选区域124中显示不下的其他功能图像，则用户对显示在备选区域124内的功能图像进行滚动操作，从而使所述其他功能图像显示在备选区域124内。
用户可与第1实施方式同样地，从备选区域124中选择与联动对象功能关联的功能图像(图27所示的示例中为功能图像122)并使其移动到备选区域124的外侧，从而将所述功能图像122作为用户的发言内容而发送至自动应答AI。例如，用户通过拖拽操作来使功能图像122从备选区域124移动到显示用户发言内容的位置，并在所述发言内容的显示位置进行拖放操作。通过此操作，控制部26将功能图像122作为用户的发言内容而发送至自动应答AI。
而且，图27所示的示例中，紧跟着功能图像122，用户从备选区域124中选择功能图像126，使所述功能图像126移动到用户发言内容的显示位置。通过此操作，将所述功能图像126作为用户的发言内容而发送至自动应答AI。功能图像126是与数据发送功能关联的图像(例如与数据发送软件关联的图像)。当由用户选择了功能图像126并给予数据发送功能的启动指示时，例如数据发送软件启动，而将作为发送对象的数据等发送至发送目标。
当用户在画面48上将多个功能的信息发送至自动应答AI时，即，当将多个功能的信息作为联动对象功能的信息而发言时，确定部28在图26所示的联动功能管理表中，确定与所述多个功能对应的联动功能。控制部26使与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
所述示例中，将功能图像122、126作为联动对象功能而发送至自动应答AI。此时，确定部28将与功能图像122关联的功能和与功能图像126关联的功能识别为联动对象功能。另外，既可先将功能图像122发送至自动应答AI，随后将功能图像126发送至自动应答AI，也可先将功能图像126发送至自动应答AI，随后将功能图像122发送至自动应答AI。
如上所述，当将功能图像122、126发送至自动应答AI而将密码功能与数据发送功能识别为联动对象功能时，控制部26使被识别为联动对象功能的功能的信息作为自动应答AI的发言内容128而显示于显示区域48a内。当用户认可所述发言内容128时(例如当用户发表“是的。”这一发言内容130时)，将与可利用数据发送功能和密码功能来执行的联动功能相关的信息显示于显示区域48a内。
确定部28在将功能图像122、126作为联动对象功能的信息而发送至自动应答AI的时机、或者在用户认可了发言内容128的时机，在图26所示的联动功能管理表中，确定跟密码功能与数据发送功能的组合对应的联动功能(例如“对数据添加密码后予以发送的功能”等)。由此，来确定可利用密码功能与数据发送功能来执行的联动功能。与如此般所确定的联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另外，功能或联动功能的确定处理也可由服务器16来进行。
图28中表示了紧跟着图27的画面48。当如上所述般确定了联动功能时，终端装置10的控制部26使与联动功能相关的信息作为自动应答AI的发言内容132而显示于画面48。
当用户针对所述发言内容132而通过发言内容134来指定联动功能并给予了执行指示时，控制部26接受所述执行指示，并执行联动功能。而且，控制部26使表示已接受了执行指示的信息作为自动应答AI的发言内容136而显示于画面48。作为另一例，也可在画面48上显示用于指示联动功能的执行的按钮图像，用户通过按下所述按钮图像来给予联动功能的执行指示。当选择了密码功能与数据发送功能来作为联动对象功能时，控制部26启动密码设定软件，对作为处理对象的数据设定密码，进而启动数据发送软件，将所述数据发送至接收目标。
另外，既可由用户对显示在图27中的备选区域124内的功能图像进行编辑，也可由用户对跟与所述功能图像关联的功能相关的信息进行编辑。例如，当用户指定备选区域124内显示的功能图像而给予编辑指示时，控制部26使编辑画面显示于UI部20的显示部。控制部26例如在用户长按功能图像的情况下(例如长按功能图像的时间长度达到阈值以上的情况下)、或者在用户按下用于显示编辑画面的按钮图像的情况下、或者在用户通过语音对终端装置10输入编辑指示的情况等下，使编辑画面显示于UI部20的显示部。在所述编辑画面中，可进行功能图像的编辑，例如当对功能图像的每个部分进而分配有功能时，也可从功能图像中切出部分图像。而且，也可进行跟与功能图像关联的功能相关的信息的编辑。
作为另一例，也可将联动对象功能预先设定为基本联动功能。基本联动功能的信息也可预先存储在终端装置10的存储部24中。用户也可利用UI部20来指定基本联动功能。当设定有基本联动功能时，用户将与基本联动功能以外的联动对象功能关联的功能图像作为发言内容发送至自动应答AI。由此，来确定(识别)联动对象功能，并确定(识别)可利用基本联动功能与所述功能来执行的联动功能。
如上所述，根据第2实施方式，在用于与自动应答AI进行对话的画面48上，将成为联动对象的功能的信息作为对话内容而发送至自动应答AI，由此来提供与联动功能相关的信息。如此，通过利用与自动应答AI的对话的简便方法，来提供与联动功能相关的信息。
另外，当将三个以上的功能图像作为对话内容而发送至自动应答AI时，提供与可利用三个以上的功能来执行的联动功能相关的信息。
而且，确定部28也可在预定的限制时间内将多个功能的信息作为用户的发言内容而发送至自动应答AI时，确定可利用所述多个功能来执行的联动功能，当在所述限制时间内将一个功能的信息作为用户的发言内容而发送至自动应答AI时，将所述功能确定为单独功能。此时，将与由确定部28所确定的联动功能或单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。限制时间的开始时间点例如既可如发言内容120般，为自动应答AI向用户询问联动对象功能的时间点，也可为在发表了发言内容120后，用户将最初的功能图像发送至自动应答AI的时间点。
例如，图27所示的示例中，当从如发言内容120般自动应答AI向用户询问联动对象功能的时间点开始在限制时间内，用户仅将功能图像122作为用户的发言内容而发送至自动应答AI时，确定部28识别与功能图像122关联的功能(单独功能)。控制部26将与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
另一方面，当从如发言内容120般自动应答AI向用户询问联动功能的功能的时间点开始在限制时间内，用户将功能图像122、126作为用户的发言内容而发送至自动应答AI时，确定部28在图26所示的联动功能管理表中，确定跟密码功能与数据发送功能的组合对应的联动功能。控制部26使与所述联动功能相关的信息显示于显示区域48a内。
即使限制时间的开始时间点是用户将最初的功能图像(例如功能图像122)发送至自动应答AI的时间点的情况下，也进行与所述同样的处理。
如上所述，通过设置限制时间，能够切换联动功能或单独功能的提供。
而且，若在联动功能管理表中未登记与由用户所指定的多个功能的组合对应的联动功能，则确定部28判断为未登记可用的联动功能。此时，控制部26使表示未登记可用的联动功能的消息作为自动应答AI的发言内容而显示于显示区域48a内。此种情况下，根据功能的更新状况等，有时联动功能也会变得可用。此时，确定部28确定变得可用的联动功能。
而且，在第2实施方式中，也可适用第1实施方式的变形例1至变形例9。
图29中表示了将变形例1适用于第2实施方式时的处理。通过适用变形例1，当将作为联动对象的多个功能的信息作为用户的发言内容而发送至自动应答AI时，对可利用所述多个功能来执行的联动功能进行通知。以下，参照图29，对将变形例1适用于第2实施方式时的处理进行说明。
与图27同样地，作为自动应答AI的发言内容138，将“想要利用哪个功能？”这一发言内容显示于显示区域48a内。
当用户针对所述发言内容138来指定表示多个功能的图像140作为用户的发言内容而发送至自动应答AI时，确定部28将所述图像140所表示的多个功能识别为联动对象功能。例如，当图像140中表示了与密码功能关联的功能图像122和与数据发送功能关联的功能图像126时，确定部28基于功能图像122来将密码功能识别为联动对象功能，并基于功能图像126来将数据发送功能识别为联动对象功能。
用户也可通过操作画面48来从备选区域124中选择功能图像122、126，并将功能图像122、126重合于图像140上。由此，在图像140中表示功能图像122、126，将图像140作为用户的发言内容而发送至自动应答AI。
如上所述，当识别出密码功能与数据发送功能时，控制部26使被识别为联动对象功能的功能的信息作为自动应答AI的发言内容142而显示于显示区域48a内。当用户认可了所述发言内容142时(例如当用户发表“是的。”这一发言内容144时)，将与可利用密码功能和数据发送功能来执行的联动功能相关的信息作为自动应答AI的发言内容146而显示于画面48。当用户针对所述发言内容146而通过发言内容148来指定联动功能并给予执行指示时，控制部26启动密码设定软件与数据发送软件。由此，由密码设定软件与数据发送软件执行联动功能。
而且，当在图像140内显示有三个以上的功能图像时，对与可利用三个以上的功能来执行的联动功能相关的信息进行通知。而且，当在图像140内显示有一个功能图像时，对跟与所述一个功能图像关联的功能(单独功能)相关的信息进行通知。
而且，当从备选区域124选择与联动对象功能关联的功能图像时，也可通过利用所述限制时间的控制，来通知与联动功能或单独功能相关的信息。例如，当在限制时间内从备选区域124中取出了多个功能图像而重合于图像140上时，确定部28确定可利用与所述多个功能图像各自关联的功能来执行的联动功能。此时，将与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另一方面，当在限制时间内从备选区域124中取出一个功能图像而重合于图像140上时，确定部28确定与所述功能图像关联的功能(单独功能)。此时，将与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
例如图29所示的示例中，当用户在限制时间内从备选区域124中选择了与密码功能关联的功能图像122而重合于图像140上，而未将其他功能图像重合于图像140上时，确定部28将与功能图像122关联的密码功能确定为单独功能。控制部26使与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
另一方面，当用户在限制时间内从备选区域124中选择了功能图像122、126而重合于图像140上时，确定部28在图26所示的联动功能管理表中，确定跟密码功能与数据发送功能的组合对应的联动功能。控制部26使与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
而且，通过适用变形例2，当将多个功能图像作为用户的发言内容而发送至自动应答AI时，也可生成表示所述多个功能图像彼此重合的状态的合成图像(参照图14A)，也可生成所述多个功能图像彼此相邻地结合的合成图像(参照图14B)。合成图像也可显示在备选区域124内。而且，也可将合成图像作为快捷方式用图像而登记在终端装置10中。
而且，通过适用变形例3，也可根据将功能的信息发送至自动应答AI的顺序，来变更所通知的联动功能。此时，与图15所示的联动功能管理表同样地，第2实施方式的联动功能管理表中也规定有功能图像的连接顺序与优先顺位。
而且，通过适用变形例4，也可对功能图像内的每个部分进而分配不同的功能。此时，当将与功能关联的部分图像作为用户的发言内容而发送至自动应答AI时，显示与可利用与所述部分图像关联的功能来执行的联动功能相关的信息。而且，也可将变形例3、变形例4的组合适用于第2实施方式。
而且，通过适用变形例5，也可由用户先将与联动功能相关的信息作为用户的发言内容而输入至终端装置10，接下来，将与联动对象功能相关的信息作为用户的发言内容而输入至终端装置10。
而且，通过适用变形例6，也可根据自动应答AI所获得的信息来控制联动功能的通知。例如，自动应答AI也可通过学习功能来获取表示功能的利用历史的信息、表示用于实现功能的软件的执行状况的信息、与用户相关的信息(表示操作历史或行动历史的信息)、表示用户日程的信息等，并使用这些信息来控制联动功能的通知。
而且，通过适用变形例7，也可推荐作为联动对象的功能。例如，当用户将功能图像作为用户的发言内容而发送至自动应答AI时，确定部28识别与所述功能图像关联的功能，且通过参照联动功能管理表，来确定能以与所述功能的组合来执行联动功能的功能。而且，确定部28既可基于联动功能的使用历史来推荐功能，也可推荐使用频率相对较高的功能。
而且，通过适用变形例8，自动应答AI也可基于与其他自动应答AI之间共享的信息，来推荐用于联动功能的功能。
而且，通过适用变形例9，也可通过语音输入来将与联动对象功能相关的信息输入至终端装置10。
＜第3实施方式＞
以下对第3实施方式的机器系统进行说明。第3实施方式相当于所述第1实施方式与第2实施方式的组合。即，当将机器与功能的信息(例如机器图像与功能图像)作为用户的发言内容而发送至自动应答AI时，对可利用所述机器与功能来执行的联动功能进行通知。以下，对第3实施方式进行详细说明。
图30中表示了第3实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用机器与功能(例如软件)来执行的联动功能的信息。所述联动功能管理表中，作为一例，ID的组合(机器ID与功能ID的组合)、表示机器名及功能名的信息、与表示可利用机器和功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表，来确定可利用机器与功能来执行的联动功能。例如，通过将作为机器A的PC(A)与作为功能α的数据发送功能予以组合，例如实现利用PC(A)来发送数据的联动功能。对于其他机器与功能，也同样规定有可执行的联动功能。另外，也可规定通过利用合计三个以上的机器或功能而可执行的联动功能。此时，三个以上的机器或功能的组合与联动功能相对应，且将所述对应登记在联动功能管理表中。
以下，举具体例来说明第3实施方式。
图31中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
例如，作为自动应答AI的发言内容，将“想要利用哪个功能？”这一发言内容150显示于显示区域48a内。
当用户针对所述发言内容150而指定机器时，确定部28(通过自动应答AI而实现的确定部28)将所述机器识别为联动对象功能。例如，如图31所示，用户指定与作为机器的PC(A)关联的机器图像60，并将所述机器图像60配置于显示用户发言内容的位置，由此，控制部26将所述机器图像60作为用户的发言内容而发送至自动应答AI。根据此操作，确定部28将与所述机器图像60关联的PC(A)识别为联动对象机器。图31所示的示例中，用户使机器图像60显示于显示区域48b的操作相当于用户发表发言内容的行为。另外，用户也可通过操作UI部20来将表示机器的字符串作为用户的发言内容而输入至终端装置10。此时，确定部28将此字符串所表示的机器识别为联动对象机器。而且，也可通过语音来将联动对象机器的信息作为用户的发言内容而输入至终端装置10。
而且，控制部26与第1实施方式同样地，也可使备选区域58显示于用户用的显示区域48b内，并使机器图像显示于所述备选区域58内。此时，用户也可从所述备选区域58内选择机器图像，并使所述机器图像移动至用户发言内容的显示位置。此时，控制部26将所述机器图像作为用户的发言内容而发送至自动应答AI。
而且，图31所示的示例中，在自动应答AI的发言内容152之后，紧跟着机器图像60，用户指定了功能。此时，确定部28将所述功能识别为联动对象功能。例如，用户指定与功能关联的功能图像154，将所述功能图像154配置于用户发言内容的显示位置，由此，控制部26将所述功能图像154作为用户的发言内容而发送至自动应答AI。根据此操作，确定部28将与所述功能图像154关联的功能识别为联动对象功能。图31所示的示例中，用户使功能图像154显示于显示区域48b的操作相当于用户发表发言内容的行为。另外，用户也可通过操作UI部20来将表示功能的字符串作为用户的发言内容而输入至终端装置10。此时，确定部28将此字符串所表示的功能识别为联动对象功能。而且，也可通过语音来将联动对象功能的信息作为用户的发言内容而输入至终端装置10。
功能图像154是与图像形成功能关联的图像(例如与图像形成软件关联的图像、或与多功能一体机的功能关联的图像)。当由用户选择了功能图像154并给予图像形成功能的启动指示时，例如图像形成软件启动，以将打印指示或扫描指示给予至多功能一体机。
当用户在画面48上将机器与功能的信息发送至自动应答AI时，即，当将机器与功能的信息作为联动对象的信息而发言时，确定部28在图30所示的联动功能管理表中，确定跟所述机器与所述功能的组合对应的联动功能。控制部26将与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
所述示例中，将机器图像60与功能图像154作为联动对象而发送至自动应答AI。此时，确定部28(通过自动应答AI而实现的确定部28)将与机器图像60关联的PC(A)和与功能图像154关联的图像形成功能识别为联动对象。另外，也可先将机器图像60发送至自动应答AI，随后将功能图像154发送至自动应答AI，还可先将功能图像154发送至自动应答AI，随后将机器图像60发送至自动应答AI。
如上所述，当将机器图像60与功能图像154发送至自动应答AI而识别出作为联动对象的机器与功能时，控制部26也可使被识别为联动对象的机器与功能的信息作为自动应答AI的发言内容而显示于显示区域48a内。当用户认可了所述发言内容时(例如当用户发表“是的。”这一发言内容时)，也可将与可利用PC(A)与图像形成功能来执行的联动功能相关的信息显示于显示区域48a内。
确定部28确定跟与机器图像60关联的PC(A)和与功能图像154关联的图像形成功能的组合对应的联动功能(例如“扫描转发功能”或“打印功能”等)。由此，确定可利用PC(A)与图像形成功能来执行的联动功能。与如此般经确定的联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另外，功能或联动功能的确定处理也可由服务器16来进行。
控制部26将与联动功能相关的信息作为自动应答AI的发言内容156而显示于显示区域48a内。
当用户针对所述发言内容156而通过发言内容来指定联动功能并给予了执行指示时，控制部26接受所述执行指示，并执行联动功能。例如，当给予了扫描转发功能的执行指示时，例如通过利用图像形成软件，由用户指定多功能一体机，并将通过所述多功能一体机的扫描而生成的数据从所述多功能一体机转发至PC(A)。
作为所述外的另一例，例如当将与多功能一体机B关联的机器图像和与数据发送功能关联的功能图像作为用户的发言内容而发送至自动应答AI时，确定部28将多功能一体机B与数据发送功能识别为联动对象。此时，确定部28通过参照图30所示的联动功能管理表，从而确定可利用多功能一体机B与数据发送软件来执行的联动功能。表示所述联动功能的信息作为自动应答AI的发言内容而显示于显示区域48a内。
作为另一例，也可将联动对象机器预先设定为基本联动机器，还可将联动对象功能预先设定为基本联动功能。基本联动机器或基本联动功能的信息也可预先存储在终端装置10的存储部24中。用户也可利用UI部20来指定基本联动机器或基本联动功能。当设定有基本联动机器或基本联动功能时，用户将基本联动机器或基本联动功能以外的联动对象机器或功能的信息作为用户的发言内容而发送至自动应答AI。由此，来确定(识别)联动对象机器或功能。
如上所述，根据第3实施方式，在用于与自动应答AI进行对话的画面48上，将成为联动对象的机器和功能的信息作为对话内容而发送至自动应答AI，由此来提供与联动功能相关的信息。如此，通过利用与自动应答AI的对话的简便方法，来提供与联动功能相关的信息。
另外，当将合计为三个以上的机器图像或功能图像作为用户的发言内容而发送至自动应答AI时，也可将表示可利用三个以上的机器或功能来执行的联动功能的信息作为自动应答AI的发言内容予以显示。
而且，确定部28也可在预定的限制时间内将机器与功能的信息作为用户的发言内容而发送至自动应答AI时，确定可利用所述机器与所述功能来执行的联动功能，且在所述限制时间内将一个机器或一个功能的信息作为用户的发言内容而发送至自动应答AI时，将所述一个机器所具有的功能或所述一个功能确定为单独功能。此时，将与由确定部28所确定的联动功能或单独功能相关的信息显示于UI部20的显示部。限制时间的开始时间点例如既可如发言内容150般，为自动应答AI向用户询问联动对象的时间点，也可为在发表了发言内容150后，用户将最初的机器图像或功能图像发送至自动应答AI的时间点。
例如，图31所示的示例中，当从如发言内容150般自动应答AI向用户询问联动对象的时间点开始在限制时间内，用户仅将机器图像60作为用户的发言内容而发送至自动应答AI时，确定部28识别与机器图像60关联的机器所具有的功能(单独功能)。控制部26将与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
另一方面，当从如发言内容150般自动应答AI向用户询问联动功能的时间点开始在限制时间内，用户将机器图像60与功能图像154作为用户的发言内容而发送至自动应答AI时，确定部28在图30所示的联动功能管理表中，确定跟PC(A)与图像形成功能的组合对应的联动功能。控制部26将与所述联动功能相关的信息显示于显示区域48a内。
即使限制时间的开始时间点是用户将最初的功能图像(例如机器图像60)发送至自动应答AI的时间点的情况下，也进行与所述同样的处理。
如上所述，通过设置限制时间，能够切换联动功能或单独功能的提供。
而且，若在联动功能管理表中未登记与由用户所指定的机器和功能的组合对应的联动功能，则确定部28判断为未登记可用的联动功能。此时，控制部26使表示未登记可用的联动功能的消息作为自动应答AI的发言内容而显示于显示区域48a内。此种情况下，根据机器或功能的更新状况等，有时联动功能也会变得可用。此时，确定部28确定变得可用的联动功能。
而且，在第3实施方式中，也可适用第1实施方式的变形例1至变形例9。
图32中表示了将变形例1适用于第3实施方式时的处理。通过适用变形例1，当将作为联动对象的机器和功能的信息作为用户的发言内容而发送至自动应答AI时，对可利用所述机器和功能来执行的联动功能进行通知。以下，参照图32，对将变形例1适用于第3实施方式时的处理进行说明。
与图31同样地，作为自动应答AI的发言内容158，将“想要利用哪个功能？”这一发言内容显示于显示区域48a内。
当用户针对所述发言内容158来指定表示机器和功能的图像160作为用户的发言内容而发送至自动应答AI时，确定部28将所述图像160所表示的机器和功能识别为联动对象功能。例如，当图像160中表示了机器图像60和功能图像154时，确定部28基于机器图像60来将PC(A)识别为联动对象机器，并基于功能图像154来将图像形成功能识别为联动对象功能。
用户也可通过操作画面48来从备选区域58中选择机器图像60，并将机器图像60重合于图像160上。同样，用户也可通过操作画面48来从备选区域124中选择功能图像154，并将功能图像154重合于图像160上。由此，在图像160中表示机器图像60与功能图像154，将图像160作为用户的发言内容而发送至自动应答AI。
如上所述，当将PC(A)与图像形成功能识别为联动对象时，控制部26也可使被识别为联动对象的机器和功能的信息作为自动应答AI的发言内容而显示于显示区域48a内。当用户认可了所述发言内容时(例如当用户发表了“是的。”这一发言内容时)，也可将与可利用PC(A)和图像形成功能来执行的联动功能相关的信息作为自动应答AI的发言内容162而显示于显示区域48a内。当用户针对所述发言内容162而通过发言内容164来指定联动功能并给予执行指示时，控制部26执行所指定的联动功能。
而且，当在图像160内显示有合计三个以上的机器图像或功能图像时，对与可利用合计三个以上的机器和功能来执行的联动功能相关的信息进行通知。而且，当在图像160内显示有一个机器图像或一个功能图像时，对跟与所述一个机器图像关联的机器所具有的功能(单独功能)、或者与所述一个功能图像关联的功能(单独功能)相关的信息进行通知。
而且，当从备选区域选择机器图像或功能图像时，也可通过利用所述限制时间的控制，来通知与联动功能或单独功能相关的信息。例如，当在限制时间内从备选区域中取出了机器图像与功能图像而重合于图像160上时，确定部28确定可利用与机器图像关联的机器和与功能图像关联的功能来执行的联动功能。此时，将与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另一方面，当在限制时间内从备选区域中取出一个机器图像或一个功能图像而重合于图像160上时，确定部28确定与所述机器图像关联的机器所具有的功能(单独功能)、或与所述功能图像关联的功能(单独功能)。此时，将与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
而且，通过适用变形例2，当将机器图像和功能图像作为用户的发言内容而发送至自动应答AI时，也可生成表示所述机器图像与所述功能图像彼此重合的状态的合成图像(参照图14A)，也可生成所述机器图像与所述功能图像彼此相邻地结合的合成图像(参照图14B)。合成图像也可显示在备选区域内。而且，也可将合成图像作为快捷方式用图像而登记在终端装置10中。
而且，通过适用变形例3，也可根据将机器和功能的信息发送至自动应答AI的顺序，来变更所通知的联动功能。此时，与图15所示的联动功能管理表同样地，第3实施方式的联动功能管理表中也规定有机器图像与功能图像的连接顺序与优先顺位。
而且，通过适用变形例4，也可对机器图像内的每个部分分配不同的功能，还可对功能图像内的每个部分进而分配不同的功能。此时，当将与机器的部分关联的部分图像作为用户的发言内容而发送至自动应答AI时，显示与可利用所述部分来执行的联动功能相关的信息。同样，当将与功能关联的部分图像作为用户的发言内容而发送至自动应答AI时，显示跟可利用与所述部分图像关联的功能来执行的联动功能相关的信息。而且，也可将变形例3、变形例4的组合适用于第3实施方式。
而且，通过适用变形例5，也可由用户先将与联动功能相关的信息作为用户的发言内容而输入至终端装置10，接下来，将与作为联动对象的机器和功能相关的信息作为用户的发言内容而输入至终端装置10。
而且，通过适用变形例6，也可根据自动应答AI所获得的信息来控制联动功能的通知。例如，自动应答AI也可通过学习功能来获取表示机器和功能的利用历史的信息、表示机器的执行状况的信息、表示用于实现功能的软件的执行状况的信息、与用户相关的信息(表示操作历史或行动历史的信息)、表示用户日程的信息等，并使用这些信息来控制联动功能的通知。
而且，通过适用变形例7，也可推荐作为联动对象的功能。例如，当用户将机器图像作为用户的发言内容而发送至自动应答AI时，确定部28识别与所述机器图像关联的机器，且通过参照联动功能管理表，来确定能以与所述机器的组合来执行联动功能的功能。将所述功能推荐给用户。同样，也可推荐作为联动对象的机器。例如，当用户将功能图像作为用户的发言内容而发送至自动应答AI时，确定部28识别与所述功能图像关联的功能，且通过参照联动功能管理表，来确定能以与所述功能的组合来执行联动功能的功能。将所述机器推荐给用户。而且，确定部28既可基于联动功能的使用历史来推荐机器或功能，也可推荐使用频率相对较高的机器或功能。
而且，通过适用变形例8，自动应答AI也可基于与其他自动应答AI之间共享的信息，来推荐用于联动功能的功能。
而且，通过适用变形例9，也可通过语音输入来将与作为联动对象的机器或功能相关的信息输入至终端装置10。
＜第4实施方式＞
以下对第4实施方式的机器系统进行说明。第4实施方式中，当将文件(数据)的信息作为用户的发言内容而发送至自动应答AI时，将与联动功能相关的信息作为自动应答AI的发言内容予以通知。文件的信息是用于识别文件的识别信息，例如是与文件关联的文件图像、表示所述识别信息的文字信息或语音信息等。例如，在用户将与文件关联的文件图像发送至自动应答AI的情况下、或者用户通过终端装置10来输入表示文件的识别信息的字符串而给予至自动应答AI的情况下、或者用户通过语音来将文件的识别信息给予至自动应答AI的情况下，确定部28识别所述文件。以下，对第4实施方式进行详细说明。
第4实施方式的联动功能管理信息是用于对通过使多个功能联动而执行的联动功能进行管理的信息。联动功能是通过使多个软件联动而实现的功能。当然，联动功能也可为通过使作为硬件的机器所具有的功能与借助软件实现的功能联动而实现的功能。
对第4实施方式的联动功能作进一步详细说明。联动功能是当由用户选择了多个文件(数据)时，将所述多个文件作为对象来执行的功能。例如，针对各个文件的每一个，而关联有对所述文件执行处理的软件(应用程序)。联动功能是通过使与由用户所选择的多个文件各自关联的应用程序联动而实现的功能。
文件例如为文档文件、图像文件、视频文件、电子表格文件、演示文稿(presentation)用文件、图形(图面)文件、音频文件等。
文档文件是具有文档格式(document format)的文件，是包含字符串或其他信息的文件。图像、表或图形也可作为其他信息而包含在文档文件中。文档格式例如为文本(text)格式或档案(document)格式等。具有文本格式的数据(例如附有字符串“.txt”作为扩展名的数据)、或具有档案格式的数据(例如附有字符串“.doc”或“.docx”作为扩展名的数据)等相当于文档文件。
图像文件是具有图像格式(image format)的文件。图像文件既可为具有光栅(raster)格式的图像数据，也可为具有矢量(vector)格式的图像数据。图像格式例如为JPEG格式、BMP(位图(bitmap))格式、PDF格式、GIF格式、TIFF格式、PICT格式等。具有JPEG格式的数据(附有字符串“.jpeg”作为扩展名的数据)、具有BMP格式的数据(附有字符串“.bmp”作为扩展名的数据)、具有PDF格式的数据(附有字符串“.pdf”作为扩展名的数据)、具有GIF格式的数据(附有字符串“.gif”作为扩展名的数据)、具有TIFF格式的数据(附有字符串“.tiff”作为扩展名的数据)、具有PNG格式的数据(附有字符串“.png”作为扩展名的数据)、具有PICT格式的数据(附有字符串“.pict”作为扩展名的数据)等相当于图像文件。当然，具有除这些以外的格式的图像数据也可被用作第4实施方式的图像文件。
视频文件是具有视频格式(video format)的文件。视频格式例如为AVI格式、MP4格式、MOV格式、MPEG2-TS格式、MPEG2-PS格式、WMV格式、FLV格式等。具有AVI格式的数据(附有字符串“.avi”作为扩展名的数据)、具有MP4格式的数据(附有字符串“.mp4”作为扩展名的数据)、具有MOV格式的数据(附有字符串“.mov”作为扩展名的数据)、具有MPEG2-TS格式的数据(附有字符串“.m2ts”作为扩展名的数据)、具有MPEG2-PS格式的数据(附有字符串“.mpeg”作为扩展名的数据)、具有WMV格式的数据(附有字符串“.wmv”作为扩展名的数据)、具有FLV格式的数据(附有字符串“.flv”作为扩展名的数据)等相当于视频文件。当然，具有除这些以外的格式的视频数据也可被用作第4实施方式的视频文件。
电子表格文件是具有表格式(table format)的文件，是包含表、图表(graph)或其他信息的文件。字符串、图像或图形也可作为其他信息而包含在电子表格文件中。例如是附有字符串“.csv”、“.xls”或“.xlsx”作为扩展名的数据。
演示文稿用文件是具有演示文稿用工作表格式(sheet format)的文件。例如，附有字符串“.ppt”或“.pptx”作为扩展名的数据相当于演示文稿用文件。演示文稿用文件例如包含字符串、图像(静态图像或动态图像)、图形、音频等。
图形文件是具有图形(图面)格式(graphic format)的文件。图形文件例如是通过图形制作软件(例如二维计算机辅助设计(Computer Aided Design，CAD)或三维CAD等)制作的文件。例如，具有DXF格式(format)的数据(附有字符串“.dxf”作为扩展名的数据)、具有DWG格式的数据(附有字符串“.dwg”作为扩展名的数据)等。除此以外，附有“.vsd”或“.vsdx”作为扩展名的数据也可作为图形文件来处理。
音频文件是具有音频格式(audio format)的文件。音频格式例如为非压缩音频格式(WAV格式、AIFF格式、BWF格式等)、不可逆压缩音频格式(mp3格式、AAC格式、WMA格式等)、可逆压缩音频格式(TAK格式、FLAC格式等)等。具有非压缩音频格式的数据(附有“.wav”等作为扩展名的数据)、具有不可逆压缩音频格式的数据(附有字符串“.mp3”等作为扩展名的数据)、具有非压缩音频格式的数据(附有字符串“.tak”等作为扩展名的数据)等相当于音频文件。
第4实施方式中，联动功能是针对每种文件格式(属性)而定，联动功能管理信息例如是表示：表示多个文件格式的组合的信息、与表示联动功能的信息(联动功能信息)的对应的信息。联动功能信息例如是联动功能ID或联动功能名称等。文件格式为所述文档格式、图像格式、视频格式、表格式、工作表格式、图形格式、音频格式等。通过参照联动功能管理信息，来确定(识别)与多个文件格式的组合对应的联动功能。
联动功能既可为通过使互不相同的多个功能(例如互不相同的软件)联动而实现的功能，也可为通过使同一功能(例如同一软件)联动而实现的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功能既可为通过使相同的功能联动而变得可用的功能，也可为通过使互不相同的功能组合而变得可用的功能。例如，通过使文档制作功能(文档制作软件)与图像显示功能(图像显示软件(例如图像查看器(viewer)))联动，从而作为联动功能，实现在文档中插入(添加)图像的功能、或者在图像上重叠文档(字符串、文本)的功能。即，通过使文档制作功能与图像显示功能联动，实现图像插入功能或文本重叠功能。
在联动功能的概念范畴内，也可包含通过使多个功能联动而新功能的执行成为可能的合体功能。例如，通过将多个显示功能予以组合，也可实现作为合体功能的扩展显示功能。而且，通过将多个摄影功能予以组合，也可实现作为合体功能的拍摄区域扩展功能。而且，通过将通话功能与翻译功能予以组合，也可实现作为合体功能的翻译通话功能(翻译通话内容的功能)。如此，在联动功能的概念范畴内，也可包含通过使彼此相同种类的功能联动而可实现的功能、或者通过使彼此不同种类的功能联动而可实现的功能。
由联动功能管理信息所管理的联动功能既可为可由安装于终端装置10的软件来执行的功能，也可为可由安装于外部装置(例如服务器或其他终端装置等)的软件来执行的功能，还可为可由安装于终端装置10的软件和安装于外部装置的软件来执行的功能。
另外，作为联动功能管理信息的另一例，也可将表示多个功能(多个软件)的组合的信息、与表示通过使所述多个功能联动而可执行的联动功能的信息(联动功能信息)相对应。
当将与多个文件各自关联的文件图像作为用户的发言内容而发送至自动应答AI时，确定部28在联动功能管理信息中，确定与所述多个文件的格式(文件格式)的组合对应的联动功能。由此，来确定可执行的联动功能。
以下，参照图33来详细说明第4实施方式的联动功能管理信息。图33中表示了第4实施方式的联动功能管理表的一例。联动功能管理表中，作为一例，表示多个文件格式的组合的信息、与表示联动功能的信息(联动功能信息)彼此对应。例如，当用户将多个文件的信息作为用户的发言内容而发送至自动应答AI时，确定部28在联动功能管理表中，确定与所述多个文件各自的文件格式的组合对应的联动功能。与所述联动功能相关的信息显示于UI部20的显示部。另外，图33中表示了两个文件格式的组合，但也可将三个以上的文件格式的组合与联动功能的对应登记在联动功能管理表中。
以下，对图33所示的各联动功能进行说明。
图33中的“文档格式”为文本格式(扩展名为“.txt”)或档案格式(扩展名为“.doc”或“.docx”)。“表格式”为扩展名以“.csv”或“.xls”等来表达的格式。图像格式为扩展名以“.jpeg”或“.pdf”等来表达的格式。视频格式为扩展名以“.avi”或“.mpeg”等来表达的格式。工作表格式为扩展名以“.ppt”等来表达的格式。图33中，未表示图形格式或音频格式，但包含它们的组合与联动功能的对应也可登记在联动功能管理表中。当然，也可规定包含图33所示的文件格式以外的文件格式的组合与联动功能的对应，并登记到联动功能管理表中。
以下，对图33所示的各联动功能进行说明。当由用户将文档文件A与电子表格文件B的信息作为用户的发言内容而发送至自动应答AI时，确定跟文档格式与表格式的组合对应的“将表插入文档中的功能”与“将文档插入表中的功能”作为联动功能。“将表插入文档中的功能”是指将由电子表格文件B所表示的表插入由文档文件A所表示的文档中的功能。“将文档插入表中的功能”是指将由文档文件A所表示的文档插入由所述电子表格文件B所表示的表中的功能。
当由用户将文档文件A与图像文件C的信息作为用户的发言内容而发送至自动应答AI时，确定跟文档格式与图像格式的组合对应的“将图像插入文档中的功能”与“将文档重叠于图像上的功能”作为联动功能。“将图像插入文档中的功能”是指将由图像文件C所表示的图像插入由文档文件A所表示的文档中的功能。“将文档重叠于图像上的功能”是指将由文档文件A所表示的文档重叠于由图像文件C所表示的图像上的功能。
当由用户将文档文件A与视频文件D的信息作为用户的发言内容而发送至自动应答AI时，确定跟文档格式与视频格式的组合对应的“将视频插入文档中的功能”与“将静态图像插入文档中的功能”作为联动功能。“将视频插入文档中的功能”是指将由视频文件D所表示的视频插入由文档文件A所表示的文档中的功能。“将静态图像插入文档中的功能”是指将构成视频文件D的一帧或多帧(静态图像)插入由文档文件A所表示的文档中的功能。例如，在文档文件A相当于不支持视频的文档文件，即，无法插入视频的文件的情况下，若执行“将静态图像插入文档中的功能”，则将视频文件D中的一帧或多帧(静态图像)插入由文档文件A所表示的文档中。
也可由用户选择具有同一文件格式的多个文件。例如，当由用户将文档文件A1、A2的信息作为用户的发言内容而发送至自动应答AI时，确定跟文档格式与文档格式的组合对应的“将文档彼此合体的功能”作为联动功能。“将文档彼此合体的功能”是指如下所述的功能，即：通过将文档文件A1、A2所表示的文档合体(例如将两个文档结合)，从而保留文档文件A1、A2、或者不保留文档文件A1、A2地，生成另外的新的文档文件A3。
当由用户将电子表格文件B1、B2的信息作为用户的发言内容而发送至自动应答AI时，确定跟表格式与表格式的组合对应的“将表彼此合体的功能”作为联动功能。“将表彼此合体的功能”是指如下所述的功能，即：通过将电子表格文件B1、B2所表示的表合体(例如将两个表结合)，从而保留电子表格文件B1、B2、或者不保留电子表格文件B1、B2地，生成另外的新的电子表格文件B3。
当由用户将视频文件D1、D2的信息作为用户的发言内容而发送至自动应答AI时，确定跟视频格式与视频格式的组合对应的“将视频彼此合体的功能”作为联动功能。“将视频彼此合体的功能”是指如下所述的功能，即：通过将视频文件D1、D2所表示的视频合体(例如将两个视频结合)，从而保留视频文件D1、D2、或者不保留视频文件D1、D2地，生成另外的新的视频文件D3。
除此以外，当由用户将演示文稿用文件E与文档文件A的信息作为用户的发言内容而发送至自动应答AI时，确定跟工作表格式与文档格式的组合对应的“将文档插入演示文稿用工作表中的功能”作为联动功能。“将文档插入演示文稿用工作表中的功能”是指将由文档文件A所表示的文档插入由演示文稿用文件E所表示的工作表中的功能。
以下，举具体例来详细说明第4实施方式。
图34中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
例如，作为自动应答AI的发言内容，将“想要利用哪个文件？”这一发言内容166显示于显示区域48a内。
当用户针对所述发言内容166而指定文件时，确定部28(通过自动应答AI而实现的确定部28)将所述文件识别为联动对象文件。例如，如图34所示，用户指定与文档文件A关联的文件图像168，并将所述文件图像168配置于显示用户发言内容的位置，由此，控制部26将所述文件图像168作为用户的发言内容而发送至自动应答AI。根据此操作，确定部28将与所述文件图像168关联的文档文件A识别为联动对象文件。图34所示的示例中，用户使文件图像168显示于显示区域48b的操作相当于用户发布发言内容的行为。另外，用户也可通过操作UI部20来将表示文件名的字符串作为用户的发言内容而输入至终端装置10。此时，确定部28将具有此字符串所表示的文件名的文件识别为联动对象文件。而且，也可通过语音来将联动对象文件的信息作为用户的发言内容而输入至终端装置10。
例如，控制部26与第1实施方式同样地，使备选区域170显示于用户用的显示区域48b内，并使文件图像显示于所述备选区域170内。例如，控制部26使与保存于终端装置10中的文件关联的文件图像显示于所述备选区域170内。而且，若存在在备选区域170中显示不下的其他文件图像，则用户对显示在备选区域170内的文件图像进行滚动操作，从而使所述其他文件图像显示在备选区域170内。
用户可与第1实施方式同样地，从备选区域170中选择与联动对象文件关联的文件图像(图34所示的示例中为文件图像168)并使其移动到备选区域170的外侧，从而将所述文件图像168作为用户的发言内容而发送至自动应答AI。例如，用户通过拖拽操作来使文件图像168从备选区域170移动到显示用户发言内容的位置，并在所述发言内容的显示位置进行拖放操作。通过此操作，控制部26将文件图像168作为用户的发言内容而发送至自动应答AI。
而且，图34所示的示例中，紧跟着文件图像168，用户从备选区域170中选择与图像文件C关联的文件图像172，使所述文件图像172移动到用户发言内容的显示位置。通过此操作，将所述文件图像172作为用户的发言内容而发送至自动应答AI。
当用户在画面48上将多个文件的信息发送至自动应答AI时，即，当将多个文件的信息作为联动对象文件的信息而发言时，确定部28在图33所示的联动功能管理表中，确定与所述多个文件对应的联动功能。控制部26使与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
所述示例中，将文件图像168、172作为联动对象文件而发送至自动应答AI。此时，确定部28(通过自动应答AI而实现的确定部28)将与文件图像168关联的文档文件A和与文件图像172关联的图像文件C识别为联动对象文件。另外，既可先将文件图像168发送至自动应答AI，随后将文件图像172发送至自动应答AI，也可先将文件图像172发送至自动应答AI，随后将文件图像168发送至自动应答AI。
如上所述，当将文件图像168、172发送至自动应答AI而将文档文件A与图像文件C识别为联动对象文件时，控制部26使被识别为联动对象文件的文件的信息作为自动应答AI的发言内容而显示于显示区域48a内。当用户认可了所述发言内容时(例如当用户发表“是的。”这一发言内容时)，将与可利用文档文件A和图像文件C来执行的联动功能相关的信息显示于显示区域48a内。
确定部28基于文档文件A的扩展名(例如作为文档文件A的属性信息而与文档文件A关联的扩展名)来识别文档文件A的文件格式。同样，确定部28基于图像文件C的扩展名(例如作为图像文件C的属性信息而与图像文件C关联的扩展名)来识别图像文件C的文件格式。另外，扩展名有时包含在文件名中。当文档文件A的扩展名相当于如“.txt”或“.docx”等般表示文档格式的扩展名时，确定部28识别文档文件A的文件格式为文档格式。当图像文件C的扩展名相当于如“.jpeg”等般表示图像格式的扩展名时，确定部28识别图像文件C的文件格式为图像格式。并且，确定部28在图33所示的联动功能管理表中，确定跟文档格式与图像格式的组合对应的联动功能(“将图像插入文档中的功能”与“将文档重叠于图像上的功能”)。与如此般经确定的联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另外，文件或联动功能的确定处理也可由服务器16来进行。
控制部26将与联动功能相关的信息作为自动应答AI的发言内容174而显示于显示区域48a内。
当用户针对所述发言内容174而通过发言内容来指定联动功能并给予了执行指示时，控制部26(通过自动应答AI而实现的控制部26)接受所述执行指示，以执行联动功能。例如，当由用户给予了“将图像插入文档中的功能”的执行指示时，控制部26将由图像文件C所表示的图像插入由文档文件A所表示的文档中。
若作进一步详细说明，则控制部26启动文档应用程序与图像应用程序。文档应用程序是具有下述功能的软件(程序)，即，进行具有文档格式的文件的生成、编辑或显示。图像应用程序是具有下述功能的软件(程序)，即，进行具有图像格式的文件的生成、编辑或显示。另外，文档应用程序也可预先关联于文档文件A，图像应用程序也可预先关联于图像文件C。控制部26通过利用图像应用程序所具有的功能来从图像文件C中复制图像，并通过利用文档应用程序所具有的功能，来将此图像粘贴到由文档文件A所表示的文档中。由此，生成插入有图像的文档。另外，控制部26也可通过利用图像应用程序所具有的功能，从由图像文件C所表示的图像中提取表示特定部分的部分图像，并将此部分图像粘贴到文档中。在文档中粘贴图像的区域既可为预定的区域，也可为由用户所指定的区域，还可为推测为记述有与此图像关联的字符串的区域。例如，控制部26对表达图像所表现的特征部分的字符串进行推测或检索，并将在文档中记述有与此字符串具有相同或类似含义的字符串的区域，推测为记述有与图像关联的字符串的区域。当然，也可通过其他方法来推测此区域。
当由用户给予“将文档重叠于图像上的功能”的执行指示时，也与所述同样，通过文档应用程序所具有的功能来复制由文档文件A所表示的文档的全部或一部分，并将所复制的文档重叠于由图像文件C所表示的图像上。在文档中复制的部分既可预先决定，也可由用户来指定。而且，在图像中重叠文档的部分既可预先决定，也可由用户来指定。
控制部26也可通过执行联动功能而生成新的文件。此时，作为联动对象而选择的多个文件自身不受到编辑。例如，当选择文档文件A与图像文件C来作为联动对象文件，且例如给予有“将图像插入文档中的功能”的执行指示时，控制部26将由图像文件C所表示的图像粘贴到由文档文件A所表示的文档中，从而生成新的文档文件AC。此时，控制部26也可生成与文档文件AC关联的新的文件图像(例如图标)，并使此文件图像显示于画面48。此时，文档文件A与图像文件C自身不受到编辑。
给予有“将文档重叠于图像上的功能”的执行指示时也同样地，控制部26使由文档文件A所表示的文档的全部或一部分重叠于由图像文件C所表示的图像上，从而生成新的图像文件CA。此时，文档文件A与图像文件C自身未受到编辑。
作为另一例，控制部26也可执行联动功能，由此，不生成新的文件，而对作为联动对象被选择的文件自身进行编辑(包含加工等)。若以所述示例进行说明，则控制部26将由图像文件C所表示的图像粘贴到由文档文件A所表示的文档中，并将反映出此图像粘贴的文档文件保存为文档文件A。此时，文档文件A得到更新。
作为另一例，也可将联动对象文件预先设定为基本联动文件。基本联动文件的信息也可预先存储在终端装置10的存储部24中。用户也可利用UI部20来指定基本联动文件。当设定有基本联动文件时，用户将基本联动文件以外的联动对象文件的信息作为用户的发言内容而发送至自动应答AI。由此，来确定(识别)联动对象文件。
如上所述，根据第4实施方式，在用于与自动应答AI进行对话的画面48上，将成为联动对象的文件的信息作为对话内容而发送至自动应答AI，由此来提供与联动功能相关的信息。如此，通过利用与自动应答AI的对话的简便方法，来提供与联动功能相关的信息。
另外，当将三个以上的文件图像作为用户的发言内容而发送至自动应答AI时，也可显示跟与三个以上的文件的格式的组合对应的联动功能相关的信息。
第4实施方式中，根据文件彼此的主从关系来变更与联动功能相关的信息的显示、或所执行的联动功能。例如，文件中表示的内容自身可编辑的文件相当于主文件，内容自身不可编辑的文件相当于从文件。作为一例，若文档文件中表示的文档自身可编辑，则所述文档文件相当于主文件。而且，若图像文件中表示的图像自身不可编辑(即，虽可使内容重叠于图像上，但所述图像自身不可编辑)，则所述图像文件相当于从文件。对于其他文件也同样。当然，即使是文档文件，但文档不可编辑的文档文件仍相当于从文件，即使是图像文件，但图像可编辑的图像文件仍相当于主文件。
确定部28也可基于文件格式(即扩展名)，来判断文件相当于主文件或从文件中的哪一种。例如，确定部28也可判断为具有文档格式的文件、具有表格式的文件、具有工作表格式的文件、以及具有图形格式的文件相当于主文件，且判断为具有图像格式的文件、具有视频格式的文件、以及具有音频格式的文件相当于从文件。当然，对于文件相当于主文件或从文件中的哪一种的判断，也可不根据文件格式来一概地判断，而是通过各别地判断作为联动对象而选择的文件，从而判断所述文件相当于主文件或从文件中的哪一种。例如，即使是具有图像格式的文件，只要是图像可编辑的文件，则所述文件也可相当于主文件。
例如，当将与文档文件A关联的文件图像168和与图像文件C关联的文件图像172作为用户的发言内容而发送至自动应答AI时，确定部28基于与文档文件A关联的扩展名，来判断文档文件A相当于主文件或从文件中的哪一种，并基于与图像文件C关联的扩展名，来判断图像文件C相当于主文件或从文件中的哪一种。设文档文件A的扩展名例如为“.docx”、图像文件C的扩展名例如为“.jpeg”。此时，文档文件A具有文档格式而相当于可编辑的文件，因此确定部28判断为文档文件A相当于主文件。而且，图像文件C具有图像格式而相当于不可编辑的文件，因此确定部28判断为图像文件C相当于从文件。当然，确定部28也可不基于扩展名来进行判断，而是通过各别地判断文档文件A与图像文件C，从而判断文档文件A与图像文件C是否相当于可编辑的文件。
由于文档文件A相当于主文件，图像文件C相当于从文件，因此图像文件C中表示的图像相当于粘贴对象内容，文档文件A中表示的文档相当于所述图像的粘贴目标内容。此时，确定部28将“将图像插入文档中的功能”确定为联动功能。控制部26使与“将图像插入文档中的功能”相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。在由确定部28确定了多个联动功能的情况下，控制部26使与多个联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
而且，控制部26也可将与登记在图33所示的联动功能管理表中的多个联动功能中基于文件的主从关系而确定的联动功能相关的信息，优先于与其他联动功能相关的信息而作为自动应答AI的发言内容显示于显示区域48a内。若举文档文件A与图像文件C为例来进行说明，则作为跟文档格式与图像格式的组合对应的联动功能，在联动功能管理表中登记有“将图像插入文档中的功能”与“将文档重叠于图像上的功能”(参照图33)。此时，确定部28将基于文件的主从关系而确定的“将图像插入文档中的功能”确定为优先顺位为“第1位”的联动功能，将“将文档重叠于图像上的功能”确定为优先顺位为“第2位”的联动功能。控制部26根据优先顺位，使与“将图像插入文档中的功能”相关的信息优先(例如上位)于与“将文档重叠于图像上的功能”相关的信息而作为自动应答AI的发言内容显示于显示区域48a内。
而且，在基于文件的主从关系而确定了多个联动功能的情况下，控制部26也可基于用户对各联动功能的使用历史来决定各联动功能的优先顺位，并根据各联动功能的优先顺位，来使与各联动功能相关的信息作为自动应答AI的发言内容显示于画面48。例如，控制部26使与使用频率越高的联动功能相关的信息，越优先(例如上位)显示于显示区域48a内。
而且，在基于文件的主从关系而确定了多个联动功能的情况下，控制部26也可基于作为联动对象而选择的多个文件的关系性(即多个文件格式的关系性)来决定各联动功能的优先顺位，并根据各联动功能的优先顺位而使与各联动功能相关的信息作为自动应答AI的发言内容显示于显示区域48a内。例如，控制部26基于多个文件格式，对于由确定部28所确定的多个联动功能中所含的各联动功能，来决定使用可能性的高低。控制部26使与使用可能性越高的联动功能相关的信息，越优先(例如上位)显示于显示区域48a内。例如，在文档格式与图像格式的组合中，预测为“将图像插入文档中的功能”的使用可能性要高于“将文档重叠于图像上的功能”。此时，控制部26使与“将图像插入文档中的功能”相关的信息优先于与“将文档重叠于图像上的功能”相关的信息而显示于显示区域48a内。
另外，确定部28也可在预定的限制时间内将多个文件的信息作为用户的发言内容而发送至自动应答AI时，确定可利用所述多个文件来执行的联动功能，当在所述限制时间内将一个文件的信息作为用户的发言内容而发送至自动应答AI时，确定为可利用所述一个文件来执行的单独功能。此时，将与由确定部28所确定的联动功能或单独功能相关的信息显示于UI部20的显示部。限制时间的开始时间点例如既可如发言内容166般，为自动应答AI向用户询问联动对象机器的时间点，也可为在发表了发言内容166后，用户将最初的文件图像发送至自动应答AI的时间点。
例如，图34所示的示例中，当从如发言内容166般自动应答AI向用户询问联动对象的时间点开始在限制时间内，用户仅将文件图像168作为用户的发言内容而发送至自动应答AI时，确定部28识别可利用与文件图像168关联的文件来执行的功能(单独功能)。控制部26使与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
另一方面，当从如发言内容166般自动应答AI向用户询问联动功能的时间点开始在限制时间内，用户将文件图像168与文件图像172作为用户的发言内容而发送至自动应答AI时，确定部28在图33所示的联动功能管理表中，确定跟文档文件(具有文档格式的文件)与图像文件(具有图像格式的文件)的组合对应的联动功能。控制部26使与所述联动功能相关的信息显示于显示区域48a内。
即使限制时间的开始时间点是用户将最初的图像(例如文件图像168)发送至自动应答AI的时间点的情况下，也进行与所述同样的处理。
如上所述，通过设置限制时间，能够切换联动功能或单独功能的提供。
而且，若在联动功能管理表中未登记与由用户所指定的多个文件格式的组合对应的联动功能，则确定部28判断为未登记可用的联动功能。此时，控制部26使表示未登记可用的联动功能的消息作为自动应答AI的发言内容而显示于显示区域48a内。此种情况下，根据机器或软件的更新状况等，有时联动功能也会变得可用。此时，确定部28确定变得可用的联动功能。
而且，在第4实施方式中，也可适用第1实施方式的变形例1至变形例9。
图35中表示了将变形例1适用于第4实施方式时的处理。通过适用变形例1，当将作为联动对象的多个文件的信息作为用户的发言内容而发送至自动应答AI时，对可利用所述多个文件来执行的联动功能进行通知。以下，参照图35，对将变形例1适用于第4实施方式时的处理进行说明。
与图34同样地，作为自动应答AI的发言内容176，将“想要利用哪个文件？”这一发言内容显示于显示区域48a内。
当用户针对所述发言内容176来指定表示多个文件的图像178作为用户的发言内容而发送至自动应答AI时，确定部28将所述图像178所表示的多个文件识别为联动对象文件。例如，当图像178中表示了文件图像168、172时，确定部28基于文件图像168来将文档文件A识别为联动对象文件，并基于文件图像172来将图像文件C识别为联动对象文件。
用户也可通过操作画面48来从备选区域170中选择文件图像168、172，并将文件图像168、172重合于图像178上。由此，在图像178中表示文件图像168、172，将图像178作为用户的发言内容而发送至自动应答AI。
如上所述，当将文档文件A与图像文件C识别为联动对象时，控制部26使被识别为联动对象的文件的信息作为自动应答AI的发言内容而显示于画面48。当用户认可了所述发言内容时(例如当用户发表“是的。”这一发言内容时)，将与可利用文档文件A和图像文件C来执行的联动功能相关的信息作为自动应答AI的发言内容180而显示于显示区域48a内。当用户针对所述发言内容180而通过发言内容182来指定联动功能并给予执行指示时，控制部26执行所指定的联动功能。
而且，当在图像178内显示有三个以上的文件图像时，对与可利用三个以上的文件来执行的联动功能相关的信息进行通知。而且，当在图像178内显示有一个文件图像时，对跟可利用与所述一个文件图像关联的文件来执行的功能(单独功能)相关的信息进行通知。
而且，当从备选区域中选择文件图像时，也可通过利用所述限制时间的控制，来通知与联动功能或单独文件相关的信息。例如，当在限制时间内从备选区域中取出了多个文件图像而重合于图像178上时，确定部28确定可利用所述多个文件来执行的联动功能。此时，将与所述联动功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。另一方面，当在限制时间内从备选区域中取出一个文件图像而重合于图像178上时，确定部28确定可利用与所述文件图像关联的文件来执行的功能(单独功能)。此时，将与所述单独功能相关的信息作为自动应答AI的发言内容而显示于显示区域48a内。
而且，通过适用变形例2，当将多个文件图像作为用户的发言内容而发送至自动应答AI时，也可生成表示所述多个文件图像彼此重合的状态的合成图像(参照图14A)，也可生成所述多个文件图像彼此相邻地结合的合成图像(参照图14B)。合成图像也可显示在备选区域170内。而且，也可将合成图像作为快捷方式用图像而登记在终端装置10中。
而且，通过适用变形例3，也可根据将多个文件的信息发送至自动应答AI的顺序，来变更所通知的联动功能。此时，与图15所示的联动功能管理表同样地，第4实施方式的联动功能管理表中也规定有多个文件图像的连接顺序与优先顺位。
而且，通过适用变形例4，也可对文件图像内的每个部分进而分配不同的功能。此时，当将部分图像作为用户的发言内容而发送至自动应答AI时，显示与可利用与所述部分关联的功能来执行的联动功能相关的信息。而且，也可将变形例3、变形例4的组合适用于第4实施方式。
而且，通过适用变形例5，也可由用户先将与联动功能相关的信息作为用户的发言内容而输入至终端装置10，接下来，将与联动对象文件相关的信息作为用户的发言内容而输入至终端装置10。
而且，通过适用变形例6，也可根据自动应答AI所获得的信息来控制联动功能的通知。例如，自动应答AI也可通过学习文件来获取表示文件的利用历史的信息、表示机器的执行状况的信息、表示用于实现功能的软件的执行状况的信息、与用户相关的信息(表示操作历史或行动历史的信息)、表示用户日程的信息等，并使用这些信息来控制联动功能的通知。
而且，通过适用变形例7，也可推荐作为联动对象的文件。例如，当用户将文件图像作为用户的发言内容而发送至自动应答AI时，确定部28识别与所述文件图像关联的文件，且通过参照联动功能管理表，来确定能以与所述文件的格式的组合来执行联动功能的文件。而且，确定部28既可基于联动功能的使用历史来推荐文件，也可推荐使用频率相对较高的文件。
而且，通过适用变形例8，自动应答AI也可基于与其他自动应答AI之间共享的信息，来推荐用于联动功能的文件。
而且，通过适用变形例9，也可通过语音输入来将联动对象文件的信息输入至终端装置10。
而且，第4实施方式中，当将表示多个文件的名称(文件名)的信息作为用户的发言内容而发送至自动应答AI时，确定部28也可确定与多个文件名相应的联动功能。在为此的联动功能管理表中，文件名的组合与联动功能彼此对应，确定部28通过参照所述联动功能管理表，来确定与多个文件名的组合对应的联动功能。
而且，确定部28也可基于发送至自动应答AI的文件的名称，来确定要追加内容的文件。例如，当在发送至自动应答AI的文件的名称(文件名)中，含有如字符串“总账”、“汇总”、“管理”、“统计”、“图表”、“表”、“清单(list)”等般暗示为对数据进行汇总的文件(即，设想或预测为要追加其他数据内容的文件)的字符串时，确定部28将所述文件识别为内容追加目标文件。而且，确定部28将具有不含所述汇总用字符串的文件名的文件、或具有包含暗示为提供内容(材料)的文件的字符串的文件名的文件，识别为包含追加对象内容(追加对象材料)的文件。例如，具有包含字符串“收据(receipt)”、“发票”、“个人数据”、“机器数据”等的文件名的文件不相当于所述汇总用文件，而且，可判断为提供内容(材料)的文件。
例如，当将作为联动对象文件的文档文件A1、A2作为用户的发言内容而发送至自动应答AI时，若文档文件A1具有包含所述汇总用字符串的文件名，文档文件A2具有不含汇总用字符串而包含材料提供用字符串的文件名，则确定部28将进行使材料侧文档文件A2记入、复制、统计到汇总用文档文件A1中的处理等的联动功能，确定为优先的联动功能。控制部26使此优先的联动功能优先于其他联动功能而显示于画面48。
另外，联动对象的组合并不限定于所述第1实施方式至第4实施方式中的组合。例如，当选择机器、功能(包含由机器所执行的功能和由软件所执行的功能)、文件及软件中的至少两个的组合来作为联动对象时，也可对可使用所述组合来执行的联动功能的通知进行控制。例如，当将机器图像与文件图像作为用户的发言内容而发送至自动应答AI时，确定部28确定可使用与所述机器图像关联的机器和与所述文件图像关联的文件来执行的联动功能，控制部26既可使与所述联动功能相关的信息作为自动应答AI的发言内容而显示于画面48，也可使所述信息作为语音信息而输出，以作为与所述联动功能相关的信息的通知。若举具体例进行说明，则当将与多功能一体机B关联的机器图像和与文档文件关联的文件图像作为用户的发言内容而发送至自动应答AI时，确定部28确定可使用多功能一体机B与文档文件来执行的联动功能(例如通过多功能一体机B来打印文档文件的功能、或通过多功能一体机B来传真发送文档文件的功能等)。控制部26控制与所述联动功能相关的信息的通知。同样，当将与软件关联的功能图像和文件图像作为用户的发言内容而发送至自动应答AI时，确定部28确定可使用与所述功能图像关联的功能和与所述文件图像关联的文件来执行的联动功能，控制部26也可控制与所述联动功能相关的信息的通知。若举具体例进行说明，则当将与文档应用程序关联的功能图像和与文档文件关联的文件图像作为用户的发言内容而发送至自动应答AI时，确定部28确定可使用文档应用程序和文档文件来执行的联动功能(例如通过文档应用程序来对文档文件进行编辑的功能或输出的功能等)。而且，当将机器图像、功能图像与文件图像作为用户的发言内容而发送至自动应答AI时，确定部28确定可使用与所述机器图像关联的机器、与所述功能图像关联的功能(例如软件)、及与所述文件图像关联的文件来执行的联动功能，控制部26也可控制与所述联动功能相关的信息的通知。若举具体例来进行说明，则当将与多功能一体机B关联的机器图像、与文档应用程序关联的功能图像、及与文档文件关联的文件图像作为用户的发言内容而发送至自动应答AI时，确定部28确定可使用多功能一体机B、文档应用程序及文档文件来执行的联动功能(例如，通过文档应用程序对文档文件进行编辑后输出至多功能一体机B，并通过多功能一体机B来对所述文档文件进行打印或传真发送的功能等)。所述具体例中的组合不过是一例，也可规定可将所述以外的机器、功能、文件、软件加以组合而执行的联动功能。而且，也可将机器、功能、文件及软件的信息通过语音而传达给自动应答AI。
所述的第1实施方式至第4实施方式以及变形例1至变形例9也可适用于设定基于机器人过程自动化(Robotics Process Automation，RPA)的自动执行处理时。例如，当由设定者将与机器、功能或文件相关的信息发送至自动应答AI时，将所述所发送的信息的组合、及与此组合对应的联动功能保存为设定内容，并依照所述设定内容来执行处理。作为RPA，例如也可进行数据输入或通过多个应用软件的组合可执行的作业等程式化处理、数据的收集或分析等处理、基于数据来进行学习判断的处理等。
＜第5实施方式＞
以下对第5实施方式的机器系统进行说明。第5实施方式中，当用户在与自动应答AI进行对话的接口(例如画面48)上，将机器的利用指示(利用请求)给予至自动应答AI时(例如将机器的信息发送至自动应答AI时)，应答中的对话对方的显示切换为所述机器的显示。以下，对第5实施方式进行详细说明。
图36中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
例如，作为自动应答AI的发言内容，将“怎么啦？”这一发言内容184显示于显示区域48a内。由于所述发言内容184是自动应答AI的发言内容，因此控制部26使与自动应答AI关联的图像50显示于显示区域48a内，使发言内容184作为与自动应答AI的图像50关联的发言内容而显示于显示区域48a内。另外，所述自动应答AI是不依存于机器的自动应答AI，也可以说是通用的自动应答AI。
当用户针对所述发言内容184而指定机器时，确定部28(通过自动应答AI而实现的确定部28)识别所述机器。例如设为：用户发表“想要利用多功能一体机B”这一发言内容186以作为表示机器的利用指示(利用请求)的发言内容。控制部26使包含多功能一体机B的信息的发言内容186作为用户的发言内容而显示于显示区域48b，并将所述发言内容186发送至自动应答AI。由此，将多功能一体机B的信息发送至自动应答AI。发言内容186是作为与用户的图像52关联的发言内容而显示于显示区域48b内。用户也可通过操作UI部20来将表示机器的字符串作为用户的发言内容而输入至终端装置10，还可与所述第1实施方式同样，将与机器关联的机器图像(例如外观图像或图标等图像)指定为用户的发言内容。当指定机器图像时，如图8所示，用户也可从备选区域58中选择与利用对象机器关联的机器图像，并使所述机器图像移动到用户发言内容的显示位置，由此来将所述机器图像指定为用户的发言内容。
确定部28例如通过参照图6所示的机器功能管理表，从而确定用户所指定的机器所具有的功能。所述示例中，由于指定了多功能一体机B，因此确定部28识别多功能一体机B所具有的功能。
当用户指定机器且所述机器被识别时，控制部26将对话对方的显示(例如与对话对方关联的图像或表示对话对方的字符串)由通用的自动应答AI的显示(例如与通用的自动应答AI关联的图像或表示通用的自动应答AI的字符串)切换为由用户所指定的机器的显示(例如与所述机器关联的图像或表示所述机器的字符串)。
另外，在对话对方的显示由通用的自动应答AI的显示切换为机器的显示的情况下，用户的对话对方自身仍是通用的自动应答AI。即，对话对方的发言内容是由搭载于终端装置10的通用的自动应答AI所制作。
所述示例中，由于指定了多功能一体机B作为利用对象机器，因此控制部26将与多功能一体机B关联的机器图像188取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。机器图像188既可为通过拍摄多功能一体机B而生成的图像(例如多功能一体机B的外观图像)，也可为模仿多功能一体机B的图像(例如图标)。当然，控制部26也可使表示多功能一体机B的字符串取代机器图像188、或者与机器图像188一同，作为表示对话对方的信息而显示于显示区域48a内。
而且，控制部26也可将表示机器状态的机器图像取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。所述示例中，控制部26将表示多功能一体机B的状态的机器图像188作为与对话对方关联的图像而显示于显示区域48a内。控制部26从利用对象机器获取表示所述机器的状态的信息，并对表示所述状态的机器图像的显示进行控制。控制部26例如在机器正在执行处理时，将表示正在执行所述处理的样子的机器图像作为与对话对方关联的图像而予以显示，当机器未执行处理时，将表示未执行处理的样子的机器图像作为与对话对方关联的图像予以显示，当机器的状态相当于睡眠(sleep)状态时，将表示睡眠状态的机器图像作为与对话对方关联的图像予以显示，当机器的电源切断时，将表示电源已切断的样子的机器图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认机器的状态。例如，当多功能一体机B正在进行打印时，控制部26将表示多功能一体机B正在打印的样子的机器图像188作为与对话对方关联的图像而显示于显示区域48a内。表示机器状态的图像既可预先制作而存储于存储部24中，也可由控制部26来制作。另外，控制部26也可使表示机器状态的字符串取代机器图像、或与机器图像一同，显示于显示区域48a内。
而且，控制部26使“想要利用哪个功能？”这一发言内容190作为多功能一体机B的发言内容而显示于显示区域48a内。所述发言内容190自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容190作为与多功能一体机B的机器图像188关联的发言内容而显示于显示区域48a内，以使得如同是多功能一体机B发表了所述发言内容190一般。控制部26也可使由确定部28所确定的多功能一体机B所具有的功能的一览作为多功能一体机B的发言内容而显示于显示区域48a内。多功能一体机B例如是具有打印功能或复印功能等图像形成功能的机器，因此控制部26也可使表示所述图像形成功能的一览的字符串或图像作为多功能一体机B的发言内容而显示于显示区域48a内。
针对所述发言内容190，用户将想要利用多功能一体机B来执行的处理内容作为用户的发言内容而输入至终端装置10。图36所示的示例中，将“想要打印文件X。”这一表示处理内容的发言内容192作为用户的发言内容而输入至终端装置10。
控制部26通过分析用户的发言内容192，来确定用户所请求的处理内容，并使多功能一体机B执行所述处理内容。例如，控制部26将包含文件X的数据的打印作业发送至多功能一体机B。接受此打印作业的多功能一体机B依照此打印作业来打印文件X。另外，控制部26也可使用于设定打印条件(例如打印份数、彩色(color)打印、黑白打印等条件)的画面显示于UI部20。打印作业包含在此画面上设定的条件，多功能一体机B依照此条件来进行打印。
当文件X的打印完成时，控制部26使表示打印已完成的意旨的发言内容194作为多功能一体机B的发言内容而显示于显示区域48a内。此时，控制部26也使与多功能一体机B关联的机器图像188显示于显示区域48a内，并使所述发言内容194作为与多功能一体机B的机器图像188关联的发言内容而显示于显示区域48a内。另外，发言内容194自身是由通用的自动应答AI所制作的发言内容。
当多功能一体机B的处理完成时，控制部26将与通用的自动应答AI关联的图像50取代与多功能一体机B关联的机器图像188，作为与对话对方关联的图像而显示于显示区域48a内。而且，控制部26将“怎么啦？”这一表示一般性问询的发言内容196作为自动应答AI的发言内容而显示于显示区域48a内。
如上所述，根据第5实施方式，当在与自动应答AI进行对话的画面48上，将机器的利用指示(利用请求)给予至自动应答AI时(例如将机器的信息发送至自动应答AI时)，应答中的对话对方的显示切换为所述机器的显示。借此，用户能够在视觉上确认是否对所述机器给予了指示。例如，当用户为了对机器给予指示而将机器的信息发送至自动应答AI时，将与所述机器关联的图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认是否实际将所述指示给予了机器。
(变形例10)
以下对变形例10进行说明。变形例10中，当将机器的利用指示作为用户的发言内容而给予至自动应答AI时，对话对方的显示由通用的自动应答AI的显示切换为机器的显示，并且作为用户的对话对方的自动应答AI(例如程序)由通用的自动应答AI切换至搭载于机器的自动应答AI。
若以所述示例来进行说明，则当在多功能一体机B中搭载有自动应答AI时(在多功能一体机B中安装有自动应答AI的程序时)，控制部26将作为用户的对话对方的自动应答AI，由搭载于终端装置10中的通用的自动应答AI(安装于终端装置10中的自动应答AI的程序)，切换为搭载于多功能一体机B中的自动应答AI。
此时，控制部26将表示用户的发言内容的信息经由通信路径N而发送至多功能一体机B。搭载于多功能一体机B中的自动应答AI接受从终端装置10发送的表示用户发言内容的信息，对用户的发言内容进行分析，制作针对所述发言内容的回答等回应。多功能一体机B的自动应答AI将表示包含此回应的发言内容的信息发送至终端装置10。例如，图36所示的发言内容190、194是由搭载于多功能一体机B的自动应答AI所制作，表示发言内容190、194的信息从多功能一体机B发送至终端装置10。控制部26使从多功能一体机B送来的发言内容(例如发言内容190、194)作为多功能一体机B的发言，与多功能一体机B的机器图像188关联地显示于显示区域48a内。
当多功能一体机B的处理完成时，控制部26如图36所示，将与对话对方关联的图像由与多功能一体机B关联的机器图像188切换为与通用的自动应答AI关联的图像50，进而，将作为用户的对话对方的自动应答AI由搭载于多功能一体机B中的自动应答AI切换为搭载于终端装置10中的通用的自动应答AI。
根据变形例10，当在机器中搭载有自动应答AI时，在此自动应答AI与用户之间进行对话，因此，在此期间，搭载于终端装置10中的自动应答AI的处理负载得以减轻。而且，当搭载于机器中的自动应答AI与通用的自动应答AI相比，关于此机器而具有高度的控制能力或信息收集能力时，通过搭载于机器中的自动应答AI作为用户的对话对方而与用户进行对话，从而可将更有用的信息提供给用户。
(变形例11)
以下，参照图37来说明变形例11。变形例11中，当将机器的部分的利用指示(利用请求)给予至自动应答AI时(例如将机器的部分的信息发送至自动应答AI时)，应答中的对话对方的显示切换为所述部分的显示。以下，对变形例11进行详细说明。
图37中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
与图36所示的示例同样，将“怎么啦？”这一发言内容198作为自动应答AI的发言内容而显示于显示区域48a内，针对所述发言内容198，作为表示机器的利用指示的发言内容，将“想要利用多功能一体机B。”这一发言内容200作为用户的发言内容而显示于显示区域48b。由于包含多功能一体机B的信息的发言内容200被发送至自动应答AI，因此与所述第5实施方式同样，与对话对方关联的图像由与通用的自动应答AI关联的图像50切换为与多功能一体机B关联的机器图像188。而且，将“想要利用哪个功能？”这一发言内容202作为多功能一体机B的发言内容而显示于显示区域48a内，将“想要打印文件X。”这一发言内容204作为用户的发言内容而显示于显示区域48b内。
确定部28通过分析用户的发言内容204来确定用户所请求的处理内容，并使多功能一体机B执行所述处理内容。与所述第5实施方式同样地，控制部26将包含文件X的数据的打印作业发送至多功能一体机B，使多功能一体机B执行所述打印作业。
而且，控制部26将对话对方的显示切换为用于执行此处理的机器的部分的显示。打印功能被分配给多功能一体机B的“本体部”，因此控制部26将对话对方的显示切换为多功能一体机B的“本体部”的显示。例如，控制部26将与多功能一体机B的“本体部”关联的部分图像206取代与多功能一体机B关联的机器图像188，作为与对话对方关联的图像而显示于显示区域48a内。另外，通过将表示处理内容的发言内容204发送至自动应答AI，从而将用于执行所述处理的机器的部分的利用指示(利用请求)给予至自动应答AI。即，将机器的部分的信息发送至自动应答AI。若以所述示例来进行说明，则由于在发言内容204中包含“想要打印”这一处理内容，因此将分配有打印功能的多功能一体机B的“本体部”的信息发送至自动应答AI。
而且，控制部26也可使表示机器的部分的状态的部分图像取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。所述示例中，控制部26使表示多功能一体机B的“本体部”的状态的部分图像206作为与对话对方关联的图像而显示于显示区域48a内。控制部26从利用对象机器获取表示所述机器的各部分的状态的信息，并对表示所述状态的部分图像的显示进行控制。控制部26例如在机器的部分正在执行处理时，将表示正在执行所述处理的样子的部分图像作为与对话对方关联的图像而予以显示，当机器的部分未执行处理时，将表示未执行处理的样子的部分图像作为与对话对方关联的图像予以显示，当机器的部分的状态相当于睡眠状态时，将表示睡眠状态的部分图像作为与对话对方关联的图像予以显示，当机器的电源切断时，将表示电源已切断的样子的部分图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认机器的部分的状态。例如，当多功能一体机B的“本体部”正在进行打印时，控制部26将表示多功能一体机B的“本体部”正在进行打印的样子的部分图像206作为与对话对方关联的图像而显示于显示区域48a内。表示机器的部分的状态的图像既可预先制作而存储于存储部24中，也可由控制部26来制作。另外，控制部26也可使表示机器的部分的状态的字符串取代部分图像、或与部分图像一同显示于显示区域48a内。
当文件X的打印完成时，控制部26使表示打印已完成的意旨的发言内容208作为多功能一体机B的“本体部”的发言内容而显示于显示区域48a内。此时，控制部26也使与多功能一体机B的“本体部”关联的部分图像206显示于显示区域48a内，并使所述发言内容208作为与多功能一体机B的“本体部”的部分图像206关联的发言内容而显示于显示区域48a内。
当多功能一体机B的处理完成时，控制部26将与通用的自动应答AI关联的图像50取代与多功能一体机B的“本体部”关联的部分图像206，作为与对话对方关联的图像而显示于显示区域48a内。而且，控制部26将“怎么啦？”这一表示一般性问询的发言内容210作为自动应答AI的发言内容而显示于显示区域48a内。
作为另一例，当将机器的部分的信息(例如与部分关联的部分图像或表示部分的字符串)作为用户的发言内容200而发送至自动应答AI时，控制部26也可将对话对方的显示由自动应答AI的显示切换为所述部分的显示。例如，当将“想要利用多功能一体机B的本体部(或打印部)。”这一发言内容作为用户的发言内容200而发送至自动应答AI时，控制部26也可将与对话对方关联的图像由与自动应答AI关联的图像50，切换为与多功能一体机B的“本体部”关联的部分图像206。
如上所述，根据变形例11，当在与自动应答AI进行对话的画面48上，将机器的部分的利用指示(利用请求)发送至自动应答AI时(例如将机器的部分的信息发送至自动应答AI时)，对话对方的显示切换为所述机器的部分的显示。借此，用户能够在视觉上确认是否对所述部分给予了指示。
另外，当显示有机器的部分作为对话对方时，用户的对话对方既可为搭载于终端装置10的通用的自动应答AI，也可由所述通用的自动应答AI切换为搭载于所述机器或所述部分的自动应答AI。
(变形例12)
以下，参照图38来说明变形例12。变形例12中，当用户将多个机器的利用指示(利用请求)发送至自动应答AI时(例如将多个机器的信息作为联动对象的信息而发送至自动应答AI时)，应答中的对话对方的显示由通用的自动应答AI的显示切换为多个机器的显示。以下，对变形例12进行详细说明。
图38中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
与图36所示的示例同样地，将“怎么啦？”这一发言内容212作为自动应答AI的发言内容而显示于显示区域48a内。
当用户针对所述发言内容212而将多个机器指定为联动对象机器时，确定部28(通过自动应答AI而实现的确定部28)将所述多个机器识别为联动对象机器。例如设为：用户发表“想要利用多功能一体机B与PC(A)。”这一发言内容214作为表示多个机器的利用指示(利用请求)的发言内容。控制部26使包含多功能一体机B与PC(A)的信息的发言内容214作为用户的发言内容而显示于显示区域48b，并将所述发言内容214发送至自动应答AI。由此，将多功能一体机B与PC(A)的信息作为联动对象机器的信息而发送至自动应答AI。用户也可通过操作UI部20来将表示多个机器的字符串作为用户的发言内容而输入至终端装置10，还可与所述第1实施方式同样，将与机器关联的机器图像(例如外观图像或图标等图像)指定为用户的发言内容。当指定机器图像时，如图8所示，用户也可从备选区域58中选择多个机器图像，并使所述多个机器图像移动到用户发言内容的显示位置，由此来将所述多个机器图像指定为用户的发言内容。
确定部28例如通过参照图7所示的联动功能管理表，从而确定可利用用户所指定的多个机器来执行的联动功能。所述示例中，由于指定了多功能一体机B与PC(A)，因此将“扫描转发功能”与“打印功能”确定为可利用多功能一体机B与PC(A)来执行的联动功能(参照图7)。
当用户指定多个机器且所述多个机器被识别时，控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的多个机器的显示。
所述示例中，由于指定了多功能一体机B与PC(A)作为联动对象机器，因此控制部26将与多功能一体机B关联的机器图像188和与PC(A)关联的机器图像216取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。机器图像216既可为通过拍摄PC(A)而生成的图像(例如PC(A)的外观图像)，也可为模仿PC(A)的图像(例如图标)。当然，控制部26也可使表示多功能一体机B与PC(A)的字符串取代机器图像188、216或者与机器图像188、216一同，作为表示对话对方的信息而显示于显示区域48a内。
而且，控制部26使“想要利用哪个功能？”这一发言内容218作为多功能一体机B与PC(A)的发言内容而显示于显示区域48a内。所述发言内容218自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容218作为与多功能一体机B的机器图像188和PC(A)的机器图像216关联的发言内容而显示于显示区域48a内，以使得如同是多功能一体机B与PC(A)发表了所述发言内容218一般。控制部26也可使由确定部28所确定的联动功能的一览作为多功能一体机B与PC(A)的发言内容而显示于显示区域48a内。可利用多功能一体机B与PC(A)来执行的联动功能为“扫描转发功能”与“打印功能”(参照图7)，因此控制部26也可使表示“扫描转发功能”与“打印功能”的字符串或图像作为多功能一体机B与PC(A)的发言内容而显示于显示区域48a内。
针对所述发言内容218，用户将想要执行的联动功能作为用户的发言内容而输入至终端装置10。图38所示的示例中，将“想要将扫描的数据发送至PC(A)。”这一表示扫描转发功能的发言内容220作为用户的发言内容而输入至终端装置10。
控制部26通过分析用户的发言内容220，来确定用户所请求的联动功能，并使多功能一体机B与PC(A)执行联动功能。用于此执行的处理与所述第1实施方式的处理相同。
当扫描转发完成时，控制部26使表示扫描转发已完成的意旨的发言内容222作为多功能一体机B与PC(A)的发言内容而显示于显示区域48a内。此时，控制部26也使与多功能一体机B关联的机器图像188和与PC(A)关联的机器图像216显示于显示区域48a内，使所述发言内容222作为与多功能一体机B的机器图像188和PC(A)的机器图像216关联的发言内容而显示于显示区域48a内。另外，发言内容222自身是由通用的自动应答AI所制作的发言内容。
当多功能一体机B与PC(A)的处理完成时，控制部26使与通用的自动应答AI关联的图像50取代与多功能一体机B关联的机器图像188和与PC(A)关联的机器图像216，作为与对话对方关联而图像而显示于显示区域48a内。而且，控制部26将“怎么啦？”这一表示一般性问询的发言内容224作为自动应答AI的发言内容而显示于显示区域48a内。
如上所述，根据变形例12，当在与自动应答AI进行对话的画面48上，将作为联动对象的多个机器的利用指示(利用请求)发送至自动应答AI时(例如将作为联动对象的多个机器的信息发送至自动应答AI时)，对话对方的显示切换为所述多个机器的显示。借此，用户能够在视觉上确认是否对所述多个机器给予了指示。例如，当用户为了对多个机器给予指示而将多个机器的信息发送至自动应答AI时，将与各机器关联的图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认是否实际将所述指示给予了多个机器。
另外，当将多个机器作为对话对方予以显示时，用户的对话对方既可为搭载于终端装置10的通用的自动应答AI，也可由所述通用的自动应答AI切换为搭载于所述多个机器中的自动应答AI。例如，当在多功能一体机B中搭载有自动应答AI时，搭载于多功能一体机B中的自动应答AI也可作为对话对方发挥功能，当在PC(A)中搭载有自动应答AI时，搭载于PC(A)中的自动应答AI也可作为对话对方发挥功能。当在多功能一体机B与PC(A)这两者中搭载有自动应答AI时，搭载于多功能一体机B或PC(A)的任一者中的自动应答AI也可作为对话对方发挥功能。
图38所示的示例中，是将两个机器的信息发送至自动应答AI，但也可将三个以上的机器的信息(例如三个以上的机器图像或表示三个以上的机器的字符串)发送至自动应答AI。此时，将三个以上的机器图像取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。
而且，也可组合变形例11、变形例12。即，当将多个部分指定为联动对象部分，并将所述多个部分的信息发送至自动应答AI时，控制部26也可将对话对方的显示切换为多个部分的显示。另外，既可指定同一机器中的多个部分，也可从多个机器中指定多个部分。
(变形例13)
以下，参照图39A至图39E及图40A至图40E来说明变形例13。图39A至图39E及图40A至图40E中表示了与用户的对话对方关联的图像。此处设为：作为联动对象的多个机器(例如多功能一体机B与PC(A))的信息作为用户的对话内容被发送至自动应答AI。
图39A中表示了基本形的图像。与所述变形例12同样地，当将多功能一体机B与PC(A)的信息作为用户的发言内容而发送至自动应答AI时，将与多功能一体机B关联的机器图像188和与PC(A)关联的机器图像216作为与对话对方关联的图像而显示于显示区域48a内。
在如图39A所示，机器图像188、216显示为与对话对方关联的图像的状态下，当如图39B所示，发言内容226作为多功能一体机B的发言内容而显示于显示区域48a内时，控制部26使与多功能一体机B关联的机器图像188比与PC(A)关联的机器图像216大地显示于显示区域48a内。例如，当PC(A)未执行联动功能中所含的处理，而多功能一体机B执行了联动功能中所含的处理时，将与此处理相关的信息作为多功能一体机B的发言内容而显示于显示区域48a内。此时，使机器图像188显示得比机器图像216大。借此，用户能够在视觉上确认进行联动功能中所含的处理的机器。另外，当多功能一体机B与PC(A)这两者执行了联动功能中所含的处理时，如图39A所示，机器图像188、216以彼此相同的大小而显示。
另一方面，当如图39C所示，发言内容228作为PC(A)的发言内容而显示于显示区域48a内时，控制部26使机器图像216比机器图像188大地显示于显示区域48a内。例如，当PC(A)执行了联动功能中所含的处理，而多功能一体机B未执行联动功能中所含的处理时，将与此处理相关的信息作为多功能一体机B的发言内容而显示于显示区域48a内。
而且，在图38及图39A所示的示例中，机器图像188、216是以沿横方向排列的方式而配置显示，但也可如图39D所示，机器图像188、216以沿纵方向排列的方式而配置显示。当然，也可以除这些以外的配置来显示机器图像188、216。
而且，当如图39E所示，发言内容230作为多功能一体机B的发言内容而显示于显示区域48a内时，也可使与多功能一体机B关联的机器图像188比与PC(A)关联的机器图像216大地显示。当发言内容作为PC(A)的发言内容而显示于显示区域48a内时，机器图像216显示得比机器图像188大。
而且，也可根据用户的发言顺序来变更机器图像的显示顺序。例如，当用户依“多功能一体机B”、“PC(A)”的顺序来发言时，也可依与多功能一体机B关联的机器图像188、与PC(A)关联的机器图像216的顺序来显示机器图像188、216。例如也可将先指定的机器(例如多功能一体机B)显示在左侧或上侧，将后指定的机器(例如PC(A))显示在右侧或下侧。当然，也可不论指定的顺序，而根据机器的识别顺序或登记顺序等，来决定显示顺序。而且，也可将发话的机器(发言内容所关联的机器)的机器图像显示于预定的位置(例如左侧或上侧)。借此，用户能够在视觉上确认发话的机器(例如正在进行处理的机器)。
图40A至图40E中表示了又一显示例。例如，当将变形例11、变形例12加以组合，而将作为联动对象的多个部分的信息作为用户的发言内容而发送至自动应答AI时，控制部26将对话对方的显示切换为多个部分的显示。图40A中表示了所述显示的一例。例如，当将多功能一体机B的“本体部”与PC(A)的“显示部”指定为联动对象部分，并将它们的信息作为用户的发言内容而发送至自动应答AI时，将与多功能一体机B的“本体部”关联的部分图像206和与PC(A)的“显示部”关联的部分图像232作为与对话对方关联的图像而显示于显示区域48a内。另外，当多个部分显示为对话对方时，也可适用图39A至图39E中的任一图所示的显示例。
而且，当机器正在执行处理时，控制部26也可使与机器中正在执行处理的部分关联的部分图像作为与对话对方关联的图像而显示于显示区域48a内。例如，当多功能一体机B的“本体部”正在执行打印时，控制部26如图40B所示，使与所述“本体部”关联的部分图像206作为与对话对方关联的图像而显示于显示区域48a内。同样地，当多功能一体机B的“读取部”正在执行扫描时，控制部26使与所述“读取部”关联的部分图像作为与对话对方关联的图像而显示于显示区域48a内。借此，用户能够在视觉上确认正在执行处理的部分。而且，控制部26也可使与正在执行用户在画面48上所指示的处理(例如打印作业等)的部分(例如多功能一体机B的“本体部”)关联的部分图像，作为与对话对方关联的图像而显示于显示区域48a内。借此，用户能够在视觉上确认正在执行所述用户自身所指示的处理的部分。
而且，也可如图40C所示，在与通用的自动应答AI关联的图像50内，显示有表示自动应答AI自身的图像50a、与表示自动应答AI以外的背景的背景图像50b。当将机器(例如多功能一体机B)的信息发送至自动应答AI时，也可如图40D所示，将图像50整体替换为机器图像188。作为另一例，也可如图40E所示，将图像50替换为机器图像188，所述机器图像188显示有表示多功能一体机B自身的图像188a和背景图像50b。即，背景图像50b也可仍保持其状态而显示。
＜第6实施方式＞
以下对第6实施方式的机器系统进行说明。第6实施方式中，当用户在与自动应答AI进行对话的接口(例如画面48)上，将功能的利用指示(利用请求)发送至自动应答AI时(例如将功能的信息发送至自动应答AI时)，应答中的对话对方的显示切换为所述功能的显示。以下对第6实施方式进行详细说明。
图41中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
例如，作为自动应答AI的发言内容，将“怎么啦？”这一发言内容234显示于画面48。由于所述发言内容234是自动应答AI的发言内容，因此控制部26使与自动应答AI关联的图像50显示于显示区域48a内，使发言内容234作为与自动应答AI的图像50关联的发言内容而显示于显示区域48a内。另外，所述自动应答AI是不依存于机器的自动应答AI，也可以说是通用的自动应答AI。
当用户针对所述发言内容234而指定功能时，确定部28(通过自动应答AI而实现的确定部28)识别所述功能。例如设为：用户发表“想要利用密码功能。”这一发言内容236作为表示功能的利用指示(利用请求)的发言内容。控制部26使包含密码功能的信息的发言内容236作为用户的发言内容而显示于显示区域48b，并将所述发言内容236发送至自动应答AI。由此，将密码功能的信息发送至自动应答AI。发言内容236作为与用户的图像52关联的发言内容而显示于显示区域48b内。用户也可通过操作UI部20来将表示功能的字符串作为用户的发言内容而输入至终端装置10，还可与所述第2实施方式同样，将与功能关联的机器图像(例如图标等图像)指定为用户的发言内容。当指定功能图像时，如图27所示，用户也可从备选区域124中选择与利用对象功能关联的功能图像，并使所述功能图像移动到用户发言内容的显示位置，由此来将所述功能图像指定为用户的发言内容。
当用户指定功能且所述功能被识别时，控制部26将对话对方的显示(例如与对话对方关联的图像或表示对话对方的字符串)由通用的自动应答AI的显示(例如与通用的自动应答AI关联的图像或表示通用的自动应答AI的字符串)切换为由用户所指定的功能的显示(例如与所述功能关联的图像或表示所述功能的字符串)。
另外，在对话对方的显示由通用的自动应答AI的显示切换为功能的显示的情况下，用户的对话对方自身仍是通用的自动应答AI。即，对话对方的发言内容是由搭载于终端装置10的通用的自动应答AI所制作。
所述示例中，由于指定了密码功能作为利用对象功能，因此控制部26使与密码功能关联的功能图像238取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。功能图像238例如为图标。当然，控制部26也可使表示密码功能的字符串取代功能图像238或者与功能图像238一同，作为表示对话对方的信息而显示于显示区域48a内。
而且，控制部26也可使表示功能状态(例如实现所述功能的软件的状态、或实现所述功能的机器的状态)的功能图像取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。所述示例中，控制部26将表示密码设定软件的状态的功能图像238作为与对话对方关联的图像而显示于显示区域48a内。控制部26从实现功能的软件或机器获取表示所述软件或所述机器的状态的信息，并对表示所述状态的功能图像的显示进行控制。控制部26例如在实现所述功能的软件或机器正在执行处理时，将表示正在执行所述处理的样子的功能图像作为与对话对方关联的图像而予以显示，当实现所述功能的软件或机器未执行处理时，将表示未执行处理的样子的功能图像作为与对话对方关联的图像予以显示，当实现所述功能的机器的状态相当于睡眠状态时，将表示睡眠状态的功能图像作为与对话对方关联的图像予以显示，当实现所述功能的软件的状态相当于冻结(freeze)状态时，将表示冻结状态的功能图像作为与对话对方关联的图像予以显示，当实现所述功能的机器的电源切断时，将表示电源已切断的样子的功能图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认功能的状态。例如，当密码设定软件正在对其他数据设定密码时，控制部26将表示密码设定软件正在进行密码设定处理的样子的功能图像238作为与对话对方关联的图像而显示于显示区域48a内。表示机器状态的图像既可预先制作而存储于存储部24中，也可由控制部26来制作。另外，控制部26也可使表示功能状态的字符串取代机器图像或与机器图像一同显示于显示区域48a内。
而且，控制部26使“要对哪个文件添加密码？”这一发言内容240作为密码功能的发言内容而显示于显示区域48a内。所述发言内容240自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容240作为与密码功能的功能图像238关联的发言内容而显示于显示区域48a内，以使得如同是密码功能发表了所述发言内容240一般。
针对所述发言内容240，用户指定作为密码设定对象的文件。图41所示的示例中，将“文件X”这一表示内容的发言内容242作为用户的发言内容而输入至终端装置10。
控制部26通过分析用户的发言内容242来确定用户所请求的处理内容，并使密码设定软件执行所述处理内容。例如，控制部26启动密码设定软件，通过所述密码设定软件来对由用户所指定的文件X设定密码。另外，控制部26也可使用于设定密码的画面显示于UI部20。
当密码的设定完成时，控制部26使表示密码设定已完成的意旨的发言内容244作为密码功能的发言内容而显示于显示区域48a内。此时，控制部26使与密码功能关联的功能图像238显示于显示区域48a内，使所述发言内容244作为与密码功能的功能图像238关联的发言内容而显示于显示区域48a内。另外，发言内容244自身是由通用的自动应答AI所制作的发言内容。
当密码功能的处理完成时，控制部26将与通用的自动应答AI关联的图像50取代与密码功能关联的功能图像238，作为与对话对方关联的图像而显示于显示区域48a内。而且，控制部26将“怎么啦？”这一表示一般性问询的发言内容246作为自动应答AI的发言内容而显示于显示区域48a内。
如上所述，根据第6实施方式，当在与自动应答AI进行对话的画面48上，将功能的利用指示(利用请求)发送至自动应答AI时(例如将功能的信息发送至自动应答AI时)，应答中的对话对方的显示切换为所述功能的显示。借此，用户能够在视觉上确认是否对所述功能给予了指示。例如，当用户为了对功能给予指示而将功能的信息发送至自动应答AI时，将与所述功能关联的图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认是否实际将所述指示给予了功能。
也可将变形例10适用于第6实施方式。例如，当对每个功能分配有自动应答AI的程序，且各自动应答AI的程序被安装于终端装置10时，控制部26也可将对话对方的显示由通用的自动应答AI的显示切换为功能的显示，并且将作为用户的对话对方的自动应答AI由通用的自动应答AI切换为被分配给所述功能的自动应答AI。
也可将变形例11适用于第6实施方式。例如，在对功能图像内的每个部分进而分配有功能的情况下，当将与所述部分关联的图像作为用户的发言内容而发送至自动应答AI时，也可将与所述部分关联的图像作为与对话对方关联的图像而显示于显示区域48a内。
也可将变形例12适用于第6实施方式。例如，当用户将多个功能的利用指示(利用请求)发送至自动应答AI时(例如，当将多个功能的信息作为联动对象的信息而发送至自动应答AI时)，应答中的对话对方的显示由通用的自动应答AI的显示切换为多个功能的显示。以下，参照图42来说明将变形例12适用于第6实施方式时的处理。
图42中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
与图41所示的示例同样地，将“怎么啦？”这一发言内容248作为自动应答AI的发言内容而显示于显示区域48a内。
当用户针对所述发言内容248而将多个功能指定为联动对象功能时，确定部28(通过自动应答AI而实现的确定部28)将所述多个功能识别为联动对象功能。例如设为：用户发表“想要利用密码功能与数据发送功能。”这一发言内容250作为表示多个功能的利用指示(利用请求)的发言内容。控制部26使包含密码功能与数据发送功能的信息的发言内容250作为用户的发言内容而显示于显示区域48b，并将所述发言内容250作为联动对象的信息而发送至自动应答AI。由此，将密码功能与数据发送功能的信息作为联动对象功能的信息而发送至自动应答AI。用户也可通过操作UI部20来将表示多个功能的字符串作为用户的发言内容而输入至终端装置10，还可与所述第2实施方式同样，将与功能关联的功能图像(例如图标)指定为用户的发言内容。当指定功能图像时，如图27所示，用户也可从备选区域124中选择多个功能图像，并使所述多个功能图像移动到用户发言内容的显示位置，由此来将所述多个功能图像指定为用户的发言内容。
确定部28例如通过参照图26所示的联动功能管理表，从而确定可利用用户所指定的多个功能来执行的联动功能。所述示例中，由于指定了密码功能与数据发送功能，因此例如将“对数据设定密码并予以发送的功能”等确定为联动功能。
当用户指定多个功能且所述多个功能被识别时，控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的多个功能的显示。
所述示例中，由于指定了密码功能与数据发送功能作为联动对象功能，因此控制部26将与密码功能关联的功能图像238和与数据发送功能关联的功能图像252取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。当然，控制部26也可使表示密码功能和数据发送功能的字符串取代功能图像238、252或与功能图像238、252一同，作为表示对话对方的信息而显示于显示区域48a内。
而且，控制部26将“要对哪个文件进行处理？”这一发言内容254作为密码功能与数据发送功能的发言内容而显示于显示区域48a内。所述发言内容254自身是由通用的自动应答AI所制作的发言内容。控制部26将所述发言内容254作为与密码功能的功能图像238和数据发送功能的功能图像252关联的发言内容而显示于显示区域48a内，以使得如同是密码功能和数据发送功能发表了所述发言内容254一般。控制部26也可使由确定部28所确定的联动功能的一览作为密码功能与数据发送功能的发言内容而显示于显示区域48a内。
针对所述发言内容254，用户指定作为处理对象的文件。图42所示的示例中，将“文件X”这一表示内容的发言内容256作为用户的发言内容而输入至终端装置10。
控制部26通过分析用户的发言内容256来确定用户所请求的处理内容，并使密码设定软件与数据发送软件执行所述处理内容。例如，控制部26启动密码设定软件与数据发送软件，通过所述密码设定软件来对由用户所指定的文件X设定密码，并通过数据发送软件来将设定了密码的文件X发送至发送目标(由用户所指定的发送目标或预定的发送目标等)。另外，控制部26也可使用于设定密码的画面或用于设定发送目标的画面显示于UI部20。
当联动功能的执行完成时，控制部26将表示所述联动功能的执行已完成的意旨的发言内容258作为密码功能与数据发送功能的发言内容而显示于显示区域48a内。此时，控制部26也使与密码功能关联的功能图像238和与数据发送功能关联的功能图像252显示于显示区域48a内，并使所述发言内容258作为与密码功能的功能图像238和数据发送功能的功能图像252关联的发言内容而显示于显示区域48a内。另外，发言内容258自身是由通用的自动应答AI所制作的发言内容。
当联动功能的执行完成时，控制部26使与通用的自动应答AI关联的图像50取代与密码功能关联的功能图像238和与数据发送功能关联的功能图像252，作为与对话对方关联的图像而显示于显示区域48a内。而且，控制部26将“怎么啦？”这一表示一般性问询的发言内容260作为自动应答AI的发言内容而显示于显示区域48a内。
如上所述，通过将变形例12适用于第6实施方式，从而当在与自动应答AI进行对话的画面48上，将作为联动对象的多个功能的利用指示(利用请求)发送至自动应答AI时(例如将作为联动对象的多个功能的信息作为对话内容而发送至自动应答AI时)，对话对方的显示切换为所述多个功能的显示。借此，用户能够在视觉上确认是否对多个功能给予了指示。例如，当用户为了对多个功能给予指示而将多个功能的信息发送至自动应答AI时，将与各功能关联的图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认是否实际将所述指示给予了多个功能。
另外，当显示有多个功能作为对话对方时，用户的对话对方既可为通用的自动应答AI，也可由所述通用的自动应答AI切换为每个功能的自动应答AI。
图42所示的示例中，是将两个功能的信息发送至自动应答AI，但也可将三个以上的功能的信息(例如三个以上的功能图像或表示三个以上的功能的字符串)发送至自动应答AI。此时，将三个以上的功能图像取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。
而且，也可将变形例11、变形例12的组合适用于第6实施方式。即，在对功能图像内的每个部分进而分配有功能的情况下，当将与多个部分关联的图像作为用户的发言内容而发送至自动应答AI时，也可将多个部分的图像作为与对话对方关联的图像而显示于显示区域48a内。
而且，也可将变形例13适用于第6实施方式。即，第6实施方式中，也可依照图39A至图39E及图40A至图40E所示的显示例来显示各机器图像。
＜第7实施方式＞
以下对第7实施方式的机器系统进行说明。第7实施方式中，当用户在与自动应答AI进行对话的接口(例如画面48)上，将机器与功能的利用指示(利用请求)发送至自动应答AI时(例如将机器与功能的信息发送至自动应答AI时)，应答中的对话对方的显示切换为所述机器与功能的显示。以下对第7实施方式进行详细说明する。
图43中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
例如，作为自动应答AI的发言内容，将“怎么啦？”这一发言内容262显示于画面48。由于所述发言内容262是自动应答AI的发言内容，因此控制部26使与自动应答AI关联的图像50显示于显示区域48a内，使发言内容262作为与自动应答AI的图像50关联的发言内容而显示于显示区域48a内。另外，所述自动应答AI是不依存于机器的自动应答AI，也可以说是通用的自动应答AI。
当用户针对所述发言内容262而将机器与功能指定为联动对象时，确定部28(通过自动应答AI而实现的确定部28)将所述机器与功能识别为联动对象。例如设为：用户发表“想要利用多功能一体机B与密码功能。”这一发言内容264作为表示机器与功能的利用指示(利用请求)的发言内容。控制部26使包含多功能一体机B与密码功能的信息的发言内容264作为用户的发言内容而显示于显示区域48b，并将所述发言内容264发送至自动应答AI。由此，将多功能一体机B与密码功能的信息作为联动对象的信息而发送至自动应答AI。发言内容264作为与用户的图像52关联的发言内容而显示于显示区域48b内。用户既可通过操作UI部20来将表示机器与功能的字符串作为用户的发言内容而输入至终端装置10，也可与所述第3实施方式同样地，将与机器关联的机器图像和与功能关联的功能图像指定为用户的发言内容。当指定机器图像时，也可如图8所示，用户从备选区域58中选择与联动对象机器关联的机器图像，并使所述机器图像移动到用户发言内容的显示位置，由此来将所述机器图像指定为用户的发言内容。同样地，当指定功能图像时，也可如图27所示，用户从备选区域124中选择与利用对象功能关联的功能图像，并使所述功能图像移动到用户发言内容的显示位置，由此来将所述功能图像指定为用户的发言内容。
确定部28例如通过参照图30所示的联动功能管理表，从而确定可利用用户所指定的机器与功能来执行的联动功能。所述示例中，由于指定了多功能一体机B与密码功能，因此例如将“对通过多功能一体机B的扫描而生成的数据添加密码的功能”等确定为联动功能。
当用户将机器与功能指定为联动对象，并将所述机器与功能识别为联动对象时，控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的机器与功能的显示。
另外，即使在对话对方的显示由通用的自动应答AI的显示切换为机器与功能的显示的情况下，用户的对话对方自身仍为通用的自动应答AI。即，对话对方的发言内容是由搭载于终端装置10的通用的自动应答AI所制作。
所述示例中，由于指定了多功能一体机B与密码功能作为联动对象，因此控制部26将与多功能一体机B关联的机器图像188和与密码功能关联的功能图像238取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。当然，控制部26也可使表示多功能一体机B与密码功能的字符串取代机器图像188及功能图像238、或与机器图像188及功能图像238一同，作为表示对话对方的信息而显示于显示区域48a内。
而且，控制部26将“想要利用哪个功能？”这一发言内容266作为多功能一体机B与密码功能的发言内容而显示于显示区域48a内。所述发言内容266自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容266作为与多功能一体机B的机器图像188和与密码功能的功能图像238关联的发言内容而显示于显示区域48a内，以使得如同是多功能一体机B与密码功能发表了所述发言内容266一般。控制部26也可使由确定部28所确定的联动功能的一览作为多功能一体机B与密码功能的发言内容而显示于显示区域48a内。
针对所述发言内容266，用户将想要执行的联动功能作为用户的发言内容而输入至终端装置10。图43所示的示例中，将“想要对扫描的数据添加密码。”这一表示联动功能的发言内容268作为用户的发言内容而输入至终端装置10。
控制部26通过分析用户的发言内容268，来确定用户所请求的联动功能，并使多功能一体机B与密码功能(密码设定软件)执行所述联动功能。例如，控制部26对多功能一体机B发送扫描作业，使多功能一体机B执行扫描。由此，生成的数据从多功能一体机B发送至终端装置10。进而，控制部26启动密码设定软件，通过所述密码设定软件来对所述数据设定密码。
当联动功能的执行完成时，控制部26将表示联动功能的执行已完成的意旨的发言内容270作为多功能一体机B与密码功能的发言内容而显示于显示区域48a内。此时，控制部26使与多功能一体机B关联的机器图像188和与密码功能关联的功能图像238显示于显示区域48a内，并使所述发言内容270作为与多功能一体机B的机器图像188和密码功能的功能图像238关联的发言内容而显示于显示区域48a内。另外，发言内容270自身是由通用的自动应答AI所制作的发言内容。
当联动功能的执行完成时，控制部26使与通用的自动应答AI关联的图像50作为与多功能一体机B关联的机器图像188和与密码功能关联的功能图像238作为与对话对方关联的图像而显示于显示区域48a内。而且，控制部26将“怎么啦？”这一表示一般性问询的发言内容272作为自动应答AI的发言内容而显示于显示区域48a内。
如上所述，根据第7实施方式，当在与自动应答AI进行对话的画面48上，将机器与功能的利用指示(利用请求)发送至自动应答AI时(例如将机器与功能的信息发送至自动应答AI时)，对话对方的显示切换至所述机器与功能的显示。借此，用户能够在视觉上确认是否对所述机器与所述功能给予了指示。例如，当用户为了对机器与功能给予指示而将机器与功能的信息发送至自动应答AI时，将与所述机器和功能关联的图像作为与对话对方关联的图像予以显示。借此，用户能够在视觉上确认是否实际将所述指示给予了机器与功能。
图43所示的示例中，将合计两个机器与功能的信息发送至自动应答AI，但也可将合计三个以上的机器与功能的信息发送至自动应答AI。此时，将合计三个以上的机器图像与功能图像取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。
也可将变形例10适用于第7实施方式。例如，当对每个机器或每个功能分配有自动应答AI的程序时，控制部26也可将对话对方的显示由通用的自动应答AI的显示切换为机器与功能的显示，并且将作为用户的对话对方的自动应答AI由通用的自动应答AI切换为被分配给所述机器或所述功能的自动应答AI。
也可将变形例11适用于第7实施方式。例如，当将机器的部分的信息作为用户的发言内容而发送至自动应答AI时，也可将与所述部分关联的图像作为与对话对方关联的图像予以显示。而且，在对功能图像内的每个部分进而分配有功能的情况下，当将与所述部分关联的图像作为用户的发言内容而发送至自动应答AI时，也可将与所述部分关联的图像作为与对话对方关联的图像而显示于显示区域48a内。
而且，也可将变形例13适用于第7实施方式。即，第7实施方式中，也可依照图39A至图39E及图40A至图40E所示的显示例来显示机器图像或功能图像。
＜第8实施方式＞
以下对第8实施方式的机器系统进行说明。第8实施方式中，当用户在与自动应答AI进行对话的接口(例如画面48)上，将文件的利用指示(利用请求)发送至自动应答AI时(例如将文件的信息发送至自动应答AI时)，应答中的对话对方的显示切换为所述文件的显示。以下，对第8实施方式进行详细说明。
图44中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
例如，作为自动应答AI的发言内容，将“怎么啦？”这一发言内容274显示于显示区域48a。由于所述发言内容274是自动应答AI的发言内容，因此控制部26使与自动应答AI关联的图像50显示于显示区域48a内，并使发言内容274作为与自动应答AI的图像50关联的发言内容而显示于显示区域48a内。另外，所述自动应答AI是不依存于机器的自动应答AI，也可以说是通用的自动应答AI。
当用户针对所述发言内容274而指定文件时，确定部28(通过自动应答AI而实现的确定部28)识别所述文件。例如设为：用户发表“想要编辑文档文件A。”这一发言内容276作为表示文件的利用指示(利用请求)的发言内容。控制部26使包含文档文件A的信息的发言内容276作为用户的发言内容而显示于显示区域48b内，并将所述发言内容276发送至自动应答AI。由此，将文档文件A的信息发送至自动应答AI。发言内容276作为与用户的图像52关联的发言内容而显示于显示区域48b内。用户也可通过操作UI部20来将表示文件的字符串(例如文件名)作为用户的发言内容而输入至终端装置10，还可与所述第4实施方式同样地，将与文件关联的文件图像(例如图标等图像)指定为用户的发言内容。当指定文件图像时，也可如图34所示，用户从备选区域170中选择与利用对象文件关联的文件图像，并使所述文件图像移动到用户发言内容的显示位置，由此来将所述文件图像指定为用户的发言内容。
当用户指定文件且所述文件被识别时，控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的文件的显示。
另外，即使在对话对方的显示由通用的自动应答AI的显示切换为文件的显示的情况下，用户的对话对方自身仍为通用的自动应答AI。即，对话对方的发言内容是由搭载于终端装置10的通用的自动应答AI所制作。
所述示例中，由于指定了文档文件A作为利用对象文件，因此控制部26将与文档文件A关联的文件图像278取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。文件图像278例如为图标。当然，控制部26也可使表示文档文件A的字符串(例如文件名)取代文件图像278或与文件图像278一同，作为表示对话对方的信息而显示于显示区域48a内。
而且，控制部26使“要启动文档应用程序吗？”这一发言内容280作为文档文件A的发言内容而显示于显示区域48a内。所述发言内容280自身是由通用的自动应答AI所制作的发言内容。控制部26将所述发言内容280作为与文档文件A的文件图像278关联的发言内容而显示于显示区域48a内，以使得如同文档文件A发表了所述发言内容280一般。
当用户针对所述发言内容280而如发言内容282般指示文档应用程序的启动时，控制部26根据所述指示来启动文档应用程序。此时，控制部26将表示启动文档应用程序来打开文档文件A(可编辑地显示文档文件A)的意旨的发言内容284作为文档文件A的发言内容而显示于显示区域48a内。此时，控制部26也使与文档文件A关联的文件图像278显示于显示区域48a内，并将所述发言内容284作为与文档文件A的文件图像278关联的发言内容而显示于显示区域48a内。另外，发言内容284自身是由通用的自动应答AI所制作的发言内容。
以后，用户利用文档应用程序来编辑文档文件A。当所述编辑完成时，控制部26将与通用的自动应答AI关联的图像50取代与文档文件A关联的文件图像278，作为与对话对方关联的图像而显示于显示区域48a内。
如上所述，根据第8实施方式，当在与自动应答AI进行对话的画面48上，将文件的利用指示(利用请求)发送至自动应答AI时(例如将文件的信息发送至自动应答AI时)，对话对方的显示切换为所述文件的显示。借此，用户能够在视觉上确认是否能够对所述文件执行处理。
而且，也可使与用于处理文件的软件(应用程序)关联的功能图像跟与文件关联的文件图像一同，作为与对话对方关联的图像而显示于显示区域48a内。所述示例中，与文档应用程序关联的功能图像也可跟与文档文件A关联的文件图像278一同显示于显示区域48a内。
也可将变形例10适用于第8实施方式。例如，当对每个文件分配有自动应答AI的程序，且各自动应答AI的程序被安装于终端装置10时，控制部26也可将对话对方的显示由通用的自动应答AI的显示切换为文件的显示，并且将作为用户的对话对方的自动应答AI由通用的自动应答AI切换为被分配给所述文件的自动应答AI。
也可将变形例12适用于第8实施方式。例如，当用户将多个文件的利用指示(利用请求)发送至自动应答AI时(例如，当将多个文件的信息作为联动对象的信息而发送至自动应答AI时)，应答中的对话对方的显示由通用的自动应答AI的显示切换为多个文件的显示。以下，参照图45来说明将变形例12适用于第8实施方式时的处理。
图45中表示了画面48。在画面48上，与图8同样地，显示有与自动应答AI关联的图像50、与用户关联的图像52、及表示用户与自动应答AI之间的对话的信息。
与图44所示的示例同样地，将“怎么啦？”这一发言内容286作为自动应答AI的发言内容而显示于显示区域48a内。
当用户针对所述发言内容286而将多个文件指定为联动对象文件时，确定部28(通过自动应答AI而实现的确定部28)将所述多个文件识别为联动对象文件。例如设为：用户发表“想要编辑文档文件A与图像文件C。”这一发言内容288作为表示多个文件的利用指示(利用请求)的发言内容。控制部26使包含文档文件A与文档文件C的信息的发言内容288作为用户的发言内容而显示于显示区域48b，并将所述发言内容288作为联动对象的信息而发送至自动应答AI。由此，将文档文件A与图像文件C的信息作为联动对象文件的信息而发送至自动应答AI。用户也可通过操作UI部20来将表示多个文件的字符串(例如文件名)作为用户的发言内容而输入至终端装置10，还可与所述第4实施方式同样，将与文件关联的文件图像(例如图标)指定为用户的发言内容。当指定文件图像时，如图34所示，用户也可从备选区域170中选择多个文件图像，并使所述多个文件图像移动到用户发言内容的显示位置，由此来将所述多个文件图像指定为用户的发言内容。
确定部28例如通过参照图33所示的联动功能管理表，从而确定可利用用户所指定的多个文件来执行的联动功能。所述示例中，由于指定了文档文件A与图像文件C，因此例如将“将图像插入文档中的功能”或“将文档重叠于图像的功能”等确定为联动功能。
当用户指定多个文件且所述多个文件被识别时，控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的多个文件的显示。
所述示例中，由于执行文档文件A与图像文件C作为联动对象文件，因此控制部26将与文档文件A关联的文件图像278和与图像文件C关联的文件图像290取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。当然，控制部26也可使表示文档文件A和图像文件C的字符串(例如文件名)取代文件图像278、290或者与文件图像278、290一同，作为表示对话对方的信息而显示于显示区域48a内。
而且，控制部26将“想要利用哪个功能？”这一发言内容292作为文档文件A与图像文件C的发言内容而显示于显示区域48a内。所述发言内容292自身是由通用的自动应答AI所制作的发言内容。控制部26将所述发言内容292作为与文档文件A的文件图像278和图像文件C的文件图像290关联的发言内容而显示于显示区域48a内，以使得如同是文档文件A与图像文件C发表了所述发言内容292一般。控制部26也可使由确定部28所确定的联动功能的一览作为文档文件A与图像文件C的发言内容而显示于显示区域48a内。
针对所述发言内容292，用户将想要执行的联动功能作为用户的发言内容而输入至终端装置10。图45所示的示例中，将“想要将图像插入文档中。”这一表示联动功能的发言内容294作为用户的发言内容而输入至终端装置10。
控制部26通过分析用户的发言内容294，来确定用户所请求的联动功能，并控制所述联动功能的执行。所述示例中，控制部26启动文档应用程序与图像应用程序，来将图像文件C插入文档文件A中。
当联动功能的执行完成时，控制部26将表示联动功能的执行已完成的意旨的发言内容296作为文档文件A与图像文件C的发言内容而显示于显示区域48a内。此时，控制部26也使与文档文件A关联的文件图像278和与图像文件C关联的文件图像290显示于显示区域48a内，并使所述发言内容296作为与文档文件A的文件图像278和图像文件C的文件图像290关联的发言内容而显示于显示区域48a内。另外，发言内容296自身是由通用的自动应答AI所制作的发言内容。
当联动功能的执行已完成时，控制部26将与通用的自动应答AI关联的图像50取代与文档文件A关联的文件图像278和与图像文件C关联的文件图像290，作为与对话对方关联的图像而显示于显示区域48a内。而且，控制部26将“怎么啦？”这一表示一般性问询的发言内容298作为自动应答AI的发言内容而显示于显示区域48a内。
另外，控制部26也可通过启动文档应用程序与图像应用程序，来使文档编辑画面与图像编辑画面显示于UI部20的显示部。通过执行所述联动功能，从而在文档编辑画面上显示插入有图像文件C的状态的文档文件A。用户也可在所述文档编辑画面上编辑文档文件A或图像文件C。控制部26在所述编辑结束的时间点或所述编辑开始的时间点，将与通用的自动应答AI关联的图像50取代文件图像278、290，作为与对话对方关联的图像而显示于显示区域48a内。
而且，也可使与用于处理文件的软件(应用程序)关联的功能图像跟与文件关联的文件图像一同，作为与对话对方关联的图像而显示于显示区域48a内。所述示例中，也可将与文档应用程序关联的功能图像和与图像应用程序关联的功能图像跟文件图像278、290一同显示于显示区域48a内。
如上所述，通过将变形例12适用于第8实施方式，从而当在与自动应答AI进行对话的画面48上，将作为联动对象的多个文件的利用指示(利用请求)发送至自动应答AI时(例如将作为联动对象的多个文件的信息发送至自动应答AI时)，对话对方的显示切换为所述多个文件的显示。借此，用户能够在视觉上确认是否能对所述多个文件执行处理。
另外，当将多个文件显示为对话对方时，用户的对话对方既可为通用的自动应答AI，也可由所述通用的自动应答AI切换为每个文件的自动应答AI。
图45所示的示例中，是将两个文件的信息发送至自动应答AI，但也可将三个以上的文件的信息(例如三个以上的文件图像或表示三个以上的文件的字符串)发送至自动应答AI。此时，将三个以上的文件图像取代与自动应答AI关联的图像50，作为与对话对方关联的图像而显示于显示区域48a内。
而且，也可将变形例13适用于第8实施方式。即，第8实施方式中，也可依照图39A至图39E及图40A至图40E所示的显示例来显示各机器图像。
另外，联动对象的组合不限定于所述第5实施方式至第8实施方式中的组合。例如，当将机器、功能(包含由机器所执行的功能和由软件所执行的功能)、文件及软件中的至少两个的组合来作为联动对象的信息而发送至自动应答AI时，通用的自动应答AI的显示也可切换为所述组合的显示。
例如，当将机器与文件的信息(例如机器图像与文件图像)作为用户的发言内容而发送至自动应答AI时，控制部26将与对话对方关联的图像由与通用的自动应答AI关联的图像50切换为机器图像与文件图像。若举具体例进行说明，则当将多功能一体机B与文档文件的信息作为用户的发言内容而发送至自动应答AI时，控制部26将与对话对方关联的图像由与通用的自动应答AI关联的图像50，切换为与多功能一体机B关联的机器图像和与文档文件关联的文件图像。
同样，当将软件与文件的信息(例如与软件关联的功能图像和文件图像)作为用户的发言内容而发送至自动应答AI时，控制部26将与对话对方关联的图像由与通用的自动应答AI关联的图像50切换为功能图像与文件图像。若举具体例进行说明，则当将文档应用程序与文档文件的信息作为用户的发言内容而发送至自动应答AI时，控制部26将与对话对方关联的图像由与通用的自动应答AI关联的图像50，切换为与文档应用程序关联的功能图像和与文档文件关联的文件图像。
而且，当将机器、功能及文件的信息作为用户的发言内容而发送至自动应答AI时，控制部26将与对话对方关联的图像由通用的自动应答AI切换为机器图像、功能图像及文件图像。若举具体例进行说明，则当将多功能一体机B、文档应用程序及文档文件的信息作为用户的发言内容而发送至自动应答AI时，控制部26将与对话对方关联的图像由与通用的自动应答AI关联的图像50，切换为与多功能一体机B关联的机器图像、与文档应用程序关联的功能图像及与文档文件关联的文件图像。
所述具体例中的组合不过是一例，当将所述以外的机器、功能、文件及软件的组合的信息发送至自动应答AI时，通用的自动应答AI的显示也可切换为所述组合的显示。
作为一例，所述终端装置10、机器12、14及服务器16各自是通过硬件与软件的协动来实现。具体而言，终端装置10、机器12、14及服务器16各自具备未图示的CPU等一个或多个处理器。所述一个或多个处理器通过读出未图示的存储装置中存储的程序来执行，从而实现终端装置10、机器12、14及服务器16各自的各部的功能。所述程序是经由光盘(CompactDisc，CD)或数字通用光盘(Digital Versatile Disk，DVD)等记录介质，或者经由网络(network)等通信路径而存储在存储装置中。作为另一例，终端装置10、机器12、14及服务器16各自的各部例如也可通过处理器、电子电路或专用集成电路(Application SpecificIntegrated Circuit，ASIC)等硬件资源而实现。在此实现中，也可利用存储器等元件。作为又一例，终端装置10、机器12、14及服务器16各自的各部也可通过数字信号处理器(DigitalSignal Processor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等而实现。

Claims (20)

1.一种信息处理装置，其特征在于包括：
存储部，存储用于在外部装置中通过通信接口实现对话对方或与对话对方通信的程序，所述外部装置具有显示所述通信接口的显示器；以及
控制部件，当在供用户与所述对话对方通过所述通信接口进行对话的接口中，将多个联动对象的信息发送至所述对话对方时，执行所述存储部内的所述程序以对可利用多个所述联动对象来执行的显示于所述显示器的联动功能的通知进行控制，
所述控制部件在将所述多个联动对象的信息发送至所述对话对方时，对可利用所述多个联动对象来执行的联动功能的通知进行控制。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述控制部件根据发送所述多个联动对象的信息的顺序，来改变联动功能的通知。
3.根据权利要求1所述的信息处理装置，其特征在于，
所述控制部件在将表示所述多个联动对象的图像发送至所述对话对方时，对可利用所述多个联动对象来执行的联动功能的通知进行控制。
4.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，
所述控制部件使所述多个联动对象的候补的信息显示于所述接口，将从所述候补中选择的联动对象的信息发送至所述对话对方。
5.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，
所述多个联动对象为机器，
所述控制部件在将作为所述多个联动对象的信息的所述机器的信息发送至所述对话对方时，对可利用所述机器来执行的联动功能的通知进行控制。
6.根据权利要求5所述的信息处理装置，其特征在于，
所述机器的信息为与所述机器关联的图像。
7.根据权利要求6所述的信息处理装置，其特征在于，
与所述机器关联的图像为所述机器的外观图像。
8.根据权利要求7所述的信息处理装置，其特征在于，
所述外观图像是通过拍摄所述机器而获得的图像。
9.根据权利要求8所述的信息处理装置，其特征在于，
所述控制部件将在所述对话对方发出与机器相关的问询后所拍摄的所述外观图像发送至所述对话对方。
10.根据权利要求5所述的信息处理装置，其特征在于，
所述多个联动对象为所述机器的部分，
所述控制部件在将作为所述多个联动对象的信息的所述机器的所述部分的信息发送至所述对话对方时，对可利用所述部分来执行的联动功能的通知进行控制。
11.根据权利要求5所述的信息处理装置，其特征在于，
作为联动功能的通知，所述控制部件对用于控制所述机器以执行联动功能的接口的通知进行控制。
12.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，
所述多个联动对象为功能，
所述控制部件在将作为所述多个联动对象的信息的所述功能的信息发送至所述对话对方时，对可利用所述功能而执行的联动功能的通知进行控制。
13.根据权利要求12所述的信息处理装置，其特征在于，
所述功能的信息为与所述功能关联的图像。
14.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，
所述多个联动对象为机器和功能，
所述控制部件在将作为所述多个联动对象的信息的所述机器和所述功能的信息发送至所述对话对方时，对可利用所述机器和所述功能来执行的联动功能的通知进行控制。
15.根据权利要求14所述的信息处理装置，其特征在于，
所述多个联动对象为所述机器的部分和所述功能，
所述控制部件在将作为所述多个联动对象的信息的所述机器的所述部分的信息和所述功能的信息发送至所述对话对方时，对可利用所述部分和所述功能来执行的联动功能的通知进行控制。
16.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，
所述多个联动对象为文件，
所述控制部件在将作为所述多个联动对象的信息的所述文件的信息发送至所述对话对方时，对可利用所述文件来执行的联动功能的通知进行控制。
17.根据权利要求16所述的信息处理装置，其特征在于，
所述控制部件根据所述文件的格式来改变联动功能的通知。
18.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，
所述多个联动对象为软件，
所述控制部件在将作为所述多个联动对象的信息的所述软件的信息发送至所述对话对方时，对可利用所述软件来执行的联动功能的通知进行控制。
19.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，
所述多个联动对象为机器、功能、文件及软件中的至少两个的组合，
所述控制部件在将作为所述多个联动对象的信息的所述组合的信息发送至所述对话对方时，对可利用所述组合来执行的联动功能的通知进行控制。
20.一种存储程序的计算机可读介质，所述程序使计算机执行信息处理，其特征在于，所述信息处理包括：
存储用于在外部装置中通过通信接口实现对话对方或与对话对方通信的所述程序，所述外部装置具有显示所述通信接口的显示器；
当在供用户与所述对话对方通过所述通信接口进行对话的接口中，将多个联动对象的信息发送至所述对话对方时，执行所述程序以对可利用所述多个联动对象来执行的显示于所述显示器的联动功能的通知进行控制；以及
在将所述多个联动对象的信息发送至所述对话对方时，对可利用所述多个联动对象来执行的联动功能的通知进行控制。
CN201811009666.8A 2017-09-11 2018-08-31 信息处理装置以及存储程序的计算机可读介质 Active CN109495664B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017174219A JP7081099B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法
JP2017-174219 2017-09-11

Publications (2)

Publication Number Publication Date
CN109495664A CN109495664A (zh) 2019-03-19
CN109495664B true CN109495664B (zh) 2022-01-14

Family

ID=65631059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811009666.8A Active CN109495664B (zh) 2017-09-11 2018-08-31 信息处理装置以及存储程序的计算机可读介质

Country Status (3)

Country Link
US (2) US10437532B2 (zh)
JP (1) JP7081099B2 (zh)
CN (1) CN109495664B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3076023A1 (fr) * 2017-12-26 2019-06-28 Orange Interface d'utilisateur a interaction perfectionnee par presentation de contenu informatif approprie
JP7250905B2 (ja) * 2019-03-29 2023-04-03 クラウドサーカス株式会社 チャットサーバおよびクライアント制御プログラム
JP7268449B2 (ja) * 2019-03-29 2023-05-08 京セラドキュメントソリューションズ株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
JP7405629B2 (ja) * 2020-01-24 2023-12-26 株式会社日立システムズ チャットボット制御装置、チャットボット制御方法、及びチャットボット制御装置システム
JP2023124559A (ja) * 2022-02-25 2023-09-06 キヤノン株式会社 サーバ、その制御方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348029A (zh) * 2010-07-26 2012-02-08 柯尼卡美能达商用科技株式会社 便携终端及装置管理方法
CN103010270A (zh) * 2013-01-11 2013-04-03 广州地铁设计研究院有限公司 一种应用于城市轨道交通系统的联动控制系统及方法
CN103660641A (zh) * 2012-08-29 2014-03-26 株式会社理光 移动终端装置、图像形成方法以及图像形成系统
CN104488254A (zh) * 2012-07-23 2015-04-01 夏普株式会社 复合机、复合机控制系统以及复合机的管理方法
CN104679402A (zh) * 2013-11-26 2015-06-03 Lg电子株式会社 移动终端及其控制方法
CN106372479A (zh) * 2015-07-23 2017-02-01 Lg电子株式会社 移动终端及其控制方法
CN106550166A (zh) * 2015-09-17 2017-03-29 柯尼卡美能达株式会社 远程控制系统、图像处理装置、远程控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848373A (en) * 1994-06-24 1998-12-08 Delorme Publishing Company Computer aided map location system
US9646300B1 (en) * 2002-10-01 2017-05-09 World Award Academy, World Award Foundation, Amobilepay, Inc. Systems and methods for mobile application, wearable application, transactional messaging, calling, digital multimedia capture, payment transactions, and one touch service
US7734068B2 (en) * 2005-10-26 2010-06-08 Sentrilock, Inc. Electronic lock box using a biometric identification device
US7853661B2 (en) 2006-01-03 2010-12-14 Microsoft Corporation Remote access and social networking using presence-based applications
US20150074554A1 (en) * 2013-01-18 2015-03-12 Panasonic Intellectual Property Corporation Of America Content presentation method and program
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
KR20150069917A (ko) * 2013-12-16 2015-06-24 삼성전자주식회사 화상형성 시스템, 모바일 디바이스의 메신저 애플리케이션을 이용하여 화상형성장치를 제어하는 방법 및 이를 수행하는 모바일 디바이스
US10565268B2 (en) * 2013-12-19 2020-02-18 Adobe Inc. Interactive communication augmented with contextual information
JP2016066193A (ja) 2014-09-24 2016-04-28 株式会社リコー 情報処理システム、及び情報処理方法
KR20160076201A (ko) * 2014-12-22 2016-06-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102377277B1 (ko) * 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
JP2017072998A (ja) * 2015-10-07 2017-04-13 株式会社リコー 情報処理システム、サーバ装置及びプログラム
JP6728950B2 (ja) 2015-12-07 2020-07-22 株式会社リコー 情報処理システム、端末装置及びプログラム
JP6179653B1 (ja) 2016-10-19 2017-08-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6024848B1 (ja) 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6900694B2 (ja) 2017-02-08 2021-07-07 株式会社リコー 情報処理システム、端末装置、情報処理方法およびプログラム
US20180240458A1 (en) * 2017-02-20 2018-08-23 Ron Zass Wearable apparatus and method for vocabulary measurement and enrichment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348029A (zh) * 2010-07-26 2012-02-08 柯尼卡美能达商用科技株式会社 便携终端及装置管理方法
CN104488254A (zh) * 2012-07-23 2015-04-01 夏普株式会社 复合机、复合机控制系统以及复合机的管理方法
CN103660641A (zh) * 2012-08-29 2014-03-26 株式会社理光 移动终端装置、图像形成方法以及图像形成系统
CN103010270A (zh) * 2013-01-11 2013-04-03 广州地铁设计研究院有限公司 一种应用于城市轨道交通系统的联动控制系统及方法
CN104679402A (zh) * 2013-11-26 2015-06-03 Lg电子株式会社 移动终端及其控制方法
CN106372479A (zh) * 2015-07-23 2017-02-01 Lg电子株式会社 移动终端及其控制方法
CN106550166A (zh) * 2015-09-17 2017-03-29 柯尼卡美能达株式会社 远程控制系统、图像处理装置、远程控制方法

Also Published As

Publication number Publication date
JP7081099B2 (ja) 2022-06-07
US10712981B2 (en) 2020-07-14
US20190079709A1 (en) 2019-03-14
JP2019049900A (ja) 2019-03-28
US10437532B2 (en) 2019-10-08
US20200019356A1 (en) 2020-01-16
CN109495664A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109495664B (zh) 信息处理装置以及存储程序的计算机可读介质
JP6972806B2 (ja) 情報処理装置、プログラム及び制御方法
JP7130929B2 (ja) 情報処理装置、プログラム及び制御方法
JP4766108B2 (ja) プレゼンテーションシステム、データ管理装置およびプログラム
JP7106827B2 (ja) 情報処理装置、プログラム及び制御方法
CN109495669B (zh) 信息处理装置以及存储程序的计算机可读介质
CN109895092B (zh) 信息处理装置、信息处理方法以及计算机可读介质
CN109413293B (zh) 信息处理装置以及存储程序的计算机可读介质
JP6642630B2 (ja) 情報処理装置及びプログラム
JP7302642B2 (ja) 情報処理装置、プログラム及び制御方法
JP7087363B2 (ja) 情報処理装置及びプログラム
EP4243409A1 (en) System and method for displaying image, image-capturing device, and carrier means

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant