CN109492136A - 信息处理装置以及计算器可读取记录媒体 - Google Patents

信息处理装置以及计算器可读取记录媒体 Download PDF

Info

Publication number
CN109492136A
CN109492136A CN201811025197.9A CN201811025197A CN109492136A CN 109492136 A CN109492136 A CN 109492136A CN 201811025197 A CN201811025197 A CN 201811025197A CN 109492136 A CN109492136 A CN 109492136A
Authority
CN
China
Prior art keywords
machine
user
function
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811025197.9A
Other languages
English (en)
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN109492136A publication Critical patent/CN109492136A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1204Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1224Client or server resources management
    • G06F3/1226Discovery of devices having required properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1232Transmitting printer device capabilities, e.g. upon request or periodically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1259Print job monitoring, e.g. job status
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • G06F3/1288Remote printer device, e.g. being remote from client or server in client-server-printer device configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/222Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal

Abstract

本发明涉及一种信息处理装置与计算器可读取记录媒体,让用户能够确认应答中的对话对方。在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的对话对方的显示。在另一方式,所述控制部件根据用户与对方的位置关系,将应答中的所述对话对方的显示变更为所述对方的显示。

Description

信息处理装置以及计算器可读取记录媒体
技术领域
本发明涉及一种信息处理装置以及计算器可读取记录媒体。
背景技术
专利文献1揭示了一种技术,与一个以上的机器人程序(bot)之间建立通信,通过所述一个以上的机器人程序来与设备(device)进行相互作用。
现有技术文献
专利文献
专利文献1:日本专利特表2009-522687号公报
发明内容
[发明所要解决的问题]
本发明的目的在于让用户(user)能够确认应答中的对话对方。
[解决问题的技术手段]
技术方案1所述的发明是一种信息处理装置,其包括:控制部件,在供用户与对话对方进行对话的接口(interface)中,根据用户的位置,来变更应答中的所述对话对方的显示。
技术方案2所述的发明是根据技术方案1所述的信息处理装置,其中,所述控制部件根据用户与对方的位置关系,将应答中的所述对话对方的显示变更为所述对方的显示。
技术方案3所述的发明是根据技术方案2所述的信息处理装置,其中,所述控制部件根据用户与作为所述对方的至少一个机器的位置关系,将应答中的所述对话对方的显示变更为所述机器的显示。
技术方案4所述的发明是根据技术方案3所述的信息处理装置,其中,所述控制部件在包含所述至少一个机器的预定区域内存在用户的情况下,将应答中的所述对话对方的显示变更为所述机器的显示。
技术方案5所述的发明是根据技术方案3所述的信息处理装置,其中,所述至少一个机器具有多个机器,所述控制部件根据用户与所述多个机器的位置关系,将应答中的所述对话对方的显示变更为所述多个机器中的任一机器的显示。
技术方案6所述的发明是根据技术方案5所述的信息处理装置,其中,所述控制部件将应答中的所述对话对方的显示,变更为所述多个机器中最靠近用户的机器的显示。
技术方案7所述的发明是根据技术方案3所述的信息处理装置,其中,所述至少一个机器具有多个机器,所述控制部件根据用户与所述多个机器的位置关系,将所述多个机器的信息作为所述对话对方的候补而通知给用户。
技术方案8所述的发明是根据技术方案7所述的信息处理装置,其中,所述控制部件将应答中的所述对话对方的显示,变更为由用户从所述多个机器中选择的机器的显示。
技术方案9所述的发明是根据技术方案3至技术方案8中任一技术方案所述的信息处理装置,其中,所述控制部件根据用户与所述至少一个机器之间的位置关系,进一步控制向应答中所述对话对方的与机器相关的指示的输出。
技术方案10所述的发明是根据技术方案1所述的信息处理装置,其中,所述控制部件将应答中的对话对方的显示,变更为在用户的位置能够使用的功能的显示。
技术方案11所述的发明是根据技术方案1所述的信息处理装置,其中,所述控制部件将应答中的对话对方的显示,变更为在用户的位置能够使用的文件(file)的显示。
技术方案12所述的发明是根据技术方案1至技术方案11中任一技术方案所述的信息处理装置,其中,所述控制部件根据用户的位置,来进一步变更应答中的所述对话对方的发言内容。
技术方案13所述的发明是一种信息处理装置,其包括:控制部件,在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的所述对话对方的发言内容。
技术方案14所述的发明是根据技术方案13所述的信息处理装置,其中,所述控制部件根据用户与对方的位置关系,将应答中的所述对话对方的发言内容变更为所述对方的发言内容。
技术方案15所述的发明是根据技术方案14所述的信息处理装置,其中,所述控制部件在包含所述对方的预定区域内存在用户的情况下,将应答中的所述对话对方的发言内容变更为所述对方的发言内容。
技术方案16所述的发明是根据技术方案14或技术方案15所述的信息处理装置,其中,所述对方关联于用户的位置。
技术方案17所述的发明是根据技术方案13至技术方案16中任一技术方案所述的信息处理装置,其中,所述控制部件使用与用户的位置相应的语言,来进一步表达应答中的所述对话对方的发言内容。
技术方案18所述的发明是一种计算器可读取记录媒体,其存储程序,程序使计算机(computer)作为控制部件发挥功能,所述控制部件在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的所述对话对方的显示。
技术方案19所述的发明是一种算器可读取记录媒体,其存储程序,程序使计算机作为控制部件发挥功能,所述控制部件在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的所述对话对方的发言内容。
[发明的效果]
根据技术方案1、技术方案2、技术方案18所述的发明,用户能够确认应答中的对话对方。
根据技术方案3、技术方案4、技术方案5所述的发明,用户能够确认应答中的机器。
根据技术方案6所述的发明,用户能够确认最靠近用户的机器。
根据技术方案7所述的发明,将作为对话对方候补的多个机器的信息提供给用户。
根据技术方案8所述的发明,将由用户所选择的机器显示为应答中的对话对方。
根据技术方案9所述的发明,能够控制对机器的指示。
根据技术方案10所述的发明,用户能够确认在用户的位置可使用的功能。
根据技术方案11所述的发明,用户能够确认在用户的位置可使用的文件。
根据技术方案12、技术方案13、技术方案14、技术方案15、技术方案16、技术方案19所述的发明,将与用户的位置相应的发言内容提供给用户。
根据技术方案17所述的发明,通过与用户的位置相应的语言来表达发言内容。
附图说明
图1是表示本发明的第1实施方式的机器系统的结构的框图。
图2是表示终端装置的结构的框图。
图3是表示图像形成装置的结构的框图。
图4是表示服务器的结构的框图。
图5是表示机器功能管理表的图。
图6是表示联动功能管理表的图。
图7是表示机器与用户之间的位置关系的图。
图8是表示画面的图。
图9是表示机器与用户之间的位置关系的图。
图10是表示画面的图。
图11是表示画面的图。
图12是表示画面的图。
图13A至图13E是表示与对话对方关联的图像的图。
图14是表示机器系统的动作的序列图。
图15是表示画面的图。
图16是表示画面的图。
图17是表示联动功能管理表的图。
图18是表示画面的图。
图19是表示画面的图。
图20是表示联动功能管理表的图。
图21是表示画面的图。
图22是表示画面的图。
图23是表示画面的图。
图24是表示联动功能管理表的图。
图25是表示画面的图。
图26是表示画面的图。
图27是表示画面的图。
图28是表示画面的图。
图29是表示图像形成装置的外观的示意图。
图30是表示画面的图。
[符号的说明]
10:终端装置
12:机器(图像形成装置)
14:机器
16:服务器
18、32、42:通信部
20、38:UI部
22:摄像机
24、36、44:存储部
26、40、46:控制部
28:位置信息获取部
30:确定部
34:图像形成部
48、76:机器
50、78:区域
52、54、80、82、84:用户
56:画面
56a、56b:显示区域
58、60、102、156、216:图像
66:图像(机器图像)
62、64、68、70、72、74、86、98、100、106、108、110、112、114、116、118、120、122、124、126、128、130、132、136、138、140、142、144、154、160、162、164、166、168、170、172、174、176、178、180、182、184、186、188、192、194、198、200、202、204、212、214、220、222、224、226、228、230、232、234、236、238、240、244、248、250、252、254、256、260、262、266、268、270:发言内容
88、146、206:备选区域
90、92、104、264:机器图像
94、96:箭头
134、148、150、158:功能图像
196、208、210、218:文件图像
242:人物图像
246:建筑物图像
258:标记
A:PC
B:多功能一体机
N:通信路径
S01~S10:步骤
具体实施方式
<第1实施方式>
参照图1来说明本发明的第1实施方式的作为信息处理系统的机器系统。图1中表示了第1实施方式的机器系统的一例。
作为一例,第1实施方式的机器系统包含终端装置10、机器(例如机器12、14)、以及作为外部装置的一例的服务器(server)16。图1所示的示例中,终端装置10、机器12、机器14及服务器16具备经由网络(network)等通信路径N而彼此通信的功能。当然,终端装置10、机器12、机器14及服务器16也可不利用通信路径N,而分别经由不同的通信路径来与其他装置进行通信。图1所示的示例中,在机器系统中包含两个机器(机器12、14),但也可在机器系统中包含一个或三个以上的机器。而且,在机器系统中也可包含多个终端装置10或多个服务器16。另外,服务器16也可不包含在机器系统中。
终端装置10为个人计算机(Personal Computer,PC)、平板(tablet)PC、智能电话(smartphone)、移动电话等装置,具有与其他装置之间收发数据的功能。终端装置10也可为可穿戴式(wearable)终端(手表型终端、腕带(wristband)型终端、眼镜型终端、戒指型终端、隐形眼镜(contact lens)型终端、体内植入型终端、可听式(hearable)终端等)。终端装置10例如在机器的利用时作为用户接口部(UI(User Interface)部)发挥功能。
机器12、14为具有功能的装置,例如为具备图像形成功能的图像形成装置、PC、平板PC、智能电话、移动电话、机器人(robot)(人型机器人、人以外的动物型机器人、除这些以外的机器人等)、投影机(projector)、液晶显示器(display)等显示装置、记录装置、再生装置、摄像机(camera)等摄像装置、冰箱、电饭煲、微波炉、咖啡机(coffee maker)、吸尘器、洗衣机、空调机、照明机器、时钟、监控摄像机、汽车、二轮车、飞机(例如无人飞机(所谓的遥控无人驾驶飞机(drone)))、游戏机、各种传感(sensing)机器(例如温度传感器(sensor)、湿度传感器、电压传感器、电流传感器等)等装置。机器12、14既可为对用户输出一输出(output)的机器(例如图像形成装置或PC等),也可为不对用户输出一输出的机器(例如传感机器)。而且,既可以是执行后述的联动功能的多个机器中的所有机器为对用户输出一输出的机器,也可以是一部分机器为对用户输出一输出的机器,而其他机器为不对用户输出一输出的机器,还可以是所有机器为不对用户输出一输出的机器。机器12、14的概念范畴也可包含全盘机器。例如,信息机器、影像机器、音响机器、其他机器均可包含在本实施方式的机器的范畴内。而且,机器12、14具有与其他装置之间收发数据的功能。
服务器16是进行数据的管理、用户信息的管理、机器12、14的管理等的装置。而且,服务器16具有与其他装置之间收发数据的功能。
在终端装置10中,使用具有与用户进行对话的功能的对话对方。所述对话对方例如具有下述功能,即,接受用户的发言,对所述发言内容进行分析,由此来制作针对此发言的回答等回应并提供给用户。例如,用户的发言是通过文字输入、语音输入、图像输入等来进行,回答等回应是通过文字输出、语音输出、图像输出等来进行。对话对方例如是通过执行程序而实现,此程序例如被安装在终端装置10中。当然,也可为:与对话对方相关的程序被安装于服务器16等外部装置,对话对方的功能是从服务器16等外部装置提供给终端装置10。
所述对话对方例如包含通过人工智能(Artificial Intelligence,AI)而实现的自动应答AI。自动应答AI具有下述功能,即,对用户的发言内容进行分析,并将针对所述发言内容的回答等回应提供给用户。自动应答AI也可为所谓的聊天机器人(chatbot)(活用人工智能的自动会话程序)。自动应答AI也可具有下述能力,即,具有基于人工智能的学习功能,通过所述学习功能来进行接近人的判断。而且,也可利用神经网络型深度学习(deeplearning),还可利用局部强化学习领域的强化学习等,除此以外,还可利用遗传算法(algorithm)、聚类(cluster)分析、自组织映射(self-organizing map)、集成(ensemble)学习等。当然,也可利用除这些以外的与人工智能相关的技术。
通过利用自动应答AI,一边由用户与自动应答AI进行对话,一边进行各机器所具有的功能的通知、或可利用多个功能来执行的联动功能的通知等。另外,各机器所具有的功能或联动功能的确定处理既可由终端装置10来进行,也可由服务器16等外部装置来进行。以下设为由终端装置10来进行所述确定处理。
以下,参照图2来详细说明终端装置10的结构。
通信部18为通信接口,具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部18既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。通信部18例如也可支持一种或多种通信方式,依照适合于通信对方的通信方式(即,通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、Wi-Fi(注册商标)通信、接近式无线通信(例如近场通信(Near FieldCommunication,NFC)等)等。作为接近式无线通信,使用Felica(注册商标)、蓝牙(Bluetooth)(注册商标)、射频识别(Radio Frequency Identifier,RFID)等。当然,也可使用其他方式的无线通信作为接近式无线通信。通信部18例如既可根据通信对方来切换通信方式或频带,也可根据周围环境来切换通信方式或频带。
UI(User Interface)部20为用户接口部,包含显示部与操作部。显示部例如为液晶显示器等显示装置。操作部例如为触控面板(touch panel)或键盘(keyboard)等输入装置。当然,也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。而且,UI部20也可包含麦克风(microphone)等拾音部或扬声器(speaker)等声音产生部。此时,既可通过语音输入来将信息输入至终端装置10,也可通过语音来发出信息。
在UI部20的显示部上,例如也可显示由摄像机所拍摄的图像、或者与被识别为利用对象机器(例如单独利用的机器或联动对象机器)的机器关联的机器图像、与功能关联的功能图像等。与机器关联的机器图像既可为由摄像机所拍摄的、表示所述机器的图像(静态图像或动态图像),也可为示意性地表示所述机器的图像(例如图标(icon))。示意性地表示的图像的数据例如既可由终端装置10的控制部26来制作,也可预先存储在终端装置10的存储部24中,还可存储在服务器16中并从服务器16提供给终端装置10,还可存储在其他装置中并从所述其他装置提供给终端装置10。与功能关联的功能图像例如是表示此功能的图标等图像。
作为拍摄部件的摄像机22通过对拍摄对象进行拍摄而生成图像数据(例如静态图像数据或动态图像数据)。图像例如被显示于UI部20的显示部。显示于显示部的图像也可由用户进行操作。另外,也可将由外部的摄像机所拍摄的图像数据经由通信路径发送至终端装置10,并将此图像显示于UI部20的显示部。此时,此图像也可由用户进行操作。
存储部24是硬盘(hard disk)或存储器(memory)(例如固态硬盘(Solid StateDrive,SSD)等)等存储装置。在存储部24中,例如存储有机器功能管理信息、联动功能管理信息、各种数据、各种程序(例如操作系统(Operating System,OS)、用于实现自动应答AI的程序(软件(software))、各种应用程序(application program)(应用软件)等)、表示各机器的地址(address)的信息(机器地址信息)、表示服务器16的地址的信息(服务器地址信息)、与所识别的机器相关的信息、与所识别的联动对象机器相关的信息、与所识别的机器所具有的功能相关的信息、与联动功能相关的信息等。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。另外,用于实现自动应答AI的程序也可存储在服务器16等外部装置中,通过由外部装置来执行所述程序自身,从而将自动应答AI的功能从外部装置提供给终端装置10。此时,用于实现自动应答AI的程序也可不存储在存储部24中。
以下,对机器功能管理信息与联动功能管理信息进行说明。
机器功能管理信息是用于对各机器所具有的功能进行管理的信息,例如是表示用于识别机器的设备识别信息(机器识别信息)与功能信息的对应的信息,所述功能信息表示所述机器所具有的功能。设备识别信息例如是机器ID、机器名称、表示机器种类的信息、机器的型号、用于管理机器的信息(例如资产管理编号等)、表示设置机器的位置的信息(机器的位置信息)、与机器关联的机器图像、机器的地址信息等。机器图像例如是表示机器的外观图像。外观图像既可为表示机器外侧(例如机器的框体)的图像,也可为表示打开框体而从外部看到内部的状态(例如内部结构)的图像,还可为表示由包装用片材(sheet)等覆盖着机器的状态的图像。机器图像既可为通过拍摄机器而生成的图像(表示机器外侧的图像或表示内部的图像等),也可为模仿机器的图像(例如图标等)。功能信息例如为功能ID或功能名称等。例如,当机器12为图像形成装置且所述图像形成装置具有打印(print)功能、扫描(scan)功能及复印(copy)功能时,作为一例,所述图像形成装置的设备识别信息对应有表示打印功能的功能信息、表示扫描功能的功能信息、及表示复印功能的功能信息。通过参照机器功能管理信息,来确定(识别)各机器所具有的功能。
通过机器功能管理信息而受到管理的机器例如为包含在机器系统中的机器(例如机器12、14)。当然,未包含在机器系统中的机器也可通过机器功能管理信息而受到管理。例如,终端装置10也可获取与未包含在机器系统中的新的机器相关的信息(包含设备识别信息与功能信息的信息),并新登记到机器功能管理信息中。与机器相关的信息例如既可通过利用国际互联网(Internet)等来获取,也可由管理者等予以输入。而且,终端装置10也可在任意时机(timing)、定期地或者在由管理者等所指定的时机等,更新机器功能管理信息。由此,有时会将表示在更新前机器不具有而在更新后机器所具有的功能的功能信息登记到机器功能管理信息中。同样,有时将表示在更新前机器具有而在更新后机器不具有的功能的功能信息从机器功能管理信息中予以删除,或者登记为不可用信息。更新用的信息例如既可通过利用国际互联网等而获取,也可由管理者等予以输入。当然,终端装置10自身也可不获取与机器相关的信息来执行机器功能管理信息的生成或更新,而是由服务器16等外部装置获取与机器相关的信息来执行机器功能管理信息的生成或更新。此时,由外部装置所生成或更新的机器功能管理信息是从外部装置发送至终端装置10并存储在存储部24中。
联动功能管理信息是用于对通过使多个功能联动而执行的联动功能进行管理的信息。通过使多个功能联动,来执行一个或多个联动功能。联动功能例如既可为通过使一个机器(例如机器12)所具有的多个功能联动而可执行的功能,也可为通过使多个机器(例如机器12、14)所具有的多个功能联动而可执行的功能。而且,发出操作指示的终端装置10也可被用作联动对象机器,终端装置10所具有的功能也可被用作联动功能的一部分。
联动功能也可为不利用作为硬件(hardware)的机器而执行的功能。例如,联动功能也可为通过使多个软件联动而执行的功能。当然,联动功能也可为通过使作为硬件的机器所具有的功能、与通过软件来实现的功能联动而执行的功能。
联动功能管理信息例如是表示:表示被利用于联动功能的各功能的功能信息的组合、与表示所述联动功能的联动功能信息的对应的信息。联动功能信息例如是联动功能ID或联动功能名称等。当单独的功能受到更新时,伴随此更新,联动功能管理信息也得到更新。由此,存在下述情况:在更新前不能彼此联动的多个功能的联动功能在更新后变得可用,或者与此相反地,在更新前可用的联动功能在更新后变得不可用。表示在更新后变得可用的联动功能的联动功能信息登记在联动功能管理信息中,而表示在更新后变得不可用的联动功能的联动功能信息将从联动功能管理信息中删除,或者登记为不可用的信息。联动功能管理信息的更新既可由终端装置10来进行,也可由服务器16等外部装置来进行。当由外部装置执行了联动功能管理信息的更新时,经更新的联动功能管理信息从外部装置发送至终端装置10而存储到存储部24中。
当使多个机器联动时,例如,联动功能管理信息是用于对利用多个机器所具有的多个功能的联动功能进行管理的信息,是表示设备识别信息的组合与联动功能信息的对应的信息,所述设备识别信息用于识别用于联动功能的各机器。而且,在使具有多个输出功能的机器(为对用户输出一输出的机器且为具有多个输出功能的机器)与不具有输出功能的传感机器(不对用户输出一输出的机器)联动的情况下,在联动功能管理信息中,也可包含下述信息,所述信息是表示特定的传感机器、与所述多个输出功能中的特定输出功能的组合。借此,可从多个输出功能中,确定与特定的传感机器组合使用的输出功能。如上所述,当机器功能管理信息受到更新时,伴随此更新,联动功能管理信息也得到更新。由此,存在下述情况:在更新前不能彼此联动的多个机器的联动功能在更新后变得可用,或者与此相反地,在更新前可用的联动功能在更新后变得不可用。
联动功能既可为通过使互不相同的多个功能联动而可执行的功能,也可为通过使同一功能联动而可执行的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功能既可为通过利用联动对象机器所具有的功能中的相同功能而可利用的功能,也可为通过使互不相同的功能组合而可利用的功能。例如,通过使具有打印功能的机器(打印机(printer))与具有扫描功能的机器(扫描仪(scanner))联动,而实现作为联动功能的复印功能。即,通过使打印功能与扫描功能联动而实现复印功能。此时,作为联动功能的复印功能、与打印功能及扫描功能的组合相对应。在联动功能管理信息中,例如表示作为联动功能的复印功能的联动功能信息、与用于对具有打印功能的机器进行识别的设备识别信息及用于对具有扫描功能的机器进行识别的设备识别信息的组合相对应。
在联动功能的概念范畴内,也可包含通过使多个功能或多个机器联动而新功能的执行成为可能的合体功能。例如,也可通过将多个显示器予以组合,实现作为合体功能的扩展显示功能。作为另一例,也可通过将电视机(television)与录像机(recorder)加以组合,实现作为合体功能的录像功能。所述录像功能也可为对显示于电视机的图像进行录像的功能。而且,也可通过将多个摄像机予以组合,实现作为合体功能的拍摄区域扩展功能。所述扩展功能例如是将各摄像机的拍摄区域拼接而拍摄的功能。而且,也可通过将电话与翻译机或翻译软件予以组合,实现作为合体功能的翻译通话功能(对经由电话的会话进行翻译的功能)。如此,在联动功能的概念范畴内,包含通过使彼此同一种类的机器或功能联动而可实现的功能、或者通过使彼此不同种类的机器或功能联动而可实现的功能。
控制部26控制终端装置10的各部的动作。控制部26例如进行通信部18的通信控制、UI部20的显示部上的信息显示的控制等。而且,控制部26包含位置信息获取部28与确定部30。
位置信息获取部28具有下述功能,即:通过利用例如全球定位系统(GlobalPositioning System,GPS),从而获取表示终端装置10或各机器(例如机器12、14)的位置的信息(位置信息)。机器的位置信息中包含用于识别所述机器的设备识别信息。
确定部30具有下述功能,即,确定机器所具有的功能、或可利用多个机器来执行的联动功能。确定部30例如通过自动应答AI来实现。当然,确定部30也可不通过自动应答AI来实现,而是通过其他程序等来实现。
例如,确定部30接受用于对由用户所指定的机器进行识别的设备识别信息,在存储于存储部24中的机器功能管理信息中,确定表示与此设备识别信息对应的功能的功能信息。由此,确定(识别)机器所具有的功能。
而且,确定部30也可接受由位置信息获取部28所获取的位置信息中所含的设备识别信息,在机器功能管理信息中确定表示与所述设备识别信息对应的功能的功能信息。例如,确定部30基于终端装置10的位置信息与机器的位置信息,来确定终端装置10(用户)与所述机器之间的位置关系。若此位置关系符合预定的特定位置关系,则确定部30也可基于所述机器的位置信息中所含的设备识别信息与机器功能管理信息,来确定所述机器所具有的功能。例如,若在包含机器的预定区域内存在终端装置10,则确定部30确定所述机器所具有的功能。
控制部26进行与由确定部30所确定的功能相关的信息(例如功能信息或功能的说明信息等)的通知(介绍)的控制。作为此通知,控制部26既可使与此功能相关的信息显示于UI部20的显示部,也可通过使用扬声器等来将与此功能相关的信息作为语音信息而发出。而且,控制部26也可控制所述功能的执行。而且,用户对机器的指定既可在UI部20的显示部的画面上进行,也可通过语音来进行。例如,当在UI部20的画面上显示有与机器关联的图像时,用户也可通过在此画面上指定图像来指定机器。作为另一例,无论在UI部20的画面上是否显示有与机器关联的图像,用户均可通过语音来指定机器。例如,当用户通过语音来说出机器名时,其声音被麦克风等拾音部拾取,表示机器名的语音信息被输入至终端装置10。确定部30判断为由用户指定了具有此机器名的机器而确定功能。如此,用于指定机器的操作与功能的通知既可通过画面上的显示来进行,也可通过语音来进行。也可将画面上的显示与语音加以组合。例如,也可通过用户在画面上指定与机器关联的图像来指定机器,并将表示功能的信息显示于画面。作为另一例,也可通过用户在画面上指定与机器关联的图像来指定机器,并将表示功能的信息通过语音而发出。作为又一例,也可通过将机器名作为语音信息输入至终端装置10来指定机器,并将表示功能的信息显示于画面。作为再一例,也可通过将机器名作为语音信息输入至终端装置10来指定机器,并将表示功能的信息通过语音而发出。
另外,功能的确定处理也可由服务器16来进行。此时,从终端装置10向服务器16发送设备识别信息,由服务器16中所设的确定部30来确定表示与所述设备识别信息对应的功能的功能信息。另外,当由服务器16进行确定处理时,在服务器16中存储有机器功能管理信息。与功能相关的信息既可从服务器16发送至终端装置10而显示于UI部20的显示部,也可作为语音信息而发出。
而且,确定部30接受用于对作为联动对象的各机器进行识别的设备识别信息,并在存储于存储部24中的联动功能管理信息中,确定表示与各设备识别信息的组合对应的联动功能的联动功能信息。由此,确定(识别)通过使作为联动对象的各机器所具有的功能联动而可执行的联动功能。控制部26进行与所确定的联动功能相关的信息(例如联动功能信息或联动功能的说明信息等)的通知(介绍)的控制。控制部26既可使与联动功能相关的信息显示于UI部20的显示部,也可使所述信息作为语音信息而发出。另外,与所述同样,作为联动对象的各机器的指定既可在画面上进行,也可通过语音来进行。
确定部30也可接受各机器的位置信息中所含的设备识别信息,并基于各设备识别信息与联动功能管理信息来确定联动功能。
另外,联动功能的确定处理也可由服务器16来进行。此时,从终端装置10向服务器16发送多个设备识别信息,由服务器16中所设的确定部30来确定表示与所述多个设备识别信息对应的联动功能的联动功能信息。另外,当由服务器16进行确定处理时,在服务器16中存储有联动功能管理信息。与联动功能相关的信息既可从服务器16发送至终端装置10而显示于UI部20的显示部,也可作为语音信息而发出。
例如,当指定有一个机器时,确定此机器所具有的功能,当指定有多个机器时,确定可利用所述多个机器来执行的联动功能。
而且,确定部30也可接受表示用于联动功能的各功能的功能信息,并在联动功能管理信息中,确定表示与各功能信息的组合对应的联动功能的联动功能信息。由此,确定(识别)通过使作为联动对象的各功能联动而可执行的联动功能。所述确定处理也可由服务器16来进行,其处理结果既可显示于UI部20的显示部,也可作为语音信息而发出。
例如,用户将机器的信息发送至自动应答AI,由此来指定机器。当用户将多个机器的信息发送至自动应答AI时,确定部30将所述多个机器识别为联动对象机器,确定可利用所述多个机器来执行的联动功能。而且,当用户将一个机器的信息发送至自动应答AI时,确定部30识别此机器,确定此机器所具有的功能。机器的信息是用于识别机器的设备识别信息,例如是与机器关联的机器图像、或表示设备识别信息的文字信息或语音信息等。例如,在用户将与机器关联的机器图像发送至自动应答AI的情况下、用户通过终端装置10来输入表示机器的设备识别信息的字符串而给予至自动应答AI的情况下、或者用户通过语音来将机器的设备识别信息给予至自动应答AI的情况下,确定部30(通过自动应答AI而实现的确定部30)识别此机器。
另外,也可针对每个用户来管理用户可利用的功能(机器所具有的单独功能或联动功能)。此管理既可由终端装置10来进行,也可由服务器16等外部装置来进行。用户可利用的功能例如是无偿提供给用户的功能、有偿提供给用户而由用户购买的功能等。也可针对每个用户而制作表示用户可利用的功能的可利用功能信息(例如功能购买历史信息)来进行管理。当由终端装置10进行可利用功能的管理时,可利用功能信息存储在存储部24中,当由服务器16等外部装置来进行此管理时,可利用功能信息存储在外部装置中。当然,还有可免费利用的功能、追加升级(update)功能、由管理者特别管理的功能等,因此也可不一概地根据有无购买来判断功能的可利用。功能的购买处理例如由服务器16等外部装置来进行。
可利用功能管理信息是用于对各用户可利用的功能进行管理的信息,例如是表示用于识别用户的用户识别信息、与表示此用户可利用的功能的功能信息(也可包含联动功能信息)的对应的信息。用户可利用的功能如上所述,例如是无偿提供给用户的功能或用户购买的功能等,既可为单个的功能,也可为联动功能。用户识别信息例如是用户ID或姓名等用户账户(account)信息。通过参照可利用功能管理信息,从而确定(识别)各用户可利用的功能。可利用功能管理信息例如也可每当对用户提供功能时(例如每当无偿或有偿地对用户提供功能时)得到更新。
在管理有用户可利用的功能的情况下,确定部30也可接受用于识别用户的用户识别信息,并在可利用功能管理信息(例如存储在终端装置10或服务器16中的信息)中,确定表示与所述用户识别信息对应的各功能的功能信息。由此来确定(识别)所述用户可利用的功能。控制部26既可使与所确定的功能相关的信息显示于UI部20的显示部,也可使所述信息作为语音信息而发出。例如,确定部30接受设备识别信息与用户识别信息,在机器功能管理信息中,确定表示与所述设备识别信息对应的功能的功能信息,进而,在可利用功能管理信息中,确定表示与所述用户识别信息对应的功能的功能信息。由此,确定由所述设备识别信息所确定的机器所具有的功能、且由所述用户识别信息所确定的用户可利用的功能。
另外,用户可利用的功能也可由服务器16等外部装置来确定。此时,从终端装置10向服务器16发送用户识别信息,由服务器16中所设的确定部30,来确定表示与所述用户识别信息对应的各功能的功能信息。当由服务器16进行确定处理时,可利用功能信息存储在服务器16中。与用户可利用的各功能相关的信息既可从服务器16发送至终端装置10而显示于UI部20的显示部,也可作为语音信息而发出。
以下,参照图3来详细说明机器12的结构。作为一例,设机器12为图像形成装置。以下,有时将机器12称作图像形成装置12。图3中表示了图像形成装置12的结构。
通信部32为通信接口,具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部32既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。通信部32例如也可支持一种或多种通信方式,依照适合于通信对方的通信方式(即,通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、Wi-Fi通信、接近式无线通信等。通信部32例如既可根据通信对方来切换通信方式或频带,也可根据周围环境来切换通信方式或频带。
图像形成部34具有图像形成功能。具体而言,图像形成部34具有扫描功能、打印功能、复印功能及传真(facsimile)功能中的至少一个功能。通过执行扫描功能,读取原稿而生成扫描数据(图像数据)。通过执行打印功能,在纸张等记录介质上打印图像。通过执行复印功能,读取原稿并打印到记录介质上。通过执行传真功能,对图像数据进行传真发送或传真接收。而且,也可执行利用多个功能的联动功能。例如,也可执行将扫描功能与发送功能(转发功能)予以组合的扫描转发功能。通过执行所述扫描转发功能,读取原稿而生成扫描数据(图像数据),并将所述扫描数据发送至发送目标(例如终端装置10等外部装置)。当然,所述联动功能不过是一例,也可执行其他联动功能。
存储部36是硬盘或存储器(例如SSD等)等存储装置。在存储部36中,例如存储表示图像形成命令的信息(例如作业(job)信息等)、成为打印对象的图像数据、通过执行扫描功能而生成的扫描数据、表示其他机器的地址的机器地址信息、表示终端装置10的地址的信息(终端地址信息)、服务器16的服务器地址信息、各种控制数据、各种程序等。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。
UI部38为用户接口部,包含显示部与操作部。显示部例如为液晶显示器等显示装置。操作部例如为触控面板或键盘等输入装置。当然,也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。另外,图像形成装置12也可不具有UI部38,还可不具备显示部而具备作为硬件的硬件用户接口部(硬件UI部)。硬件UI部例如为专用于数字输入的硬件键(例如数字键)、专用于方向指示的硬件键(例如方向指示键)等。
控制部40控制图像形成装置12的各部的动作。
以下,参照图4来详细说明服务器16的结构。图4中表示了服务器16的结构。
通信部42为通信接口,具有对其他装置发送数据的功能、及从其他装置接收数据的功能。通信部42既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。
存储部44为硬盘或存储器(例如SSD等)等存储装置。在存储部44中,例如存储有各种数据、各种程序、终端装置10的终端地址信息、各机器的机器地址信息、服务器16的服务器地址信息等。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。
当由服务器16对各机器所具有的功能与联动功能进行管理时,也可将所述机器功能管理信息与联动功能管理信息存储在存储部44中,且在服务器16中,对机器功能管理信息与联动功能管理信息进行更新。此时,当由终端装置10进行功能的确定处理时,将机器功能管理信息与联动功能管理信息(若信息得到更新,则将更新后的信息)从服务器16发送至终端装置10。所述发送也可定期、或在指定的时机进行。由此,存储在终端装置10中的信息得到更新。当然,终端装置10的确定部30也可参照存储在服务器16中的机器功能管理信息或联动功能管理信息,从而确定机器所具有的功能或联动功能。而且,也可由服务器16来执行功能的确定处理。
控制部46控制服务器16的各部的动作。控制部46例如控制通信部42的通信。
控制部46也可执行功能的购买处理,对所述购买的历史进行管理。例如,当由用户购买了收费功能时,控制部46也可对此用户适用记账处理。
而且,控制部46例如也可执行文字识别功能、翻译功能、图像加工功能、图像形成功能等与图像处理相关的功能。当然,控制部46也可执行与图像处理以外的处理相关的功能。通过执行文字识别功能,识别图像内的文字而生成表示所述文字的文字数据。通过执行翻译功能,将图像内的文字翻译成以特定语言表示的文字,并生成表示所翻译的文字的文字数据。通过执行图像加工功能,对图像进行加工。控制部46例如也可从图像形成装置12接收通过执行扫描功能而生成的扫描数据,并将所述扫描数据作为对象,来执行文字识别功能、翻译功能、图像加工功能等与图像处理相关的功能。控制部46也可从终端装置10接收图像数据,并将所述图像数据作为对象来执行各功能。由控制部46所生成的文字数据或图像数据例如从服务器16发送至终端装置10。服务器16被用作外部装置,联动功能也可为利用包含服务器16的多个机器所具有的功能的功能。
如上所述,机器功能管理信息也可存储在服务器16的存储部44中。此时,机器功能管理信息也可不存储在终端装置10的存储部24中。同样,联动功能管理信息也可存储在服务器16的存储部44中。此时,联动功能管理信息也可不存储在终端装置10的存储部24中。服务器16的控制部46也可具有所述确定部30,基于设备识别信息来识别机器,以确定机器所具有的功能,还可确定可利用多个功能来执行的联动功能。此时,终端装置10也可不具有确定部30。
当制作有可利用功能管理信息时,所述可利用功能管理信息也可存储在服务器16的存储部44中。此时,可利用功能管理信息也可不存储在终端装置10的存储部24中。终端装置10的控制部26也可对用户的功能购买历史进行管理。此时,服务器16的控制部46也可不具有所述管理功能。
作为又一例,也可在机器12、14等机器中存储机器功能管理信息或联动功能管理信息,机器12、14等机器也可具有确定部30。即,确定部30的处理既可在终端装置10中进行,也可在机器12、14等机器中进行,还可在服务器16中进行,进而还可在其他装置中进行。
以下,进一步详细说明第1实施方式的机器系统。
参照图5,详细说明机器功能管理信息。图5中表示了作为机器功能管理信息的机器功能管理表的一例。在机器功能管理表中,作为一例,机器ID、表示机器名(例如机器的种类)的信息、表示机器所具有的功能的信息(功能信息)与图像ID彼此对应。机器ID与机器名相当于设备识别信息的一例。图像ID是用于对与机器关联的机器图像进行识别的图像识别信息的一例。另外,在机器功能管理表中,也可不含图像ID。例如,机器ID为“B”的机器是多功能一体机(具有多个图像形成功能的图像形成装置),具有打印功能或扫描功能等功能。对于所述机器,对应有用于对与此机器关联的机器图像进行识别的图像ID。与机器关联的机器图像的数据例如既可存储在终端装置10中,也可存储在服务器16中,还可存储在其他装置中。
例如,在由位置信息获取部28所获取的位置信息中,包含作为设备识别信息的机器ID或表示机器名的信息。终端装置10的确定部30通过参照机器功能管理表,来确定与所述机器ID对应的机器名、功能及图像ID。由此来识别利用对象机器。也可将表示机器名的信息或机器图像显示于UI部20的显示部。当然,也可将由摄像机22所拍摄的图像其自身显示于UI部20的显示部。而且,当在UI部20中,由用户指定了与机器关联的机器图像(例如由摄像机22所拍摄的图像、或示意性地表示机器的图像)时,也可将与此机器所具有的功能相关的信息(例如功能信息或功能的说明信息等)显示于UI部20的显示部。
以下,参照图6来详细说明联动功能管理信息。图6中表示了作为联动功能管理信息的联动功能管理表的一例。在联动功能管理表中,作为一例,机器ID的组合、表示联动对象机器名(例如各机器的种类)的信息、与表示联动功能的信息(联动功能信息)彼此对应。例如,机器ID为“A”的机器是PC(个人计算机),机器ID为“B”的机器是多功能一体机。通过使PC(A)与多功能一体机B联动,作为联动功能,例如实现“扫描转发功能”或“打印功能”。“扫描转发功能”是将通过多功能一体机B的扫描而生成的图像数据转发给PC(A)的功能。“打印功能”是将保存在PC(A)中的数据(例如图像数据或文档数据)发送至多功能一体机B并通过多功能一体机B进行打印的功能。另外,也可规定通过利用三个以上的机器而可执行的联动功能。此时,三个以上的机器的组合与联动功能相对应,所述对应被登记在联动功能管理表中。
以下,举具体例来详细说明终端装置10的动作。
参照图7,对机器与用户(所述用户所持的终端装置10)之间的位置关系进行说明。图7表示了所述位置关系。针对每个机器而规定有区域。例如,对于作为机器48的多功能一体机B,规定有具有预定大小的区域50。区域50既可为具有以多功能一体机B的设置位置为中心位置的圆形形状的区域,也可为具有矩形形状的区域,还可为具有任意形状的区域。而且,多功能一体机B也可不设置在区域50的中心位置。对于其他机器,也与多功能一体机B同样地规定有区域。各机器的区域既可具有彼此相同的大小或相同的形状,也可具有彼此不同的大小或不同的形状。用户52是位于区域50内的用户,用户54是位于区域50外的用户。例如,表示各机器的区域的信息被存储在终端装置10的存储部24中。当然,表示各机器的区域的信息也可存储在服务器16等外部装置中,还可存储在机器中。而且,在机器的位置信息中,也可包含表示所述机器的区域的信息。
确定部30基于由位置信息获取部28所获取的终端装置10的位置信息,来识别用户(终端装置10)的位置。同样,确定部30基于由位置信息获取部28所获取的多功能一体机B的位置信息,来识别多功能一体机B的位置。而且,确定部30基于表示多功能一体机B的区域50的信息,来识别多功能一体机B的区域50。表示区域50的信息既可包含在多功能一体机B的位置信息中,也可存储在终端装置10的存储部24中,还可存储在服务器16等外部装置中。
确定部30也可基于多功能一体机B的位置信息与用户(终端装置10)的位置信息来运算多功能一体机B与用户之间的距离,并基于此距离来判断多功能一体机B与用户之间的位置关系。例如,确定部30在所述距离为阈值以下时,判断为用户位于多功能一体机B的区域50内,当所述距离超过阈值时,判断为用户位于多功能一体机B的区域50外。对于其他机器也同样。
以下,参照图8来说明显示于终端装置10的画面。图8中表示了显示于终端装置10的画面的一例。终端装置10的控制部26使UI部20的显示部显示画面56,并使此画面56上显示各种信息。画面56是供用户与自动应答AI进行对话的接口(对话应答画面)。在画面56上,显示用户对终端装置10输入的信息(例如字符串或图像等)、及表示自动应答AI的发言内容的信息(例如字符串或图像等)。用户与自动应答AI之间的对话也可为所谓的聊天(chat)格式的对话(即实时(real time)格式的对话,进而,换言之,是用户与自动应答AI一边互相发言一边进行对话的格式)。例如,通过执行用于与自动应答AI进行对话的程序(例如聊天用程序),从而在UI部20的显示部上显示用于所述对话的画面56(对话应答画面)。
也可在画面56上设置每个对话者的显示区域(area),各对话者的发言内容显示在自身用的显示区域内。例如,显示区域56a是显示自动应答AI的发言内容的区域,显示区域56b是显示用户的发言内容(用户对终端装置10输入的信息)的区域。图8所示的示例中,朝向画面56而在左侧设有自动应答AI用的显示区域56a,在右侧设有用户用的显示区域56b。当然,此显示例只不过是一例,显示区域的配置关系也可相反,还可在上下方向上设置各显示区域,还可将各显示区域的全部或一部分重合,还可在画面56的特定区域(例如中央区域)显示最新的发言内容,而在其周围显示过去的发言内容。而且,各显示区域既可具有彼此相同的大小,也可具有互不相同的大小,还可根据一次发言内容的量或发言次数来放大或缩小。显示区域的设定或大小的控制是由控制部26来进行。
图8所示的示例中,对话者仅为一位用户与一个自动应答AI,但也可有多个用户或多个自动应答AI参加对话。此时,在画面56上,也可设有各对话者用的显示区域。例如,当有两位用户与一个自动应答AI参加对话时,在画面56上设有三个显示区域,各对话者的发言内容显示在自身的显示区域内。例如,当通过在多个终端装置10之间进行通信而在多个用户之间进行经由画面56的对话时,所述多个用户的发言内容显示于画面56。多个自动应答AI参加对话时也同样。既可将与多个自动应答AI相关的程序安装于同一终端装置10,从而将所述多个自动应答AI保存在所述同一终端装置10中,也可将与所述多个自动应答AI各自相关的程序安装在不同的终端装置10中,从而将各自动应答AI保存在不同的终端装置10中。例如,在画面56上,显示有保存在作为自身装置的终端装置10中的、自动应答AI的发言内容,进而,显示有保存在其他终端装置10中的自动应答AI的发言内容。保存在其他终端装置10中的自动应答AI例如经由通信路径N来参加对话。
当聊天用程序启动时,终端装置10的控制部26使UI部20的显示部显示画面56。在自动应答AI用的显示区域56a中,显示有与自动应答AI关联的图像58,在用户用的显示区域56b中,显示有与用户关联的图像60。图像58是用于识别自动应答AI的图像,图像60是用于识别用户的图像。另外,也可取代图像58或者与图像58一同,显示表示自动应答AI的字符串(用于识别自动应答AI的字符串)。同样,也可取代图像60或者与图像60一同,显示表示用户的字符串(例如姓名、用户ID、笔名(pseudonym)、昵称(nickname)等般用于识别用户的字符串)。另外,自动应答AI是不依存于机器的自动应答AI,也可以说是通用的自动应答AI。
以后,在用户与自动应答AI之间进行对话。在此对话中,用户的发言内容既可通过用户操作UI部20来输入字符串或图像等信息而输入至终端装置10,也可通过声音来输入。而且,用户的发言内容既可作为字符串或图像等信息而显示于画面56,也可不显示于画面56。同样,自动应答AI的发言内容既可作为字符串或图像等信息而显示于画面56,也可不显示于画面56而作为语音发出,或者在显示的同时作为语音发出。以下,作为一例,设各对话者的发言内容显示于画面56来进行说明,但所述发言内容也可通过语音而发出。
另外,当在画面56上进行对话时,画面56滚动(scroll),在画面56上显示不下的过去的发言内容从画面56上消失,最新的发言内容或其最近的发言内容显示于画面56。
当聊天用程序启动时,首先,自动应答AI发出“怎么啦?”这一一般性问询(询问用户请求的问询),表示此问询的字符串作为自动应答AI的发言内容62而显示在显示区域56a内。当然,也可取代字符串、或者与字符串一同,将自动应答AI的发言内容作为语音而发出。所述发言内容62是自动应答AI的发言内容,因此控制部26使所述发言内容62作为与自动应答AI的图像58关联的发言内容而显示于显示区域56a内。以下的对话中也同样。
位置信息获取部28获取终端装置10的位置信息与各机器的位置信息。位置信息获取部28既可始终获取位置信息,也可在预定的时机获取位置信息,还可定期地获取位置信息,还可在由用户所指定的时机获取位置信息。确定部30基于由位置信息获取部28所获取的终端装置10的位置信息与各机器的位置信息,来确定终端装置10(用户)与各机器之间的位置关系。
例如设为:如图7所示,用户(终端装置10)位于多功能一体机B的区域50内(参照用户52)。此时,确定部30基于终端装置10的位置信息与多功能一体机B的位置信息,判断为用户(终端装置10)位于多功能一体机B的区域50内。确定部30也可在终端装置10与多功能一体机B之间的距离为阈值以下时,判断为用户(终端装置10)位于多功能一体机B的区域50内。
当用户(终端装置10)位于多功能一体机B的区域50内时,确定部30将多功能一体机B识别为使用对象机器,例如在图5所示的机器功能管理表中,确定与多功能一体机B的位置信息中所含的设备识别信息对应的功能。由此来识别多功能一体机B所具有的功能。
而且,当用户(终端装置10)位于机器的区域内时,控制部26将对话对方的显示(例如与对话对方关联的图像或表示对话对方的字符串),由通用的自动应答AI的显示(例如与通用的自动应答AI关联的图像58或表示通用的自动应答AI的字符串),切换为此机器的显示(例如与此机器关联的图像或表示此机器的字符串)。
当用户位于多功能一体机B的区域50内时,控制部26使与多功能一体机B关联的机器图像66取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。机器图像66既可为通过拍摄多功能一体机B而生成的图像(例如多功能一体机B的外观图像),也可为模仿多功能一体机B的图像(例如图标)。当然,控制部26也可使表示多功能一体机B的字符串取代机器图像66、或者与机器图像66一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使“您想使用哪种功能?”这一发言内容68作为多功能一体机B的发言内容而显示于显示区域56a内。所述发言内容68自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容68作为与多功能一体机B的机器图像66关联的发言内容而显示于显示区域56a内,以使得如同是多功能一体机B发表了所述发言内容68一般。控制部26也可使由确定部30所确定的多功能一体机B所具有的功能的一览作为多功能一体机B的发言内容而显示于显示区域56a内。多功能一体机B例如是具有打印功能或复印功能等图像形成功能的机器,因此控制部26也可使表示所述图像形成功能的一览的字符串或图像作为多功能一体机B的发言内容而显示于显示区域56a内。
而且,当用户发表“想利用多功能一体机B”等而请求机器的利用时,表示此请求的字符串也可作为用户的发言内容64而显示于显示区域56b内。也可通过用户操作画面56来输入字符串,从而将表示发言内容的信息输入至终端装置10,还可通过语音来将表示发言内容的信息输入至终端装置10。由于所述发言内容为用户的发言内容,因此控制部26使所述发言内容64作为与用户的图像60关联的发言内容而显示于显示区域56b内。以下的对话中也同样。
当如上所述般由用户将发言内容64输入至终端装置10时,也可由确定部30将多功能一体机B识别为使用对象机器,由控制部26将与自动应答AI关联的图像58切换为与多功能一体机B关联的图像66。另外,自动应答AI通过分析用户的发言内容来识别用户的请求,若需要回应,则制作针对此请求的回答等回应。控制部26使表示此回应的字符串作为自动应答AI的发言内容而显示于显示区域56a内。自动应答AI既可利用国际互联网等来检索信息,并分析此检索结果,还可获取与机器12、14相关的信息,并分析此信息。自动应答AI也可使此分析结果反映到回应中。而且,自动应答AI也可管理用户对各种应用程序的利用历史、用户对终端装置10的操作历史、用户对机器12、14的利用历史等。而且,自动应答AI也可通过与保存在其他装置中的自动应答AI之间进行通信,而从其他自动应答AI获取信息。自动应答AI也可使自身所管理的信息或所获取的信息反映到回应中。
针对所述发言内容68,用户将想要利用多功能一体机B来执行的处理内容作为用户的发言内容而输入至终端装置10。图8所示的示例中,将表示“想要打印文件X。”这一处理内容的发言内容70作为用户的发言内容而输入至终端装置10。
控制部26通过分析用户的发言内容70,来确定用户所请求的处理内容,并使多功能一体机B执行所述处理内容。例如,控制部26将包含文件X的数据的打印作业发送至多功能一体机B。接受此打印作业的多功能一体机B依照此打印作业来打印文件X。另外,控制部26也可使用于设定打印条件(例如打印份数、彩色(color)打印、黑白打印等条件)的画面显示于UI部20。打印作业包含在此画面上设定的条件,多功能一体机B依照此条件来进行打印。
当文件X的打印完成时,控制部26使表示打印已完成的意旨的发言内容72作为多功能一体机B的发言内容而显示于显示区域56a内。此时,控制部26也使与多功能一体机B关联的机器图像66显示于显示区域56a内,并使上述发言内容72作为与多功能一体机B的机器图像66关联的发言内容而显示于显示区域56a内。另外,发言内容72自身是由通用的自动应答AI所制作的发言内容。
当用户(终端装置10)移动到多功能一体机B的区域50外时,控制部26使与通用的自动应答AI关联的图像58取代与多功能一体机B关联的机器图像66而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26使“怎么啦?”这一表示一般性问询的发言内容74作为自动应答AI的发言内容而显示于显示区域56a内。
如上所述,根据第1实施方式,当用户(终端装置10)位于机器的区域内时,将所述机器识别为使用对象机器,将应答中的对话对方的显示切换为此机器的显示。借此,用户能够在视觉上确认应答中的对话对方。
另外,当用户位于机器的区域内时,也可将对话对方的显示由通用的自动应答AI的显示切换为此机器的显示,并且将作为用户的对话对方的自动应答AI(例如程序)由通用的自动应答AI切换为搭载于此机器的自动应答AI。
若以图8所示的示例来进行说明,则当在多功能一体机B中搭载有自动应答AI时(在多功能一体机B中安装有自动应答AI的程序时),控制部26将作为用户的对话对方的自动应答AI,由搭载于终端装置10中的通用的自动应答AI(安装于终端装置10中的自动应答AI的程序),切换为搭载于多功能一体机B中的自动应答AI。
此时,控制部26将表示用户的发言内容的信息经由通信路径N而发送至多功能一体机B。搭载于多功能一体机B中的自动应答AI接受从终端装置10发送的表示用户发言内容的信息,对用户的发言内容进行分析,制作针对所述发言内容的回答等回应。多功能一体机B的自动应答AI将表示包含此回应的发言内容的信息发送至终端装置10。例如,图8所示的发言内容68、72是由搭载于多功能一体机B的自动应答AI所制作,表示发言内容68、72的信息从多功能一体机B发送至终端装置10。控制部26使从多功能一体机B送来的发言内容(例如发言内容68、72)作为多功能一体机B的发言,与多功能一体机B的机器图像66关联地显示于显示区域56a内。
当用户移动到多功能一体机B的区域50外时,控制部26如图8所示,将与对话对方关联的图像由与多功能一体机B关联的机器图像66切换为与通用的自动应答AI关联的图像58,进而,将作为用户的对话对方的自动应答AI由搭载于多功能一体机B中的自动应答AI切换为搭载于终端装置10中的通用的自动应答AI。
通过进行所述处理,当在机器中搭载有自动应答AI时,在此自动应答AI与用户之间进行对话,因此,在此期间,搭载于终端装置10中的自动应答AI的处理负载得以减轻。而且,当搭载于机器中的自动应答AI与通用的自动应答AI相比,关于此机器而具有高度的控制能力或信息收集能力时,通过搭载于机器中的自动应答AI作为用户的对话对方而与用户进行对话,从而可将更有用的信息提供给用户。
(变形例1)
以下对变形例1进行说明。变形例1中,控制部26根据用户的位置,来控制向应答中对话对方的与机器相关的指示的输出。例如,当用户位于此机器的区域内时,控制部26受理与此机器相关的来自用户的指示。另一方面,当用户位于此机器的区域外时,控制部26不受理与此机器相关的来自用户的指示。借此,当用户位于机器的区域内时,用户能够对此机器给予指示,当用户位于机器的区域外时,用户无法对此机器给予指示。由于能够对机器给予指示的区域受到限定,因此对此机器的安全性(security)可提高。例如,通过以只有在办公室(office)内停留在特定房间内的用户才能对设置于所述特定房间内的机器给予指示的方式,对此机器的区域进行设定,从而对此机器的安全性可提高。
例如,如图7所示,当用户位于多功能一体机B的区域50内时(参照用户52),控制部26受理用户对多功能一体机B的指示。用户通过使用终端装置10的UI部20,能够将打印等处理的执行指示给予至多功能一体机B。另一方面,当用户位于多功能一体机B的区域50外时(参照用户54),控制部26不受理用户对多功能一体机B的指示。此时,用户无法将打印等处理的执行指示给予至多功能一体机B。借此,能够关于多功能一体机B而构建安全(secure)的环境。
另外,在变形例1中,当用户位于机器的区域内时,控制部26也可将与对话对方关联的图像由与通用的自动应答AI关联的图像切换为与此机器关联的图像,还可不切换。
<第2实施方式>
以下对第2实施方式进行说明。所述第1实施方式中,是对一个机器进行识别,但在第2实施方式中,对多个机器进行识别。以下,对第2实施方式进行详细说明。
参照图9,对机器与用户(终端装置10)之间的位置关系进行说明。图9中表示了所述位置关系。与第1实施方式同样,针对每个机器而规定有区域。例如,对于作为机器48的多功能一体机B规定有区域50,对于作为机器76的PC(A)规定有区域78。另外,区域50、78既可具有彼此相同的大小或相同的形状,也可具有彼此不同的大小或不同的形状。
用户80是位于区域50、78这两个区域中的用户。即,区域50、78彼此局部重合,用户80是位于此重合区域内的用户。用户82是位于区域50内,但位于区域78外的用户。用户84是位于区域78内,但位于区域50外的用户。
确定部30基于终端装置10、多功能一体机B及PC(A)各自的位置信息,来识别终端装置10、多功能一体机B及PC(A)各自的位置,进而对区域50、78进行识别。
确定部30基于多功能一体机B的位置信息与用户(终端装置10)的位置信息来运算多功能一体机B与用户之间的距离,同样,也可基于PC(A)的位置信息与用户的位置信息来运算PC(A)与用户之间的距离。确定部30在多功能一体机B与用户之间的距离为阈值以下时,判断为用户位于多功能一体机B的区域50内,当此距离超过阈值时,判断为用户位于多功能一体机B的区域50外。同样,确定部30在PC(A)与用户之间的距离为阈值以下时,判断为用户位于PC(A)的区域78内,当此距离超过阈值时,判断为用户位于PC(A)的区域78外。另外,对多功能一体机B与用户之间的位置关系进行规范的阈值、与对PC(A)与用户之间的位置关系进行规范的阈值既可为彼此相同的值,也可为彼此不同的值。即,也可针对每个机器而使用相同的阈值或不同的阈值。
以下,参照图10来说明显示于终端装置10的画面。图10中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,与第1实施方式同样,将“怎么啦?”这一发言内容86作为自动应答AI的发言内容而显示于显示区域56a内。
位置信息获取部28获取终端装置10的位置信息与各机器的位置信息,并基于终端装置10的位置信息与各机器的位置信息,来确定终端装置10(用户)与各机器之间的位置关系。
例如设为:如图9所示,用户(终端装置10)位于区域50、78这两个区域中(参照用户80)。即,设为用户位于区域50、78彼此重合的区域内。此时,确定部30基于终端装置10与多功能一体机B的位置信息,判断为用户(终端装置10)位于多功能一体机B的区域50内。而且,确定部30基于终端装置10与PC(A)的位置信息,判断为用户(终端装置10)位于PC(A)的区域78内。确定部30也可在终端装置10与多功能一体机B之间的距离为阈值以下时,判断为用户(终端装置10)位于多功能一体机B的区域50内,在终端装置10与PC(A)之间的距离为阈值以下时,判断为用户(终端装置10)位于PC(A)的区域78内。
当用户(终端装置10)位于多功能一体机B的区域50内时,确定部30将多功能一体机B识别为使用对象候补机器,且例如在图5所示的机器功能管理表中,确定与多功能一体机B的位置信息中所含的设备识别信息对应的功能。由此来识别多功能一体机B所具有的功能。同样,当用户(终端装置10)位于PC(A)的区域78内时,确定部30将PC(A)识别为使用对象候补机器,且例如在图5所示的机器功能管理表中,确定与PC(A)的位置信息中所含的设备识别信息对应的功能。由此来识别PC(A)所具有的功能。
当如上所述般识别有多个机器时,控制部26使备选区域(stock area)88显示于用户用的显示区域56b内,并使机器图像显示于所述备选区域88内。备选区域88是显示使用对象候补机器的信息的区域,图10所示的示例中,作为候补信息的一例而显示有机器图像。例如,控制部26使与如上所述般经识别的机器关联的机器图像显示于所述备选区域88内。图10所示的示例中,在所述备选区域88内,显示有机器图像90、92。机器图像90是与作为机器的多功能一体机B关联的图像。机器图像92是与作为机器的PC(A)关联的图像。当如此般识别有机器时,控制部26使与机器关联的机器图像显示于备选区域88内。当然,控制部26也可使表示所识别的机器的文字信息取代机器图像、或者与机器图像一同,显示于备选区域88内。
另外,当用户仅位于多功能一体机B的区域50内时,在备选区域88内,仅显示与多功能一体机B关联的机器图像90。同样,当用户仅位于PC(A)的区域78内时,在备选区域88内,仅显示与PC(A)关联的机器图像92。
机器图像90既可为通过拍摄多功能一体机B而生成的图像(既可为具有拍摄时的尺寸的图像,也可为经放大或缩小的图像),也可为与多功能一体机B关联的示意性的图像(例如图标)。对于机器图像92也同样,既可为通过拍摄PC(A)而生成的图像,也可为与PC(A)关联的示意性的图像。
在使用示意性的图像的情况下,确定部30通过参照图5所示的机器功能管理表,来确定与所识别的机器关联的示意性的图像。所述示意性的图像是作为机器图像而显示。示意性的图像数据既可存储在终端装置10中,也可存储在服务器16等外部装置中。
另外,当利用通过拍摄机器而生成的图像数据时,当前的机器其自身的外观(例如反映出瑕疵、便利贴、粘贴在机器上的贴画(seal)等的外观)将反映在图像中,因此有下述效果,即,对于用户而言,可通过视觉来知晓与其他的同种机器的差异。
而且,若存在在备选区域88内显示不下的其他机器图像,则如箭头94所示,用户对显示在备选区域88内的机器图像进行滚动操作,从而使所述其他机器图像显示在备选区域88内。
用户可如箭头96所示,从备选区域88中选择与使用对象机器关联的图像(图10所示的示例中为机器图像90)并使其移动到备选区域88的外侧,从而将所述机器图像90作为用户的发言内容而发送至自动应答AI。例如,用户通过拖拽(drag)操作,从备选区域88使机器图像90移动到显示用户发言内容的位置,在所述发言内容的显示位置进行拖放(drop)操作。通过此操作,控制部26将机器图像90作为用户的发言内容而发送至自动应答AI。例如,通过用户在画面56上利用指示器(例如用户的手指、笔、指示笔(stylus)等)来从备选区域88中选择并取出图像(例如机器图像90),从而将此图像包含在用户的发言内容中发送至自动应答AI。控制部26探测指示器对画面56的接触,并探测指示器在画面56上的移动。另外,也可通过用户将表示使用对象机器的文字信息或语音信息输入至终端装置10,从而将表示使用对象机器的信息发送至自动应答AI。
如上所述,当由用户指定了使用对象机器时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为所述机器的显示。图10所示的示例中,用户通过指定机器图像90而指定了多功能一体机B作为使用对象机器,因此控制部26使与多功能一体机B关联的机器图像66取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。
以下,与第1实施方式同样,控制部26使“您想使用哪种功能?”这一发言内容98作为多功能一体机B的发言内容而显示于显示区域56a内。
当用户(终端装置10)移动到多功能一体机B的区域50外时,控制部26使与通用的自动应答AI关联的图像58取代与多功能一体机B关联的机器图像66而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26从备选区域88内删除与多功能一体机B关联的机器图像90。当用户(终端装置10)移动到PC(A)的区域78外时,控制部26从备选区域88内删除与PC(A)关联的机器图像92。另外,当用户移动到新的机器的区域内时,将所述新的机器识别为使用对象候补机器,将所述新的机器的信息(例如与所述新的机器关联的机器图像)显示在备选区域88内。
如上所述,根据第2实施方式,当用户(终端装置10)位于多个机器的区域内时,将所述多个机器识别为使用对象候补机器,应答中的对话对方的显示切换为由用户从所述多个机器中选择的机器的显示。借此,用户能够在视觉上确认应答中的对话对方。
也可将对话对方的显示由通用的自动应答AI的显示切换为机器的显示,并且将作为用户的对话对方的自动应答AI(例如程序)由通用的自动应答AI切换为搭载于所述机器中的自动应答AI。
当用户位于多个机器的区域内时,也可由确定部30将所述多个机器中最靠近用户的机器识别为使用对象机器,由控制部26将通用的自动应答AI的显示切换为最靠近用户的机器的显示。例如,当用户位于多功能一体机B与PC(A)这两个区域内时,若多功能一体机B设置在较PC(A)更靠近用户的位置,则确定部30将多功能一体机B识别为使用对象机器。而且,控制部26也可使与多功能一体机B关联的机器图像66取代与通用的自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。
(变形例2)
以下对变形例2进行说明。变形例2中,与所述变形例1同样,控制部26根据用户的位置,来控制与机器相关的指示向应答中的对话对方的输出。例如,当用户位于多个机器的区域内时,控制部26受理与所述多个机器各自相关的来自用户的指示。
例如,如图9所示,当用户位于多功能一体机B的区域50与PC(A)的区域78这两个区域中时(参照用户80),控制部26受理与多功能一体机B和PC(A)相关的用户指示。例如,用户通过使用终端装置10的UI部20,能够将打印等处理的执行指示给予至多功能一体机B,并将处理的执行指示给予至PC(A)。
而且,当由用户从多个机器中选择了机器时,控制部26也可受理与所述所选择的机器相关的来自用户的指示。图10所示的示例中,用户位于多功能一体机B与PC(A)这两个区域中,但用户选择了多功能一体机B。此时,控制部26受理与多功能一体机B相关的用户指示。
而且,当用户位于多个机器的区域内时,控制部26也可受理与所述多个机器中最靠近用户的机器相关的来自用户的指示。例如,当用户位于多功能一体机B与PC(A)这两者的区域内时,若多功能一体机B设置在较PC(A)更靠近用户的位置,则控制部26受理与多功能一体机B相关的来自用户的指示,而不受理与PC(A)相关的来自用户的指示。
根据变形例2,当用户位于多个机器的区域内时,能够针对机器而构建安全的环境。
另外,变形例1中,当用户位于机器的区域内时,控制部26也可将与对话对方关联的图像由与通用的自动应答AI关联的图像切换为与所述机器关联的图像,还可不切换。
<第3实施方式>
以下,参照图11来说明第3实施方式。图11中表示了画面56。第2实施方式中,由用户选择了一个机器,但在第3实施方式中,由用户选择了多个机器。
在画面56中,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容100作为自动应答AI的发言内容而显示于显示区域56a内。
第3实施方式中,与所述第2实施方式同样地设为:用户(终端装置10)位于区域50、78这两个区域中(参照图9中的用户80)。即设为:用户位于区域50、78彼此重合的区域内。此时,在备选区域88内,显示与多功能一体机B关联的机器图像90和与PC(A)关联的机器图像92。
用户例如可从备选区域88中选择机器图像90、92并使其移动到备选区域88的外侧,从而将机器图像90、92作为用户的发言内容而发送至自动应答AI。图11所示的示例中,生成表示机器图像90、92的图像102,将所述图像102发送至自动应答AI。另外,用户也可通过将表示作为使用对象的多个机器的文字信息或语音信息输入至终端装置10,从而将表示作为使用对象的多个机器的信息发送至自动应答AI。
如上所述,当由用户指定了作为使用对象的多个机器时,确定部30将所述多个机器识别为联动对象机器,且例如在图6所示的联动功能管理表中,确定与所述多个机器的组合对应的联动功能。由此来识别可使用所述多个机器来执行的联动功能。
所述示例中,确定部30将与机器图像90关联的多功能一体机B和与机器图像92关联的PC(A)识别为联动对象机器,且在图7所示的联动功能管理表中,确定跟PC(A)与多功能一体机B的组合对应的联动功能(例如“扫描转发功能”与“打印功能”)。由此来识别可利用PC(A)与多功能一体机B来执行的联动功能。“扫描转发功能”是将通过多功能一体机B的扫描所生成的图像数据转发至PC(A)的功能。“打印功能”是将存储在PC(A)中的图像数据转发至多功能一体机B并通过多功能一体机B进行打印的功能。另外,机器或联动功能的确定处理也可由服务器16来进行。
而且,当由用户指定了作为使用对象的多个机器时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的多个机器的显示。
所述示例中,由于指定了多功能一体机B与PC(A)作为联动对象机器,因此控制部26使与多功能一体机B关联的机器图像66和与PC(A)关联的机器图像104取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。机器图像104既可为通过拍摄PC(A)而生成的图像(例如PC(A)的外观图像),也可为模仿PC(A)的图像(例如图标)。当然,控制部26也可使表示多功能一体机B和PC(A)的字符串取代机器图像66、104或者与机器图像66、104一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使用于确认由用户所指定的多个机器的发言内容106,作为自动应答AI的发言内容而显示于显示区域56a内。当指定了多功能一体机B与PC(A)来作为联动对象机器时,例如将“是多功能一体机B与PC(A)吧?”这一发言内容106作为自动应答AI的发言内容而显示于显示区域56a内。
当用户认可了所述发言内容106时(例如,用户发出“是的。”这一发言内容108时),控制部26使与可利用PC(A)与多功能一体机B来执行的联动功能相关的信息,作为多功能一体机B与PC(A)的发言内容110而显示于显示区域56a内。所述发言内容110自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容110作为与多功能一体机B的机器图像66和PC(A)的机器图像104关联的发言内容而显示于显示区域56a内,以使得如同是多功能一体机B与PC(A)发表了所述发言内容110一般。可利用多功能一体机B与PC(A)来执行的联动功能是“扫描转发功能”与“打印功能”(参照图6),因此控制部26使表示“扫描转发功能”与“打印功能”的字符串或图像作为多功能一体机B与PC(A)的发言内容而显示于显示区域56a内。
当用户针对所述发言内容110而通过发言内容112来指定联动功能并给予了执行指示时,控制部26(例如通过自动应答AI而实现的控制部26)接受所述执行指示,并将表示所述执行指示的信息(执行指示信息)发送至联动对象机器。作为另一例,也可在画面56上显示用于指示联动功能的执行的按钮(button)图像,用户通过按下所述按钮图像来给予联动功能的执行指示。当选择了PC(A)与多功能一体机B来作为联动对象机器时,将执行指示信息发送至PC(A)与多功能一体机B。收到执行指示信息的PC(A)与多功能一体机B执行所述执行指示信息所示的联动功能(由用户所指定的联动功能)。例如,当给予有作为联动功能的“打印功能”的执行指示时,PC(A)将作为打印对象的图像数据发送至多功能一体机B,多功能一体机B将所述图像数据打印到作为记录介质的纸张上。
当用户(终端装置10)移动到区域50、78外时,控制部26使与通用的自动应答AI关联的图像58取代机器图像66、104而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26从备选区域88内删除与多功能一体机B关联的机器图像90和与PC(A)关联的机器图像92。
另外,当用户移动到区域50外但位于区域78内时,控制部26也可使机器图像104作为与对话对方关联的图像而显示于显示区域56a内。此时,确定部30与第1实施方式同样,将PC(A)识别为使用对象机器。用户移动到区域78外但位于区域50内时也同样。
如上所述,根据第3实施方式,应答中的对话对方的显示切换为作为联动对象的多个机器的显示。借此,用户能够在视觉上确认应答中的对话对方。
另外,当用户通过发言内容112而指定了联动功能时,控制部26(自动应答AI)也可不将联动功能的执行指示给予至联动对象机器,而是使用于控制联动对象机器的画面(遥控(remote control)画面)显示于UI部20。在遥控画面上,例如显示用于指示联动功能的执行的按钮图像(例如用于指示“扫描转发功能”的执行的按钮图像、用于指示“打印功能”的执行的按钮图像)。当用户在遥控画面上按下按钮图像时,执行与所述按钮图像关联的联动功能。而且,也可在遥控画面上进行各种参数的设定等。
作为另一例,也可显示用于独立地控制各机器的遥控画面。例如显示用于控制多功能一体机B的遥控画面、与用于控制PC(A)的遥控画面。在多功能一体机B用的遥控画面上,显示用于指示多功能一体机B所具有的单独功能的执行的按钮图像(例如用于指示复印功能的执行的按钮图像、用于指示打印功能的执行的按钮图像等)。而且,在多功能一体机B用的遥控画面上,也可进行多功能一体机B中所用的各种参数的设定等。在PC(A)用的遥控画面上,例如显示保存于PC(A)中的数据(文件)或保存位置(文件夹(folder))。而且,在PC(A)用的遥控画面上,也可进行PC(A)中所用的各种参数的设定等。而且,也可在两遥控画面上,进行联动功能(例如作为联动功能的“扫描转发功能”或“打印功能”)的设定或执行指示。
另外,当显示有多个机器作为对话对方时,用户的对话对方既可为搭载于终端装置10中的通用的自动应答AI,也可由所述通用的自动应答AI切换为搭载于所述多个机器中的自动应答AI。例如,当多功能一体机B中搭载有自动应答AI时,也可由搭载于多功能一体机B中的自动应答AI作为对话对方发挥功能,当PC(A)中搭载有自动应答AI时,也可由搭载于PC(A)中的自动应答AI作为对话对方发挥功能。当在多功能一体机B与PC(A)这两者中搭载有自动应答AI时,也可由搭载于多功能一体机B或PC(A)的任一者中的自动应答AI作为对话对方发挥功能。
图11所示的示例中,两个机器的信息被发送至自动应答AI,但也可将三个以上的机器的信息(例如三个以上的机器图像、或者表示三个以上的机器的字符串)发送至自动应答AI。此时,取代与自动应答AI关联的图像58,而将三个以上的机器图像作为与对话对方关联的图像而显示于显示区域56a内。
另外,也可在第3实施方式中适用变形例1、变形例2。即,控制部26在用户位于多个机器的区域内时,受理可利用所述多个机器来执行的联动功能的执行指示,当用户未位于所述多个机器的区域内时,不受理可利用所述多个机器来执行的联动功能的执行指示。
<第4实施方式>
以下,参照图12来说明第4实施方式。图12中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容114作为自动应答AI的发言内容而显示于显示区域56a内。
第4实施方式中,与所述第3实施方式同样设为:用户(终端装置10)位于区域50、78这两个区域中(参照图9中的用户80)。此时,确定部30将多功能一体机B与PC(A)识别为联动对象机器,且例如在图6所示的联动功能管理表中,确定跟多功能一体机B与PC(A)的组合对应的联动功能。由此来识别可利用多功能一体机B与PC(A)来执行的联动功能。
而且,由于用户位于区域50、78这两个区域中,因此控制部26使与多功能一体机B关联的机器图像66和与PC(A)关联的机器图像104取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。控制部26使用于确认已将多功能一体机B与PC(A)识别为联动对象机器的发言内容118作为多功能一体机B与PC(A)的发言内容而显示于显示区域56a内。
而且,当用户发表“想要利用多功能一体机B与PC(A)”等而请求机器的利用时,也可将表示此请求的字符串作为用户的发言内容116而显示于显示区域56b内。当如此般由用户将发言内容116输入至终端装置10时,也可由确定部30将多功能一体机B与PC(A)识别为联动对象机器,由控制部26将与自动应答AI关联的图像58切换为图像66、104。
当用户认可了发言内容118时(例如用户发出“是的。”这一发言内容120时),控制部26使与可利用PC(A)与多功能一体机B来执行的联动功能相关的信息作为多功能一体机B与PC(A)的发言内容122而显示于显示区域56a内。所述发言内容122自身是由通用的自动应答AI所制作的发言内容。以下的处理与所述第3实施方式相同。
如上所述,根据第4实施方式,当用户位于多个机器的区域内时,应答中的对话对方的显示切换为所述多个机器的显示。借此,用户能够在视觉上确认应答中的对话对方。
第4实施方式中,对话对方也可由通用的自动应答AI切换为搭载于多个机器中的自动应答AI。而且,当用户位于三个以上的机器的区域内时(即,当用户位于三个以上的机器的区域彼此重合的区域中时),对话对方的显示切换为所述三个以上的机器的显示。
(与对话对方关联的图像的显示例)
以下,参照图13A至图13E来说明与对话对方关联的图像的显示例。图13A至图13E中表示了此显示例。此处设为:用户位于多个机器(例如多功能一体机B与PC(A))的区域内,所述多个机器被识别为联动对象机器。
图13A表示了基本形的图像。与所述第3实施方式同样,当用户位于区域50、78这两个区域中时(即,当用户位于区域50、78彼此重合的区域中时(参照图9中的用户80)),将与多功能一体机B关联的机器图像66和与PC(A)关联的机器图像104作为与对话对方关联的图像而显示于显示区域56a内。
在如图13A所示,机器图像66、104显示为与对话对方关联的图像的状态下,当如图13B所示,发言内容124作为多功能一体机B的发言内容而显示于显示区域56a内时,控制部26使与多功能一体机B关联的机器图像66比与PC(A)关联的机器图像104大地显示于显示区域56a内。例如,当PC(A)未执行联动功能中所含的处理,而多功能一体机B执行了联动功能中所含的处理时,将与此处理相关的信息作为多功能一体机B的发言内容而显示于显示区域56a内。此时,使机器图像66显示得比机器图像104大。借此,用户能够在视觉上确认进行联动功能中所含的处理的机器。另外,当多功能一体机B与PC(A)这两者执行了联动功能中所含的处理时,如图13A所示,机器图像66、104以彼此相同的大小而显示。
另一方面,当如图13C所示,发言内容126作为PC(A)的发言内容而显示于显示区域56a内时,控制部26使机器图像104比机器图像66大地显示于显示区域56a内。例如,当PC(A)执行了联动功能中所含的处理,而多功能一体机B未执行联动功能中所含的处理时,将与此处理相关的信息作为PC(A)的发言内容而显示于显示区域56a内。
而且,图13A所示的示例中,机器图像66、104是以沿横方向排列的方式而配置显示,但也可如图13D所示,机器图像66、104以沿纵方向排列的方式而配置显示。当然,也可以除这些以外的配置来显示机器图像66、104。
而且,当如图13E所示,发言内容128作为多功能一体机B的发言内容而显示于显示区域56a内时,也可使与多功能一体机B关联的机器图像66比与PC(A)关联的机器图像104大地显示。当发言内容作为PC(A)的发言内容而显示于显示区域56a内时,机器图像104显示得比机器图像66大。
而且,也可根据各机器与用户之间的位置关系,来变更机器图像的大小或显示顺序。例如,控制部26也可使与越靠近用户的机器关联的机器图像显示得越大,还可依照靠近用户的顺序来显示与各机器关联的各机器图像。
而且,也可根据用户的发言顺序来变更机器图像的显示顺序。例如,当用户依“多功能一体机B”、“PC(A)”的顺序来发言时,也可依与多功能一体机B关联的机器图像66、与PC(A)关联的机器图像104的顺序来显示机器图像66、104。例如也可将先指定的机器(例如多功能一体机B)显示在左侧或上侧,将后指定的机器(例如PC(A))显示在右侧或下侧。当然,也可不论指定的顺序,而根据机器的识别顺序或登记顺序等,来决定显示顺序。而且,也可将发话的机器(发言内容所关联的机器)的机器图像显示于预定的位置(例如左侧或上侧)。借此,用户能够在视觉上确认发话的机器(例如正在进行处理的机器)。
(相对于机器的连接处理)
以下,对执行联动功能时的动作进行说明。例如,当执行联动功能时,从终端装置10对作为联动对象的各机器发送连接请求,终端装置10与各机器相连接。以下,参照图14来说明此连接处理。图14是表示此处理的序列图。
在终端装置10中,当识别有多功能一体机B与PC(A)来作为联动对象机器时(即,用户位于多功能一体机B与PC(A)的区域中时),终端装置10将表示连接请求的信息发送至联动对象机器(多功能一体机B与PC(A))(S01)。所述发送的控制也可由自动应答AI来进行。例如,当在服务器16中存储有作为联动对象的各机器的地址信息时,终端装置10从服务器16获取各机器的地址信息。当设备识别信息中含有地址信息时,终端装置10的控制部26从各机器的设备识别信息获取地址信息。地址信息的获取处理也可由自动应答AI来进行。当然,也可在终端装置10的存储部24中存储各机器的地址信息。终端装置10也可通过其他方法来获取各机器的地址信息。终端装置10使用作为联动对象的各机器(例如多功能一体机B与PC(A))的地址信息,将表示连接请求的信息发送至作为联动对象的各机器。
收到表示连接请求的信息的多功能一体机B与PC(A)判断与终端装置10的连接的允许或不允许(S02)。例如,在多功能一体机B与PC(A)相当于不允许连接的机器的情况下、或者相当于请求连接的装置数量超过上限的机器的情况下,则不允许连接。另外,在允许了来自终端装置10的连接的情况下,也可禁止变更操作,以免多功能一体机B与PC(A)各自的固有设定信息从终端装置10受到变更。例如也可禁止多功能一体机B的色彩参数、或跳转至省电时的设定时间等的变更。由此,对于联动对象机器的安全性提高。作为另一例,当使机器联动时,与不使所述机器联动而单独利用的情况相比,也可限制设定信息的变更。例如,与单独利用机器的情况相比,也可允许更少的设定项目的变更。而且,也可禁止运行历史之类的其他用户的个人信息的阅览。由此,对于用户个人信息的安全性提高。
表示连接的允许或不允许的结果信息从多功能一体机B与PC(A)发送至终端装置10(S03)。当允许对多功能一体机B与PC(A)的连接时,在终端装置10与多功能一体机B之间建立通信,进而,在终端装置10与PC(A)之间建立通信。
接下来,在终端装置10中,用户指示联动功能(例如“打印功能”)的执行(S04)。终端装置10根据所述指示,将表示联动功能的执行指示的信息(执行指示信息)发送至作为联动对象的各机器(多功能一体机B与PC(A))(S05)。所述发送的控制也可由自动应答AI来进行。在发送至多功能一体机B的执行指示信息中,包含表示由多功能一体机B来执行的处理的信息(例如作业信息),在发送至PC(A)的执行指示信息中,包含表示由PC(A)来执行的处理的信息(例如作业信息)。
收到执行指示信息的多功能一体机B与PC(A)依照执行指示信息来执行联动功能(例如“打印功能”)(S06)。当执行对象的联动功能中包含在多功能一体机B与PC(A)之间进行数据收发的处理时,在多功能一体机B与PC(A)之间建立通信。例如,在发送至多功能一体机B的执行指示信息中包含PC(A)的地址信息,在发送至PC(A)的执行指示信息中包含多功能一体机B的地址信息。使用这些地址信息,在多功能一体机B与PC(A)之间建立通信。所述通信建立后,PC(A)将作为打印对象的图像数据发送至多功能一体机B,多功能一体机B将所述图像数据打印到作为记录介质的纸张上。
当联动功能的执行结束时,表示联动功能的执行完成的信息从多功能一体机B与PC(A)发送至终端装置10(S07)。在终端装置10的UI部20上,显示表示联动功能的执行已完成的信息(S08)。另外,若即使从给予执行指示的时间点经过了预先设定的时间仍未显示表示执行完成的信息,则终端装置10的控制部26也可使表示错误(error)的信息显示于UI部20,并再次将执行指示信息或表示连接请求的信息发送至多功能一体机B与PC(A)。
接下来,用户确认是否解除多功能一体机B与PC(A)的联动状态(S09),并执行与解除的有无相应的处理(S10)。当解除联动状态时,用户利用终端装置10来给予解除指示。由此,终端装置10与多功能一体机B之间的通信解除,进而,终端装置10与PC(A)之间的通信解除。同样,多功能一体机B与PC(A)之间的通信也解除。若不解除联动状态,则也可继续给予执行指示。
另外,也可在第4实施方式中适用变形例1、变形例2。即,控制部26在用户位于多个机器的区域内时,受理可利用所述多个机器来执行的联动功能的执行指示,当用户未位于所述多个机器的区域内时,不受理可利用所述多个机器来执行的联动功能的执行指示。
<第5实施方式>
以下对第5实施方式进行说明。第5实施方式中,根据用户的位置,将对话对方的显示切换为功能的显示。例如,根据用户的位置来改变可使用的功能(例如通过软件而实现的功能或通过机器而实现的功能),与此相应地,将对话对方的显示切换为功能的显示。
例如,预先制作一管理信息,并将所述管理信息存储在终端装置10的存储部24中,所述管理信息表示区域、与在此区域中可使用的功能的对应。当然,管理信息也可不存储在终端装置10中,而是存储在服务器16等外部装置中。确定部30基于由位置信息获取部28所获取的终端装置10的位置信息,来识别终端装置10(用户)的位置,并在所述管理信息中,确定与包含用户位置的区域对应的功能。所述功能是用户在所处的场所可通过终端装置10来使用的功能。例如,规定限定于特定的办公室才可使用的功能,并将所述特定的办公室的位置与所述功能相对应地登记在管理信息中。当用户位于所述特定的办公室内时,可通过终端装置10来进行与所述特定的办公室对应的功能的使用。
另外,当功能是通过软件来实现时,可使用的软件既可为安装于终端装置10的软件,也可为安装于服务器16等外部装置的软件。当软件被安装于外部装置时,所述软件的功能经由通信路径而提供给终端装置10。
以下,参照图15来详细说明第5实施方式。图15中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,与第1实施方式同样,“怎么啦?”这一发言内容130作为自动应答AI的发言内容而显示于显示区域56a内。
位置信息获取部28获取终端装置10(用户)的位置信息,确定部30基于所述位置信息来识别终端装置10的位置。例如,当用户位于可使用密码(password)功能的区域内时,确定部30基于终端装置10的位置信息,判断为用户(终端装置10)位于可使用密码功能的区域内。另外,密码功能是通过密码设定软件而实现的功能。
当用户(终端装置10)位于可使用密码功能的区域内时,确定部30将密码功能识别为使用对象功能。
当用户(终端装置10)位于功能的区域内时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为所述功能的显示(例如与所述功能关联的图像或表示所述功能的字符串)。
所述示例中,由于用户位于密码功能的区域内,因此控制部26使与密码功能关联的功能图像134取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。
功能图像例如既可为与软件(应用程序等)关联的图像,也可为与进行处理的机器(位于现实空间内的机器)关联的图像。功能图像例如是图标等图像,从与表示作为硬件的机器的实际外观的图像(例如照片)或表示机器其自身的图像区别的意义上来说,也可称作虚拟(virtual)图像。功能图像134是与密码设定软件关联的图像。
控制部26也可使表示密码功能的字符串取代功能图像134、或者与或功能图像134一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使“要对哪个文件添加密码?”这一发言内容136作为密码设定软件的发言内容而显示于显示区域56a内。所述发言内容136自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容136作为与密码设定软件的功能图像134关联的发言内容而显示于显示区域56a内,以使得如同是密码设定软件发布了所述发言内容136一般。
而且,当用户发布“想要利用密码功能”等而请求功能的利用时,也可将表示此请求的字符串作为用户的发言内容132而显示于显示区域56b内。
当如上所述般由用户将发言内容132输入至终端装置10时,也可由确定部30将密码功能识别为使用对象功能,由控制部26将与自动应答AI关联的图像58切换为与密码功能关联的功能图像134。
相对于所述发言内容136,用户指定处理对象文件。图15所示的示例中,将表示作为处理对象的“文件X”的发言内容138作为用户的发言内容而输入至终端装置10。
控制部26分析用户的发言内容138,由此来确定作为处理对象的文件X。控制部26启动密码设定软件,通过密码设定软件来对文件X设定密码。
当密码的设定完成时,控制部26使表示密码设定已完成的意旨的发言内容140作为密码设定软件的发言内容而显示于显示区域56a内。此时,控制部26使与密码功能关联的功能图像134显示于显示区域56a内,并使所述发言内容140作为与密码功能的功能图像134关联的发言内容而显示于显示区域56a内。另外,发言内容140自身是由通用的自动应答AI所制作的发言内容。
当用户(终端装置10)移动到密码功能的区域外时,控制部26使与通用的自动应答AI关联的图像58取代与密码功能关联的功能图像134而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26使“怎么啦?”这一表示一般性问询的发言内容142作为自动应答AI的发言内容而显示于显示区域56a内。
如上所述,根据第5实施方式,用户(终端装置10)位于功能的区域内时,将所述功能识别为使用对象功能,应答中的对话对方的显示切换为所述功能的显示。借此,用户能够在视觉上确认应答中的对话对方。
另外,在针对每个功能而分配有自动应答AI时,也可将对话对方的显示由通用的自动应答AI的显示切换为功能的显示,并且作为用户的对话对方的自动应答AI(例如程序)由通用的自动应答AI切换为分配给此功能的自动应答AI。
(变形例3)
以下对变形例3进行说明。变形例3中,控制部26根据用户的位置,来控制与功能相关的指示向应答中的对话对方的输出。例如,当用户位于所述功能的区域内时,控制部26受理与所述功能相关的来自用户的指示。另一方面,当用户位于所述功能的区域外时,控制部26不受理与所述功能相关的来自用户的指示。借此,当用户位于功能的区域内时,用户能够对所述功能给予指示,当用户位于功能的区域外时,用户无法对所述功能给予指示。由于能够对功能给予指示的区域受到限定,因此对此功能的安全性可提高。例如,通过以只有在办公室内停留在特定房间内的用户才能对与所述特定房间对应的功能给予指示的方式,对此功能的区域进行设定,从而对此功能的安全性可提高。
例如,当用户位于密码功能的区域内时,控制部26受理用户对密码功能的指示。例如,用户通过使用终端装置10的UI部20,从而能够将密码的设定处理的指示给予至密码设定软件。另一方面,当用户位于密码功能的区域外时,控制部26不受理用户对密码功能的指示。此时,用户无法将密码的设定处理的指示给予至密码设定软件。借此,能够针对密码设定软件而构建安全的环境。
另外,变形例3中,当用户位于功能的区域内时,控制部26也可将与对话对方关联的图像由与通用的自动应答AI关联的图像切换为与所述功能关联的图像,还可不切换。
<第6实施方式>
以下,参照图16来说明第6实施方式。所述第5实施方式中,对一个功能进行识别,但第6实施方式中,对多个功能进行识别。
图16中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,与第1实施方式同样,将“怎么啦?”这一发言内容144作为自动应答AI的发言内容而显示于显示区域56a内。
位置信息获取部28获取终端装置10的位置信息,确定部30基于所述位置信息来识别终端装置10的位置。
例如设为:用户位于可使用密码功能的区域与可使用数据发送功能的区域这两个区域中。即设为:用户位于密码功能的区域与数据发送功能的区域彼此重合的区域内。此时,确定部30基于终端装置10的位置信息,判断为用户(终端装置10)位于可使用密码功能的区域内。而且,确定部30基于终端装置10的位置信息,判断为用户(终端装置10)位于可使用数据发送功能的区域内。另外,数据发送功能是通过数据发送软件而实现的功能。
当用户(终端装置10)位于密码功能的区域内时,确定部30将密码功能识别为使用对象候补功能。同样,当用户(终端装置10)位于数据发送功能的区域内时,确定部30将数据发送功能识别为使用对象候补功能。
当如上所述般识别有多个功能时,控制部26使备选区域146显示于用户用的显示区域56b内,并使功能图像显示于所述备选区域146内。备选区域146是显示使用对象候补功能的信息的区域,图16所示的示例中,作为候补信息的一例而显示有功能图像。例如,控制部26使与如上所述般经识别的功能关联的功能图像显示于所述备选区域146内。图16所示的示例中,在所述备选区域146内,显示有功能图像148、150。功能图像148是与密码功能(密码设定软件)关联的图像。功能图像150是与数据发送功能(数据发送软件)关联的图像。当如此般识别有功能时,控制部26使与功能关联的功能图像显示于备选区域146内。当然,控制部26也可使表示所识别的功能的文字信息取代功能图像、或者与功能图像一同,显示于备选区域146内。
另外,当用户仅位于密码功能的区域内时,在备选区域146内,仅显示与密码功能关联的功能图像148。同样,当用户仅位于数据发送功能的区域内时,在备选区域146内,仅显示与数据发送功能关联的功能图像150。
而且,若存在在备选区域146内显示不下的其他功能图像,则用户对显示在备选区域146内的功能图像进行滚动操作,从而使所述其他功能图像显示在备选区域146内。
用户可从备选区域146中选择与使用对象功能关联的图像(图16所示的示例中为功能图像148)并使其移动到备选区域146的外侧,从而将所述功能图像148作为用户的发言内容而发送至自动应答AI。另外,也可通过用户将表示使用对象功能的文字信息或语音信息输入至终端装置10,从而将表示使用对象功能的信息发送至自动应答AI。
如上所述,当由用户指定了使用对象功能时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为所述功能的显示。图16所示的示例中,用户通过指定功能图像148而指定了密码功能作为使用对象功能,因此控制部26使与密码功能关联的功能图像134取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。
以下,与第5实施方式同样,控制部26使“要对哪个文件添加密码?”这一发言内容152作为多功能一体机B的发言内容而显示于显示区域56a内。
当用户(终端装置10)移动到密码功能的区域外时,控制部26使与通用的自动应答AI关联的图像58取代与密码功能关联的功能图像134而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26从备选区域146内删除与密码功能关联的功能图像148。当用户(终端装置10)移动到数据发送功能的区域外时,控制部26从备选区域146内删除与数据发送功能关联的功能图像150。另外,当用户移动到新的功能的区域内时,将所述新的功能识别为使用对象候补功能,将所述新的功能的信息(例如与所述新的功能关联的功能图像)显示在备选区域146内。
如上所述,根据第6实施方式,当用户(终端装置10)位于多个功能的区域内时,将所述多个功能识别为使用对象候补功能,应答中的对话对方的显示切换为由用户从所述多个功能中选择的功能的显示。借此,用户能够在视觉上确认应答中的对话对方。
也可将对话对方的显示由通用的自动应答AI的显示切换为功能的显示,并且将作为用户的对话对方的自动应答AI(例如程序)由通用的自动应答AI切换为分配给所述功能的自动应答AI。
当用户位于多个功能的区域内时,也可由确定部30将所述多个功能中最靠近用户的功能识别为使用对象功能,由控制部26将通用的自动应答AI的显示切换为最靠近用户的功能的显示。
(变形例4)
以下对变形例4进行说明。变形例4中,与所述变形例3同样,控制部26根据用户的位置,来控制与功能相关的指示向应答中的对话对方的输出。例如,当用户位于多个功能的区域内时,控制部26受理与所述多个功能各自相关的来自用户的指示。
例如,当用户位于密码功能的区域与数据发送功能的区域这两个区域中时,控制部26受理与密码功能和数据发送功能相关的用户指示。用户通过使用终端装置10的UI部20,能够将密码的设定处理的指示给予至密码设定软件,且能够将数据发送处理的指示给予至数据发送软件。
而且,如所述第6实施方式般,当由用户从多个功能中选择了功能时,控制部26也可受理与所述所选择的功能相关的来自用户的指示。图16所示的示例中,尽管用户位于密码功能与数据发送功能这两者的区域中,但用户选择了密码功能。此时,控制部26受理与密码功能相关的用户指示。
而且,当用户位于多个功能的区域内时,控制部26也可受理与所述多个功能中最靠近用户的功能相关的来自用户的指示。
根据变形例4,当用户位于多个功能的区域内时,能够针对功能而构建安全的环境。
另外,变形例4中,当用户位于功能的区域内时,控制部26也可将与对话对方关联的图像由与通用的自动应答AI关联的图像切换为与所述功能关联的图像,还可不切换。
<第7实施方式>
以下,对第7实施方式进行说明。第6实施方式中,由用户选择了一个功能,但第7实施方式中,由用户选择多个功能。
图17中表示了第7实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用多个功能来执行的联动功能的信息。所述联动功能管理表中,作为一例,功能ID的组合(例如用于识别软件的ID的组合)、表示功能名(例如软件名)的信息、与表示可利用多个功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表,从而确定可利用多个功能来执行的联动功能。
例如,作为功能的软件α是发送数据的软件,作为功能的软件β是对数据添加密码的软件。通过将软件α、β予以组合,例如实现对数据添加密码后予以发送的联动功能。对于其他软件,也同样规定有可执行的联动功能。
另外,也可规定通过利用三个以上的功能(例如软件)而可执行的联动功能。此时,三个以上的功能的组合与联动功能相对应,且将所述对应登记在联动功能管理表中。
图18中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容154作为自动应答AI的发言内容而显示于显示区域56a内。
第7实施方式中,与所述第6实施方式同样地设为:用户(终端装置10)位于密码功能的区域与数据发送功能的区域这两个区域中。此时,在备选区域146内,显示与密码功能关联的功能图像148和与数据发送功能关联的功能图像150。
用户例如可从备选区域146中选择功能图像148、150并使其移动到备选区域146的外侧,从而将功能图像148、150作为用户的发言内容而发送至自动应答AI。图18所示的示例中,生成表示功能图像148、150的图像156,将所述图像156发送至自动应答AI。另外,用户也可通过将表示作为使用对象的多个功能的文字信息或语音信息输入至终端装置10,从而将表示作为使用对象的多个功能的信息发送至自动应答AI。
如上所述,当由用户指定了作为使用对象的多个功能时,确定部30将所述多个功能识别为联动对象功能,且例如在图17所示的联动功能管理表中,确定与所述多个功能的组合对应的联动功能。由此来识别可使用所述多个功能来执行的联动功能。
所述示例中,确定部30将与功能图像148关联的密码功能和与功能图像150关联的数据发送功能识别为联动对象功能,且在图17所示的联动功能管理表中,确定跟密码功能与数据发送功能的组合对应的联动功能(例如添加密码后转发数据的功能等)。由此来识别可利用密码功能与数据发送功能来执行的联动功能。另外,功能或联动功能的确定处理也可由服务器16来进行。
而且,当由用户指定了作为使用对象的多个功能时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的多个功能的显示。
所述示例中,由于指定了密码功能与数据发送功能作为联动对象功能,因此控制部26使与密码功能关联的功能图像134和与数据发送功能关联的功能图像158取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。当然,控制部26也可使表示密码功能与数据发送功能的字符串取代功能图像134、158或者与功能图像134、158一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使用于确认由用户所指定的多个功能的发言内容160,作为自动应答AI的发言内容而显示于显示区域56a内。当指定了密码功能与数据发送功能来作为联动对象功能时,例如将“是密码功能与数据发送功能吧?”这一发言内容160作为自动应答AI的发言内容而显示于显示区域56a内。
当用户认可了所述发言内容160时(例如,用户发出“是的。”这一发言内容162时),控制部26使与可利用密码功能与数据发送功能来执行的联动功能相关的信息,作为密码功能与数据发送功能的发言内容164而显示于显示区域56a内。所述发言内容164自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容164作为与密码功能的功能图像134和数据发送功能的功能图像158关联的发言内容而显示于显示区域56a内,以使得如同是密码功能与数据发送功能发表了所述发言内容164一般。
当用户针对所述发言内容164而通过发言内容166来指定联动功能并给予了执行指示时,控制部26(例如通过自动应答AI而实现的控制部26)接受所述执行指示,并控制联动功能的执行。作为另一例,也可在画面56上显示用于指示联动功能的执行的按钮图像,用户通过按下所述按钮图像来给予联动功能的执行指示。例如,控制部26启动密码设定软件与数据发送软件,通过密码设定软件来对由用户所指定的文件设定密码,通过数据发送软件来将设定了密码的文件发送至由用户所指定的转发目标。
当用户(终端装置10)移动到密码功能与数据发送功能的区域外时,控制部26使与通用的自动应答AI关联的图像58取代功能图像134、158而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26从备选区域146内删除与密码功能关联的功能图像148和与数据发送功能关联的功能图像150。
另外,当用户移动到密码功能的区域外但位于数据发送功能的区域内时,控制部26也可使功能图像158作为与对话对方关联的图像而显示于显示区域56a内。此时,确定部30将数据发送功能识别为使用对象功能。当用户移动到数据发送功能的区域外但位于密码功能的区域内时也同样。
如上所述,根据第7实施方式,应答中的对话对方的显示切换为作为联动对象的多个功能的显示。借此,用户能够在视觉上确认应答中的对话对方。
另外,当显示有多个功能作为对话对方时,用户的对话对方既可为搭载于终端装置10中的通用的自动应答AI,也可由所述通用的自动应答AI切换为对所述多个功能各自分配的自动应答AI。例如,当在终端装置10或服务器16等保存有分配给密码功能的自动应答AI时,也可由分配给密码功能的自动应答AI作为对话对方发挥功能。同样,当在终端装置10或服务器16等中保存有分配给数据发送功能的自动应答AI时,也可由分配给数据发送功能的自动应答AI作为对话对方发挥功能。当保存有密码功能与数据发送功能这两者的自动应答AI时,也可由密码功能或数据发送功能的任一者的自动应答AI作为对话对方发挥功能。
图18所示的示例中,两个功能的信息被发送至自动应答AI,但也可将三个以上的功能的信息(例如三个以上的功能图像、或表示三个以上的功能的字符串)发送至自动应答AI。此时,取代与自动应答AI关联的图像58,而将三个以上的功能图像作为与对话对方关联的图像而显示于显示区域56a内。而且,图13A至图13E所示的显示例也可适用于第7实施方式。
另外,也可在第7实施方式中适用变形例3、4。即,控制部26在用户位于多个功能的区域内时,受理可利用所述多个功能来执行的联动功能的执行指示,当用户未位于所述多个功能的区域内时,不受理可利用所述多个功能来执行的联动功能的执行指示。
<第8实施方式>
以下,参照图19来说明第8实施方式。图19中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容168作为自动应答AI的发言内容而显示于显示区域56a内。
第8实施方式中,与所述第7实施方式同样地设为:用户(终端装置10)位于密码功能的区域与数据发送功能的区域这两个区域中。此时,确定部30将密码功能与数据发送功能识别为联动对象功能,且在图17所示的联动功能管理表中,确定跟密码功能与数据发送功能的组合对应的联动功能。由此来识别可利用密码功能与数据发送功能来执行的联动功能。
而且,由于用户位于密码功能的区域与数据发送功能的区域这两个区域中,因此控制部26使与密码功能关联的功能图像134和与数据发送功能关联的功能图像158取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。控制部26使用于确认已将密码功能与数据发送功能识别为联动对象功能的发言内容172作为密码功能与数据发送功能的发言内容而显示于显示区域56a内。
而且,当用户发表“想要利用密码功能与数据发送功能”等而请求功能的利用时,也可将表示此请求的字符串作为用户的发言内容170而显示于显示区域56b内。当如此般由用户将发言内容170输入至终端装置10时,也可由确定部30将密码功能与数据发送功能识别为联动对象功能,由控制部26将与自动应答AI关联的图像58切换为功能图像134、158。
当用户认可了发言内容172时(例如用户发出“是的。”这一发言内容174时),控制部26使与可利用密码功能与数据发送功能来执行的联动功能相关的信息作为密码功能与数据发送功能的发言内容176而显示于显示区域56a内。所述发言内容176自身是由通用的自动应答AI所制作的发言内容。通过用户的发言内容178,指定了作为执行对象的联动功能。以下的处理与所述第7实施方式相同。
如上所述,根据第8实施方式,当用户位于多个功能的区域内时,应答中的对话对方的显示切换为所述多个功能的显示。借此,用户能够在视觉上确认应答中的对话对方。
另外,对话对方也可由通用的自动应答AI切换为多个功能的自动应答AI。而且,当用户位于三个以上的功能的区域内时(即,当用户位于三个以上的功能的区域彼此重合的区域中时),对话对方的显示切换为所述三个以上的功能的显示。而且,图13A至图13E所示的显示例也可适用于第8实施方式。
另外,也可在第8实施方式中适用变形例3、变形例4。即,控制部26在用户位于多个功能的区域内时,受理可利用所述多个功能来执行的联动功能的执行指示,当用户未位于所述多个功能的区域内时,不受理可利用所述多个功能来执行的联动功能的执行指示。
<第9实施方式>
以下对第9实施方式进行说明。第9实施方式相当于所述第4实施方式与第8实施方式的组合。即,当用户位于机器的区域与功能的区域这两者的区域中时,与对话对方关联的图像切换为与所述机器关联的机器图像和与所述功能关联的功能图像。以下,对第9实施方式进行详细说明。
图20中表示了第9实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用机器与功能(例如软件)来执行的联动功能的信息。所述联动功能管理表中,作为一例,ID的组合(机器ID与功能ID的组合)、表示机器名及功能名的信息、与表示可利用机器和功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表,从而确定可利用机器与功能来执行的联动功能。例如,通过将作为机器A的PC(A)与作为功能α的数据发送功能予以组合,例如实现利用PC(A)来发送数据的联动功能。对于其他机器与功能,也同样规定有可执行的联动功能。
另外,也可规定通过利用合计三个以上的机器或功能而可执行的联动功能。此时,三个以上的机器或功能的组合与联动功能相对应,且将所述对应登记在联动功能管理表中。
图21中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容180作为自动应答AI的发言内容而显示于显示区域56a内。
第9实施方式中设为:用户(终端装置10)位于多功能一体机B的区域与密码功能的区域这两个区域中。此时,确定部30将多功能一体机B识别为联动对象机器,将密码功能识别为联动对象功能。而且,确定部30在图20所示的联动功能管理表中,确定跟多功能一体机B与密码功能的组合对应的联动功能。由此,确定可利用多功能一体机B与密码功能来执行的联动功能。
而且,由于用户位于多功能一体机B的区域与密码功能的区域这两个区域中,因此控制部26使与多功能一体机B关联的机器图像66和与密码功能关联的功能图像134取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。控制部26使用于确认已将多功能一体机B与密码功能识别为联动对象的发言内容184作为多功能一体机B与密码功能的发言内容而显示于显示区域56a内。
而且,当用户发表“想要利用多功能一体机B与密码功能”等而请求机器和功能的利用时,也可将表示此请求的字符串作为用户的发言内容182而显示于显示区域56b内。当如此般由用户将发言内容182输入至终端装置10时,也可由确定部30将多功能一体机B与密码功能识别为联动对象,由控制部26将与自动应答AI关联的图像58切换为图像66、134。
当用户认可了发言内容184时(例如用户发出“是的。”这一发言内容186时),控制部26使与可利用多功能一体机B与密码功能来执行的联动功能相关的信息作为多功能一体机B与密码功能的发言内容188而显示于显示区域56a内。所述发言内容188自身是由通用的自动应答AI所制作的发言内容。以下的处理与所述第7实施方式相同。
例如,当由用户给予有“对所扫描的数据设定密码的功能”的执行指示时,控制部26将扫描转发的执行指示给予至多功能一体机B。多功能一体机B依照所述执行指示来执行扫描,并将由此而生成的数据转发至终端装置10。控制部26进而启动密码设定软件,通过密码设定软件来对所述数据设定密码。
当用户(终端装置10)移动到多功能一体机B与密码功能的区域外时,控制部26使与通用的自动应答AI关联的图像58取代机器图像66与功能图像134而作为与对话对方关联的图像显示于显示区域56a内。
另外,当用户移动到密码功能的区域外但位于多功能一体机B的区域内时,控制部26也可使机器图像66作为与对话对方关联的图像而显示于显示区域56a内。此时,确定部30将多功能一体机B识别为使用对象机器。当用户移动到多功能一体机B的区域外但位于密码功能的区域内时也同样。
如上所述,根据第9实施方式,应答中的对话对方的显示切换为联动对象机器与功能的显示。借此,用户能够在视觉上确认应答中的对话对方。
第9实施方式中,机器图像用的备选区域或功能图像用的备选区域也可显示于显示区域56b内。所述示例中,在机器图像用的备选区域内显示与多功能一体机B关联的机器图像,在功能图像用的备选区域内显示与密码功能关联的功能图像。用户可从各备选区域中选择机器图像与功能图像,并作为用户的发言内容而发送至自动应答AI。确定部30将与由用户所选择的机器图像关联的机器或与功能图像关联的功能识别为联动对象。确定部30在用户未选择功能图像而只选择了一个机器图像时,将与所述机器图像关联的机器识别为使用对象机器,在未选择功能图像而选择了多个机器图像的情况下,将多个机器识别为联动对象机器。同样,确定部30在用户未选择机器图像而只选择了一个功能图像时,将与所述功能图像关联的功能识别为使用对象功能,在未选择机器图像而选择了多个功能图像时,将多个功能识别为联动对象功能。
用户的对话对方既可为搭载于终端装置10中的通用的自动应答AI,也可由所述通用的自动应答AI切换为对机器与功能各自分配的自动应答AI。
也可在第9实施方式中适用变形例1至变形例4。
<第10实施方式>
以下,对第10实施方式进行说明。第10实施方式中,根据用户的位置,将对话对方的显示切换为文件(数据)的显示。例如,根据用户的位置来改变可使用的文件,与此相应地,将对话对方的显示切换为文件的显示。
例如,预先制作一管理信息,并将所述管理信息存储在终端装置10的存储部24中,所述管理信息表示区域、与在此区域中可使用的文件的对应。当然,管理信息也可不存储在终端装置10中,而是存储在服务器16等外部装置中。确定部30基于由位置信息获取部28所获取的终端装置10的位置信息,来识别终端装置10(用户)的位置,并在所述管理信息中,确定与包含用户位置的区域对应的文件。所述文件是用户在所处的场所可通过终端装置10来使用的文件。例如,规定限定于特定的办公室才可使用的文件,并将所述特定的办公室的位置与所述文件相对应地登记在管理信息中。当用户位于所述特定的办公室内时,可通过终端装置10来进行与所述特定的办公室对应的文件的使用。另外,文件既可存储在终端装置10中,还可存储在服务器16等外部装置中。
此处对文件进行说明。文件例如为文档文件、图像文件、视频文件、电子表格文件、演示文稿(presentation)用文件、图形(图面)文件、音频文件等。
文档文件是具有文档格式(document format)的文件,是包含字符串或其他信息的文件。图像、表或图形也可作为其他信息而包含在文档文件中。文档格式例如为文本(text)格式或档案(document)格式等。具有文本格式的数据(例如附有字符串“.txt”作为扩展名的数据)、或具有档案格式的数据(例如附有字符串“.doc”或“.docx”作为扩展名的数据)等相当于文档文件。
图像文件是具有图像格式(image format)的文件。图像文件既可为具有光栅(raster)格式的图像数据,也可为具有矢量(vector)格式的图像数据。图像格式例如为JPEG格式、BMP(位图(bitmap))格式、PDF格式、GIF格式、TIFF格式、PNG格式、PICT格式等。具有JPEG格式的数据(附有字符串“.jpeg”作为扩展名的数据)、具有BMP格式的数据(附有字符串“.bmp”作为扩展名的数据)、具有PDF格式的数据(附有字符串“.pdf”作为扩展名的数据)、具有GIF格式的数据(附有字符串“.gif”作为扩展名的数据)、具有TIFF格式的数据(附有字符串“.tiff”作为扩展名的数据)、具有PNG格式的数据(附有字符串“.png”作为扩展名的数据)、具有PICT格式的数据(附有字符串“.pict”作为扩展名的数据)等相当于图像文件。也可使用具有除这些以外的格式的图像文件。
视频文件是具有视频格式(video format)的文件。视频格式例如为AVI格式、MP4格式、MOV格式、MPEG2-TS格式、MPEG2-PS格式、WMV格式、FLV格式等。具有AVI格式的数据(附有字符串“.avi”作为扩展名的数据)、具有MP4格式的数据(附有字符串“.mp4”作为扩展名的数据)、具有MOV格式的数据(附有字符串“.mov”作为扩展名的数据)、具有MPEG2-TS格式的数据(附有字符串“.m2ts”作为扩展名的数据)、具有MPEG2-PS格式的数据(附有字符串“.mpeg”作为扩展名的数据)、具有WMV格式的数据(附有字符串“.wmv”作为扩展名的数据)、具有FLV格式的数据(附有字符串“.flv”作为扩展名的数据)等相当于视频文件。也可使用具有除这些以外的格式的视频文件。
电子表格文件是具有表格式(table format)的文件,是包含表、图表(graph)或其他信息的文件。字符串、图像或图形也可作为其他信息而包含在电子表格文件中。例如是附有字符串“.csv”、“.xls”或“.xlsx”作为扩展名的数据。
演示文稿用文件是具有演示文稿用工作表格式(sheet format)的文件。例如,附有字符串“.ppt”或“.pptx”作为扩展名的数据相当于演示文稿用文件。演示文稿用文件例如包含字符串、图像(静态图像或动态图像)、图形、音频等。
图形文件是具有图形(图面)格式(graphic format)的文件。图形文件例如是通过图形制作软件(例如二维计算机辅助设计(Computer Aided Design,CAD)或三维CAD等)制作的文件。例如,具有DXF格式(format)的数据(附有字符串“.dxf”作为扩展名的数据)、具有DWG格式的数据(附有字符串“.dwg”作为扩展名的数据)等。除此以外,附有“.vsd”或“.vsdx”作为扩展名的数据也可作为图形文件来处理。
音频文件是具有音频格式(audio format)的文件。音频格式例如为非压缩音频格式(WAV格式、AIFF格式、BWF格式等)、不可逆压缩音频格式(mp3格式、AAC格式、WMA格式等)、可逆压缩音频格式(TAK格式、FLAC格式等)等。具有非压缩音频格式的数据(附有“.wav”等作为扩展名的数据)、具有不可逆压缩音频格式的数据(附有字符串“.mp3”等作为扩展名的数据)、具有非压缩音频格式的数据(附有字符串“.tak”等作为扩展名的数据)等相当于音频文件。
以下,参照图22来详细说明第10实施方式。图22中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容192作为自动应答AI的发言内容而显示于显示区域56a内。
位置信息获取部28获取终端装置10(用户)的位置信息,确定部30基于所述位置信息来识别终端装置10的位置。例如,当用户位于可使用文档文件A的区域内时,确定部30基于终端装置10的位置信息,判断为用户(终端装置10)位于可使用文档文件A的区域内。
当用户(终端装置10)位于可使用文档文件A的区域内时,确定部30将文档文件A识别为使用对象的文件。
当用户(终端装置10)位于文件的区域内时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为所述文件的显示(例如与所述文件关联的图像或表示所述文件的字符串)。
所述示例中,由于用户位于文档文件A的区域内,因此控制部26使与文档文件A关联的文件图像196取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。文件图像例如为表示文件的图标等图像。
控制部26也可使表示文档文件A的字符串取代文件图像196、或者与文件图像196一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使“是否打开文档文件A?”这一发言内容198作为文档文件A的发言内容而显示于显示区域56a内。所述发言内容198自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容198作为与文档文件A的文件图像196关联的发言内容而显示于显示区域56a内,以使得如同是文档文件A发表了所述发言内容198一般。
而且,当用户发表“想要利用文档文件A”等而请求文件的利用时,也可将表示此要求的字符串作为用户的发言内容194而显示于显示区域56b内。
当如上所述般由用户将发言内容194输入至终端装置10时,也可由确定部30将文档文件A识别为使用对象文件,由控制部26将与自动应答AI关联的图像58切换为与文档文件A关联的文件图像196。
当用户针对所述发言内容198而指示文件的揭示时(例如输入有“是的。”这一发言内容200时),将所述发言内容200作为用户的发言内容而显示于显示区域56b内。
控制部26在收到揭示指示时,使表示启动与文档文件A关联的文档软件的意旨的发言内容202作为自动应答AI的发言内容而显示于显示区域56a内。而且,控制部26启动文档软件,通过所述文档软件来使文档文件A显示于UI部20的显示部。例如,用户通过使用文档软件,能够对文档文件A进行编辑。
当用户(终端装置10)移动到文档文件A的区域外时,控制部26使与通用的自动应答AI关联的图像58取代与文档文件A关联的文件图像196而作为与对话对方关联的图像显示于显示区域56a内。
如上所述,根据第10实施方式,当用户(终端装置10)位于文件的区域内时,将所述文件识别为使用对象文件,应答中的对话对方的显示切换为所述文件的显示。借此,用户能够在视觉上确认应答中的对话对方。
另外,当针对每个文件而分配有自动应答AI时,也可将对话对方的显示由通用的自动应答AI的显示切换为文件的显示,并且将作为用户的对话对方的自动应答AI由通用的自动应答AI切换为分配给所述文件的自动应答AI。
(变形例5)
以下,对变形例5进行说明。变形例5中,控制部26根据用户的位置,来控制与文件相关的指示向应答中的对话对方的输出。例如,当用户位于所述文件的区域内时,控制部26受理与所述文件相关的来自用户的指示。另一方面,当用户位于所述文件的区域外时,控制部26不受理与所述文件相关的来自用户的指示。借此,当用户位于文件的区域内时,用户能够对所述文件给予指示,当用户位于文件的区域外时,用户无法对所述文件给予指示。由于能够对文件给予指示的区域受到限定,因此对所述文件的安全性可提高。例如,通过以只有在办公室内停留在特定房间内的用户才能对与所述特定房间对应的文件给予指示的方式,对此文件的区域进行设定,从而对此文件的安全性可提高。
例如,当用户位于文档文件A的区域内时,控制部26受理用户对文档文件A的指示。例如,用户通过使用终端装置10的UI部20,能够对文档文件A进行编辑。另一方面,当用户位于文档文件A的区域外时,控制部26不受理用户对文档文件A的指示。此时,用户无法对文档文件A进行编辑。另外,也可禁止文档文件A的显示。借此,能够针对文档文件A而构建安全的环境。
另外,变形例5中,当用户位于文件的区域内时,控制部26也可将与对话对方关联的图像由与通用的自动应答AI关联的图像切换为与所述文件关联的图像,还可不切换。
<第11实施方式>
以下,参照图23来说明第11实施方式。所述第10实施方式中,对一个文件进行识别,但第11实施方式中,对多个文件进行识别。
图23中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容204作为自动应答AI的发言内容而显示于显示区域56a内。
位置信息获取部28获取终端装置10的位置信息,确定部30基于所述位置信息来识别终端装置10的位置。
例如设为:用户位于可使用文档文件A的区域与可使用图像文件C的区域这两个区域中。即设为:用户位于文档文件A的区域与图像文件C的区域彼此重合的区域内。此时,确定部30基于终端装置10的位置信息,判断为用户(终端装置10)位于可使用文档文件A的区域内。而且,确定部30基于终端装置10的位置信息,判断为用户(终端装置10)位于可使用图像文件C的区域内。
当用户(终端装置10)位于文档文件A的区域内时,确定部30将文档文件A识别为使用对象候补文件。同样,当用户(终端装置10)位于图像文件C的区域内时,确定部30将图像文件C识别为使用对象候补文件。
当如上所述般识别有多个文件时,控制部26使备选区域206显示于用户用的显示区域56b内,并使文件图像显示于所述备选区域206内。备选区域206是显示使用对象候补文件的信息的区域,图23所示的示例中,作为候补信息的一例而显示有文件图像。例如,控制部26使与如上所述般经识别的文件关联的文件图像显示于所述备选区域206内。图23所示的示例中,在所述备选区域206内,显示有文件图像208、210。文件图像208是与文档文件A关联的图像。文件图像210是与图像文件C关联的图像。当如此般识别有文件时,控制部26使与文件关联的文件图像显示于备选区域206内。当然,控制部26也可使表示所识别的文件的文字信息取代文件图像、或者与文件图像一同,显示于备选区域206内。
另外,当用户仅位于文档文件A的区域内时,在备选区域206内,仅显示与文档文件A关联的文件图像208。同样,当用户仅位于图像文件C的区域内时,在备选区域206内,仅显示与图像文件C关联的文件图像210。
而且,若存在在备选区域206内显示不下的其他文件图像,则用户对显示在备选区域206内的文件图像进行滚动操作,从而使所述其他文件图像显示在备选区域206内。
用户可从备选区域206中选择与使用对象文件关联的图像(图23所示的示例中为文件图像208)并使其移动到备选区域206的外侧,从而将所述文件图像208作为用户的发言内容而发送至自动应答AI。另外,也可通过用户将表示使用对象文件的文字信息或语音信息输入至终端装置10,从而将表示使用对象文件的信息发送至自动应答AI。
如上所述,当由用户指定了使用对象文件时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为所述文件的显示。图23所示的示例中,用户通过指定文件图像208而指定了文档文件A作为使用对象文件,因此控制部26使与文档文件A关联的文件图像196取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。
以下,与第10实施方式同样,控制部26使“是否打开文档文件A?”这一发言内容212作为文档文件A的发言内容而显示于显示区域56a内。
当用户(终端装置10)移动到文档文件A的区域外时,控制部26使与通用的自动应答AI关联的图像58取代与文档文件A关联的文件图像196而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26从备选区域206内删除与文档文件A关联的文件图像208。当用户(终端装置10)移动到图像文件C的区域外时,控制部26从备选区域206内删除与图像文件C关联的文件图像210。另外,当用户移动到新的文件的区域内时,将所述新的文件识别为使用对象候补文件,将所述新的文件的信息(例如与所述新的文件关联的文件图像)显示在备选区域206内。
如上所述,根据第11实施方式,当用户(终端装置10)位于多个文件的区域内时,将所述多个文件识别为使用对象候补文件,应答中的对话对方的显示切换为由用户从所述多个文件中选择的文件的显示。借此,用户能够在视觉上确认应答中的对话对方。
也可将对话对方的显示由通用的自动应答AI的显示切换为文件的显示,并且将作为用户的对话对方的自动应答AI(例如程序)由通用的自动应答AI切换为分配给所述文件的自动应答AI。
当用户位于多个文件的区域内时,也可由确定部30将所述多个文件中最靠近用户的文件识别为使用对象文件,由控制部26将通用的自动应答AI的显示切换为最靠近用户的文件的显示。
(变形例6)
以下对变形例6进行说明。变形例6中,与所述变形例5同样,控制部26根据用户的位置,来控制与文件相关的指示向应答中的对话对方的输出。例如,当用户位于多个文件的区域内时,控制部26受理与所述多个文件各自相关的来自用户的指示。
例如,当用户位于文档文件A的区域与图像文件C的区域这两个区域时,控制部26受理与文档文件A和图像文件C相关的用户指示。例如,用户通过使用终端装置10的UI部20,能够对文档文件A和图像文件C进行编辑。
而且,当由用户从多个文件中选择了文件时,控制部26也可受理与所述所选择的文件相关的来自用户的指示。图23所示的示例中,尽管用户位于文档文件A与图像文件C这两者的区域中,但用户选择了文档文件A。此时,控制部26受理与文档文件A相关的用户指示。
而且,当用户位于多个文件的区域内时,控制部26也可受理与所述多个文件中最靠近用户的文件相关的来自用户的指示。
根据变形例6,当用户位于多个文件的区域内时,能够针对文件而构建安全的环境。
另外,变形例6中,当用户位于文件的区域内时,控制部26也可将与对话对方关联的图像由与通用的自动应答AI关联的图像切换为与所述文件关联的图像,还可不切换。
<第12实施方式>
以下对第12实施方式进行说明。第11实施方式中,由用户选择了一个文件,但第12实施方式中,由用户选择多个文件。
第12实施方式的联动功能管理信息是用于对通过使多个功能联动而执行的联动功能进行管理的信息。联动功能是通过使多个软件联动而实现的功能。当然,联动功能也可为通过使作为硬件的机器所具有的功能与借助软件实现的功能联动而实现的功能。
第12实施方式中,联动功能是将多个文件作为对象来执行的功能。例如,对应于各个文件,分别关联有对此文件执行处理的软件(应用程序)。联动功能是通过使与由用户所选择的多个文件各自关联的应用程序联动而实现的功能。
联动功能是针对每种文件格式(属性)而定,联动功能管理信息例如是表示:表示多个文件格式的组合的信息、与表示联动功能的信息(联动功能信息)的对应的信息。联动功能信息例如是联动功能ID或联动功能名称等。文件格式为所述文档格式、图像格式、视频格式、表格式、工作表格式、图形格式、音频格式等。通过参照联动功能管理信息,来确定(识别)与多个文件格式的组合对应的联动功能。
联动功能既可为通过使互不相同的多个功能(例如互不相同的软件)联动而实现的功能,也可为通过使同一功能(例如同一软件)联动而实现的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功能既可为通过使相同的功能联动而变得可用的功能,也可为通过使互不相同的功能组合而变得可用的功能。例如,通过使文档制作功能(文档软件)与图像显示功能(图像软件(例如图像查看器(viewer)))联动,从而作为联动功能,实现在文档中插入(添加)图像的功能、或者在图像上重叠文档(字符串、文本)的功能。即,通过使文档制作功能与图像显示功能联动,实现图像插入功能或文本重叠功能。
由联动功能管理信息所管理的联动功能既可为可由安装于终端装置10的软件来执行的功能,也可为可由安装于外部装置(例如服务器或其他终端装置等)的软件来执行的功能,还可为可由安装于终端装置10的软件和安装于外部装置的软件来执行的功能。
以下,参照图24来详细说明第12实施方式的联动功能管理信息。图24中表示了第12实施方式的联动功能管理表的一例。联动功能管理表中,作为一例,表示多个文件格式的组合的信息、与表示联动功能的信息(联动功能信息)彼此对应。当将多个文件识别为联动对象文件时,确定部30在联动功能管理表中,确定与所述多个文件各自的文件格式的组合对应的联动功能。与所述联动功能相关的信息显示于UI部20的显示部。另外,图24中表示了两个文件格式的组合,但也可将三个以上的文件格式的组合与联动功能的对应登记在联动功能管理表中。
以下,对图24所示的各联动功能进行说明。
图24中的“文档格式”为文本格式(扩展名为“.txt”)或档案格式(扩展名为“.doc”或“.docx”)。“表格式”为扩展名以“.csv”或“.xls”等来表达的格式。图像格式为扩展名以“.jpeg”或“.pdf”等来表达的格式。视频格式为扩展名以“.avi”或“.mpeg”等来表达的格式。工作表格式为扩展名以“.ppt”等来表达的格式。图24中,未表示图形格式或音频格式,但包含它们的组合与联动功能的对应也可登记在联动功能管理表中。当然,也可规定包含图24所示的文件格式以外的文件格式的组合与联动功能的对应,并登记到联动功能管理表中。
以下,对图24所示的各联动功能进行说明。在将文档文件A与电子表格文件B识别为联动对象文件的情况下,确定跟文档格式与表格式的组合对应的、“将表插入文档中的功能”与“将文档插入表中的功能”作为联动功能。“将表插入文档中的功能”是指将由电子表格文件B所表示的表插入由文档文件A所表示的文档中的功能。“将文档插入表中的功能”是指将由文档文件A所表示的文档插入由所述电子表格文件B所表示的表中的功能。
在将文档文件A与图像文件C识别为联动对象文件的情况下,确定跟文档格式与图像格式的组合对应的、“将图像插入文档中的功能”与“将文档重叠于图像上的功能”作为联动功能。“将图像插入文档中的功能”是指将由图像文件C所表示的图像插入由文档文件A所表示的文档中的功能。“将文档重叠于图像上的功能”是指将由文档文件A所表示的文档重叠于由图像文件C所表示的图像上的功能。
在将文档文件A与视频文件D识别为联动对象文件的情况下,确定跟文档格式与视频格式的组合对应的、“将视频插入文档中的功能”与“将静态图像插入文档中的功能”作为联动功能。“将视频插入文档中的功能”是指将由视频文件D所表示的视频插入由文档文件A所表示的文档中的功能。“将静态图像插入文档中的功能”是指将构成视频文件D的一帧或多帧(静态图像)插入由文档文件A所表示的文档中的功能。例如,在文档文件A相当于不支持视频的文档文件,即,无法插入视频的文件的情况下,若执行“将静态图像插入文档中的功能”,则将视频文件D中的一帧或多帧(静态图像)插入由文档文件A所表示的文档中。
也可将具有同一文件格式的多个文件识别为联动对象文件。例如,在将文档文件A1、A2识别为联动对象文件的情况下,确定跟文档格式与文档格式的组合对应的、“将文档彼此合体的功能”作为联动功能。“将文档彼此合体的功能”是指如下所述的功能,即:通过将文档文件A1、A2所表示的文档合体(例如将两个文档结合),从而保留文档文件A1、A2、或者不保留文档文件A1、A2地,生成另外的新的文档文件A3。
在将电子表格文件B1、B2识别为联动对象文件的情况下,确定跟表格式与表格式的组合对应的、“将表彼此合体的功能”作为联动功能。“将表彼此合体的功能”是指如下所述的功能,即:通过将电子表格文件B1、B2所表示的表合体(例如将两个表结合),从而保留电子表格文件B1、B2、或者不保留电子表格文件B1、B2地,生成另外的新的电子表格文件B3。
在将视频文件D1、D2识别为联动对象文件的情况下,确定跟视频格式与视频格式的组合对应的、“将视频彼此合体的功能”作为联动功能。“将视频彼此合体的功能”是指如下所述的功能,即:通过将视频文件D1、D2所表示的视频合体(例如将两个视频结合),从而保留视频文件D1、D2、或者不保留视频文件D1、D2地,生成另外的新的视频文件D3。
除此以外,在将演示文稿用文件E与文档文件A识别为联动对象文件的情况下,确定跟工作表格式与文档格式的组合对应的、“将文档插入演示文稿用工作表中的功能”作为联动功能。“将文档插入演示文稿用工作表中的功能”是指将由文档文件A所表示的文档插入由演示文稿用文件E所表示的工作表中的功能。
另外,也可将与三个以上的文件对应的联动功能登记在联动功能管理表中。
另外,联动功能管理表中,文件名的组合与联动功能也可彼此对应。当将多个文件识别为联动对象文件时,确定部30在所述联动功能管理表中,确定与多个文件名的组合对应的联动功能。
而且,确定部30也可基于被发送至自动应答AI的文件的名称,来确定被追加内容(contents)的文件。例如,当在文件的名称(文件名)中,含有如字符串“总账”、“汇总”、“管理”、“统计”、“图表”、“表”、“清单(list)”等般暗示为对数据进行汇总的文件(即,设想或预测为要追加其他数据内容的文件)的字符串时,确定部30将所述文件识别为内容追加目标文件。而且,确定部30将具有不含所述汇总用字符串的文件名的文件、或具有包含暗示为提供内容(材料)的文件的字符串的文件名的文件,识别为包含追加对象内容(追加对象材料)的文件。例如,具有包含字符串“收据(receipt)”、“发票”、“个人数据”、“机器数据”等的文件名的文件不相当于所述汇总用文件,而且,可判断为提供内容(材料)的文件。
图25中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容214作为自动应答AI的发言内容而显示于显示区域56a内。
第12实施方式中,与所述第11实施方式同样地设为:用户(终端装置10)位于文档文件A的区域与图像文件C的区域这两个区域中。此时,在备选区域206内,显示与文档文件A关联的文件图像208和与图像文件C关联的文件图像210。
用户例如可从备选区域206中选择文件图像208、210并使其移动到备选区域206的外侧,从而将文件图像208、210作为用户的发言内容而发送至自动应答AI。图25所示的示例中,生成表示文件图像208、210的图像216,将所述图像216发送至自动应答AI。另外,用户也可通过将表示作为使用对象的多个文件的文字信息或语音信息输入至终端装置10,从而将表示作为使用对象的多个文件的信息发送至自动应答AI。
如上所述,当由用户指定了作为使用对象的多个文件时,确定部30将所述多个文件识别为联动对象文件,且例如在图24所示的联动功能管理表中,确定与所述多个文件的组合对应的联动功能。由此来识别可使用所述多个文件来执行的联动功能。
所述示例中,确定部30将与文件图像208关联的文档文件A和与文件图像210关联的图像文件C识别为联动对象文件,且在图24所示的联动功能管理表中,确定跟文档格式与图像格式的组合对应的联动功能(例如,“将图像插入文档中的功能”、“将文档重叠于图像上的功能”)。由此来识别可对文档文件A与图像文件C执行的联动功能。另外,文件或联动功能的确定处理也可由服务器16来进行。
而且,当由用户指定了作为使用对象的多个文件时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为由用户所指定的多个文件的显示。
所述示例中,由于指定了文档文件A与图像文件C作为联动对象文件,因此控制部26使与文档文件A关联的文件图像196和与图像文件C关联的文件图像218取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。当然,控制部26也可使表示文档文件A与图像文件C的字符串取代文件图像196、218或者与文件图像196、218一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使用于确认由用户所指定的多个文件的发言内容220,作为自动应答AI的发言内容而显示于显示区域56a内。当指定了文档文件A与图像文件C作为联动对象文件时,例如将“是文档文件A与图像文件C吧?”这一发言内容220作为自动应答AI的发言内容而显示于显示区域56a内。
当用户认可了所述发言内容220时(例如,用户发出“是的。”这一发言内容222时),控制部26使与可对文档文件A与图像文件C执行的联动功能相关的信息作为文档文件A与图像文件C的发言内容224而显示于显示区域56a内。所述发言内容224自身是由通用的自动应答AI所制作的发言内容。控制部26使所述发言内容224作为与文档文件A的文件图像196和图像文件C的文件图像218关联的发言内容而显示于显示区域56a内,以使得如同是文档文件A与图像文件C发表了所述发言内容224一般。
当用户针对所述发言内容224而通过发言内容226来指定联动功能并给予了执行指示时,控制部26接受所述执行指示,并控制联动功能的执行。作为另一例,也可在画面56上显示用于指示联动功能的执行的按钮图像,用户通过按下所述按钮图像来给予联动功能的执行指示。例如,当由用户指定了“将图像插入文档中的功能”时,控制部26启动文档软件与图像软件,通过它们来将图像文件C插入文档文件A中。
当用户(终端装置10)移动到文档文件A与图像文件C的区域外时,控制部26使与通用的自动应答AI关联的图像58取代文件图像196、218而作为与对话对方关联的图像显示于显示区域56a内。而且,控制部26从备选区域206内删除与文档文件A关联的文件图像208和与图像文件C关联的文件图像210。
另外,当用户移动到文档文件A的区域外但位于图像文件C的区域内时,控制部26也可使文件图像218作为与对话对方关联的图像而显示于显示区域56a内。此时,确定部30将图像文件C识别为使用对象文件。当用户移动到图像文件C的区域外但位于文档文件A的区域内时也同样。
如上所述,根据第12实施方式,应答中的对话对方的显示切换为作为联动对象的多个文件的显示。借此,用户能够在视觉上确认应答中的对话对方。
当显示有多个文件作为对话对方时,用户的对话对方既可为搭载于终端装置10中的通用的自动应答AI,也可由所述通用的自动应答AI切换为对所述多个文件各自分配的自动应答AI。
图25所示的示例中,两个文件的信息被发送至自动应答AI,但也可将三个以上的文件的信息(例如三个以上的文件图像、或表示三个以上的文件的字符串)发送至自动应答AI。此时,取代与自动应答AI关联的图像58,而将三个以上的文件图像作为与对话对方关联的图像显示于显示区域56a内。而且,也可将图13A至图13E所示的显示例适用于第12实施方式。
另外,也可在第12实施方式中适用变形例5、变形例6。即,控制部26在用户位于多个文件的区域内时,受理可对所述多个文件执行的联动功能的执行指示,当用户未位于所述多个文件的区域内时,不受理可对所述多个文件执行的联动功能的执行指示。
<第13实施方式>
以下,参照图26来说明第13实施方式。图26中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容228作为自动应答AI的发言内容而显示于显示区域56a内。
第13实施方式中,与所述第12实施方式同样地设为:用户(终端装置10)位于文档文件A的区域与图像文件C的区域这两个区域中。此时,确定部30将文档文件A与图像文件C识别为联动对象文件,且在图24所示的联动功能管理表中,确定跟文档文件A与图像文件C的组合对应的联动功能。由此来识别可对文档文件A与图像文件C执行的联动功能。
而且,由于用户位于文档文件A的区域与图像文件C的区域这两个区域中,因此控制部26使与文档文件A关联的文件图像196和与图像文件C关联的文件图像218取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。控制部26使用于确认已将文档文件A与图像文件C识别为联动对象文件的发言内容232作为文档文件A与图像文件C的发言内容而显示于显示区域56a内。
而且,当用户发表“想要利用文档文件A与图像文件C”等而请求文件的利用时,也可将表示此请求的字符串作为用户的发言内容230而显示于显示区域56b内。当如此般由用户将发言内容230输入至终端装置10时,也可由确定部30将文档文件A与图像文件C识别为联动对象文件,由控制部26将与自动应答AI关联的图像58切换为文件图像196、218。
当用户认可了发言内容232时(例如,用户发出“是的。”这一发言内容234时),控制部26使与可对文档文件A与图像文件C执行的联动功能相关的信息作为文档文件A与图像文件C的发言内容236而显示于显示区域56a内。所述发言内容236自身是由通用的自动应答AI所制作的发言内容。通过用户的发言内容238而指定了作为执行对象的联动功能。以下的处理与所述第12实施方式相同。
如上所述,根据第13实施方式,当用户位于多个文件的区域内时,应答中的对话对方的显示切换为所述多个文件的显示。借此,用户能够在视觉上确认应答中的对话对方。
另外,对话对方也可由通用的自动应答AI切换为多个文件的自动应答AI。而且,当用户位于三个以上的文件的区域内时(即,当用户位于三个以上的文件的区域彼此重合的区域时),对话对方的显示切换为所述三个以上的文件的显示。而且,也可将图13A至图13E所示的显示例适用于第13实施方式。
也可在第13实施方式中适用变形例5、变形例6。即,控制部26在用户位于多个文件的区域内时,受理可对所述多个文件执行的联动功能的执行指示,当用户未位于所述多个文件的区域内时,不受理可对所述多个文件执行的联动功能的执行指示。
<第14实施方式>
以下对第14实施方式进行说明。第14实施方式中,根据用户的位置来改变自动应答AI的发言内容。而且,也可根据用户的位置来改变自动应答AI的发言内容,并且将对话对方的显示由通用的自动应答AI的显示切换为与用户的位置相应的显示。
例如,预先制作一管理信息,并将所述管理信息存储在终端装置10的存储部24中,所述管理信息表示区域、与在此区域中提供给终端装置10的内容的对应。当然,管理信息也可存储在服务器16等外部装置中。此时,管理信息也可不存储在终端装置10中。内容例如为文字信息、音频信息、图像数据(静态图像数据、视频数据)等。内容例如是与场所关联的信息。与场所关联的信息既可为与所述场所其自身相关的信息,也可为与所述场所关联的人物的信息。与场所其自身相关的信息例如为地名信息、地图信息、观光引导信息(例如观光名胜等的信息)、购物(shopping)信息、设施(店铺、住宿设施、公共设施等)的信息、特产信息、与产业相关的信息、交通引导信息、气象信息、在此场所发生的事件的信息(例如历史上的事件等的信息)等。人物信息例如是历史上的人物(伟人或名人等)的信息等。内容的数据既可存储在终端装置10的存储部24中,也可存储在服务器16等外部装置中。当内容存储在外部装置中时,终端装置10从外部装置获取内容的数据以提供给用户。确定部30接受用户(终端装置10)的位置信息,并在所述管理信息中,确定与包含用户位置的区域对应的内容。所述内容是在用户所处的场所提供给终端装置10的内容。例如,针对每个地区来准备内容,以提供每个地区的内容。
而且,管理信息也可为表示区域、在此区域显示于终端装置10的对话对方的信息、与在此位置提供给终端装置10的内容的对应的信息。确定部30接受用户的位置信息,且在所述管理信息中,确定与包含用户位置的区域对应的对话对方和内容。控制部26将所述内容提供给用户,并且将对话对方的显示由通用的自动应答AI的显示切换为与用户的位置对应的对话对方的显示。
以下,参照图27来详细说明第14实施方式。图27中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容240作为自动应答AI的发言内容而显示于显示区域56a内。
位置信息获取部28获取终端装置10(用户)的位置信息,确定部30基于所述位置信息来识别终端装置10的位置,且在所述管理信息中,确定与包含所述位置的区域对应的内容或对话对方。
例如,当用户位于区域U内时,确定部30在所述管理信息中,确定与区域U对应的内容或对话对方。假设在区域U中,对应有与作为作家的伟人Y相关的信息作为内容的信息,而且,作为与对话对方关联的图像,对应有与伟人Y关联的人物图像。此时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为伟人Y的显示(例如,与伟人Y关联的人物图像或表示伟人Y的字符串)。而且,控制部26提供内容。另外,伟人Y相当于“对方”的一例。
图27所示的示例中,控制部26使与伟人Y关联的人物图像242取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。人物图像既可为表示人物的照片或视频,也可为示意性地表示所述人物的静态图像或视频。
控制部26也可使表示伟人Y的字符串取代人物图像242、或者与人物图像242一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使作为与伟人Y关联的内容的、“有读过我的书吗?”这一发言内容244作为伟人Y的发言内容而显示于显示区域56a内。而且,作为与伟人Y关联的内容,也可将小说等作品经由终端装置10而提供给用户。
而且,当用户位于区域V内时,确定部30在所述管理信息中,确定与区域V对应的内容或对话对方。假设在区域V中,对应有与商业设施Z相关的信息以作为内容的信息,而且,作为与对话对方关联的图像,对应有与商业设施Z关联的建筑物图像。此时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为商业设施Z的显示(例如,与商业设施Z关联的建筑物图像或表示商业设施Z的字符串)。而且,控制部26提供内容。另外,商业设施Z相当于“对方”的一例。
图27所示的示例中,控制部26使与商业设施Z关联的建筑物图像246取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。建筑物图像也可为表示设施等建筑物的照片或视频,还可为示意性地表示所述建筑物的图像或视频。
控制部26也可使表示商业设施Z的字符串取代建筑物图像246、或者与建筑物图像246一同,作为表示对话对方的信息而显示于显示区域56a内。
而且,控制部26使作为与商业设施Z关联的内容的、“欢迎来到AAA(商业设施Z的名称)。”这一发言内容248作为商业设施Z的发言内容而显示于显示区域56a内。而且,作为与商业设施Z关联的内容,也可将在商业设施Z中提供的服务(service)或购物的信息经由终端装置10而提供给用户。
而且,控制部26也可根据用户的位置来改变自动应答AI的发言内容的表达,而不切换对话对方的显示。例如,针对每个区域而对应有语言或方言等,控制部26使用可与包含用户位置的区域对应的语言或方言,来表达自动应答AI的发言内容。例如,当用户位于关西地区时,控制部26使通过关西腔表达的发言内容250作为自动应答AI的发言内容而显示于显示区域56a内。而且,当用户位于讲英语的地区时,控制部26使通过英语表达的发言内容作为自动应答AI的发言内容而显示于显示区域56a内。
如上所述,根据第14实施方式,根据用户的位置来变更对话对方的发言内容。由此,将与用户的位置相应的信息提供给用户。而且,根据用户的位置来切换应答中的对话对方的显示。借此,用户能够在视觉上确认应答中的对话对方。
通过将第14实施方式适用于例如观光引导服务,从而将与观光相关的地区信息等提供给用户。
第14实施方式并不限定于所述示例,也可适用于利用用户位置的游戏(game)等。例如,也可将跟与用户位置相应的角色(character)或装备(item)相关的信息作为内容的信息而提供给用户,还可将与此角色或装备关联的图像显示为与对话对方关联的图像。
<第15实施方式>
以下对第15实施方式进行说明。第15实施方式中,与所述第14实施方式同样地,根据用户的位置来变更自动应答AI的发言内容,且对话对方的显示由自动应答AI的显示切换为与用户的位置相应的显示。第15实施方式的处理是适用于用户位于多个区域内时的处理。
以下,参照图28来详细说明第15实施方式。图28中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容252作为自动应答AI的发言内容而显示于显示区域56a内。
位置信息获取部28获取终端装置10(用户)的位置信息,确定部30基于所述位置信息来识别终端装置10的位置,且在第14实施方式的管理信息中,确定与包含所述位置的区域对应的内容或对话对方。
例如,当用户位于区域U、V内时(即,当用户位于区域U与区域V彼此重合的区域内时),确定部30在第14实施方式的管理信息中,确定与区域U对应的内容和对话对方,进而确定与区域V对应的内容和对话对方。
与第14实施方式同样,区域U对应有与伟人Y相关的信息,区域V对应有与商业设施Z相关的信息。此时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为伟人Y与商业设施Z的显示。
图28所示的示例中,控制部26使与伟人Y关联的人物图像242和与商业设施Z关联的建筑物图像246取代与自动应答AI关联的图像58而作为与对话对方关联的图像显示于显示区域56a内。
而且,控制部26使作为与伟人Y相关的内容的、发言内容254作为伟人Y的发言内容而显示于显示区域56a内,使作为与商业设施Z相关的内容的、发言内容256作为商业设施Z的发言内容而显示于显示区域56a内。
在第15实施方式中,也可适用图13A至图13E所示的显示例。而且,控制部26也可基于对方(例如伟人Y或商业设施Z)的知名度、评价、访问(access)数等来决定各对方的优先顺位,并根据所述优先顺位来改变与对方关联的图像的显示顺序或大小。控制部26例如通过利用国际互联网或SNS(社会网络服务(Social Network Service))等,来获取各对方的知名度、评价、访问数等信息,以决定各对方的优先顺位。例如,控制部26也可使与优先级越高的对方关联的图像显示得越大,还可依照优先级顺序来显示与各对方关联的图像。而且,控制部26也可使与越靠近用户的对方关联的图像显示得越大,还可依照靠近用户的顺序来显示与各对方关联的图像。
<第16实施方式>
以下对第16实施方式进行说明。第16实施方式中,当获取了用于识别机器的设备识别信息时,控制部26将对话对方的显示由通用的自动应答AI的显示切换为所述机器的显示。而且,控制部26受理与所述机器相关的来自用户的指示。
设备识别信息是用于识别机器的码(code)信息、表示机器外观的外观图像等。例如,通过适用增强现实(Augmented Reality,AR)技术(扩展现实技术),从而获取设备识别信息以识别机器。例如,通过适用AR技术,从而获取单独使用的机器的设备识别信息以识别所述机器,而且,获取联动对象机器的设备识别信息以识别联动对象机器。作为AR技术,使用公知的AR技术。例如采用使用二维条形码(bar code)等标记(marker)的标记型AR技术、使用图像识别技术的无标记(marker less)型AR技术、使用位置信息的位置信息AR技术等。当然,也可不适用AR技术而获取设备识别信息来识别机器。例如,若是连接于网络的机器,则也可基于网际协议(Internet Protocol,IP)地址来识别机器,还可读出机器ID来识别机器。进而,当使用具有红外线通信、可见光通信、Wi-Fi、蓝牙等各种无线通信功能的机器或终端装置时,也可通过利用无线通信功能来获取机器的ID以识别机器。
以下,参照图29来详细说明设备识别信息的获取处理。作为一例,对获取作为机器的一例的图像形成装置12的设备识别信息的情况进行说明。图29中示意性地表示了图像形成装置12的外观。此处,对用于适用标记型AR技术来获取设备识别信息的处理进行说明。在图像形成装置12的框体上,设有二维条形码等标记258。标记258是对图像形成装置12的设备识别信息进行编码所得的信息。用户启动终端装置10的摄像机22,通过摄像机22对作为利用对象的图像形成装置12上所设的标记258进行拍摄。由此,生成表示标记258的图像数据。终端装置10的控制部26通过对所述图像数据中表示的标记图像适用解码处理而提取设备识别信息。由此来识别作为利用对象的图像形成装置12(具有所拍摄的标记258的图像形成装置12)。终端装置10的确定部30在机器功能管理信息中,确定表示与所提取的设备识别信息对应的功能的功能信息。由此来确定(识别)作为利用对象的图像形成装置12所具有的功能。另外,解码处理也可由服务器16等外部装置来进行。
标记258也可对表示图像形成装置12所具有的功能的功能信息进行编码而含有。此时,通过对表示标记258的图像数据适用解码处理,从而提取所述图像形成装置12的设备识别信息,并且,也提取表示所述图像形成装置12所具有的功能的功能信息。由此来确定(识别)图像形成装置12,并且确定(识别)所述图像形成装置12所具有的功能。所述解码处理既可由终端装置10来进行,也可由服务器16来进行。
而且,通过拍摄多个机器各自的标记,从而获取各机器的设备识别信息。
当适用无标记型AR技术而获取设备识别信息时,例如用户通过终端装置10的摄像机22,来拍摄利用对象机器(例如图像形成装置12)的外观的全部或一部分。当然,有用的是:可从外观拍摄而获得利用对象机器的名称(例如商品名)、型号或资产管理编号等用于确定机器的信息。通过拍摄,生成表示利用对象机器的外观的全部或一部分的外观图像数据。终端装置10的控制部26基于所述外观图像数据来识别利用对象机器。例如,在终端装置10的存储部24中,针对每个机器而存储有外观图像对应信息,所述外观图像对应信息表示:表示机器外观的全部或一部分的外观图像数据、与所述机器的设备识别信息的对应。控制部26例如将外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较,基于其比较结果来确定利用对象机器的设备识别信息。例如,控制部26从外观图像数据中提取利用对象机器的外观特征,并在外观图像对应信息中所含的外观图像数据群中,确定表示与此外观的特征相同或类似的特征的外观图像数据,并确定与所述外观图像数据对应的设备识别信息。由此来识别利用对象机器(由摄像机22所拍摄的机器)。作为另一例,当拍摄机器的名称(例如商品名)或型号,并生成表示名称或型号的外观图像数据时,也可基于所述外观图像数据中所示的名称或型号来识别利用对象机器。终端装置10的确定部30在机器功能管理信息中,确定表示与所确定的设备识别信息对应的各功能的功能信息。由此来确定利用对象机器(例如图像形成装置12)所具有的功能。另外,服务器16等外部装置也可基于外观图像数据来确定机器的设备识别信息。
通过拍摄多个机器各自的外观的全部或一部分,来获取各机器的设备识别信息。
当适用位置信息AR技术来获取设备识别信息时,例如通过利用GPS功能,来获取表示设置有机器(例如图像形成装置12)的位置的位置信息。例如,各机器具备GPS功能,获取表示机器自身位置的设备位置信息。终端装置10对利用对象机器输出表示设备位置信息的获取请求的信息,并从所述机器接收所述机器的设备位置信息,以作为针对所述获取请求的应答。终端装置10的控制部26基于所述设备位置信息来识别利用对象机器。例如,在终端装置10的存储部24中,针对每个机器而存储有位置对应信息,所述位置对应信息表示:表示设置有机器的位置的设备位置信息、与所述机器的设备识别信息的对应。控制部26在所述位置对应信息中,确定与设备位置信息对应的设备识别信息。由此来确定(识别)利用对象机器。终端装置10的确定部30在机器功能管理信息中,确定表示与所确定的设备识别信息对应的各功能的功能信息。由此来确定(识别)利用对象机器(例如图像形成装置12)所具有的功能。另外,服务器16等外部装置也可基于设备位置信息来识别机器。
获取多个机器各自的设备位置信息,并基于各设备位置信息来确定各机器的设备识别信息。
另外,也可使用多个识别技术来识别机器。例如,也可使用从标记型AR技术、无标记型AR技术及位置信息AR技术中选择的多个技术来识别机器。而且,若通过某识别技术无法识别机器,则也可使用其他识别技术来识别机器。例如,若通过标记型AR技术或无标记型AR技术无法识别机器,则也可使用位置信息AR技术来识别机器。
当通过标记型AR技术或无标记型AR技术来识别各机器时,所述各机器既可独立地拍摄而识别,也可一起拍摄而识别。例如,在摄像机22的拍摄区域中包含多功能一体机B的状态下拍摄多功能一体机B,接下来,在摄像机22的拍摄区域中包含PC(A)的状态下拍摄PC(A),由此来依次识别多功能一体机B与PC(A)。作为联动对象的各机器未必配置在彼此靠近的位置而多功能一体机B与PC(A)这两者一起包含在摄像机22的拍摄区域中。也有时可通过拍摄区域的角度(angle)变更、拍摄区域的放大或缩小等来应对,但也有时此种操作无法完全应对。此时,通过多次拍摄来识别各机器。
例如,当在画面56上,自动应答AI发出“怎么啦?”这一一般性的发言内容后,用户通过摄像机22来拍摄图像形成装置12的标记258时,确定部30通过适用标记型AR技术来从标记258中读取设备识别信息,以识别图像形成装置12。当识别出图像形成装置12时,控制部26将与对话对方关联的图像由通用的自动应答AI的图像58切换为与图像形成装置12关联的机器图像。而且,控制部26受理与图像形成装置12相关的来自用户的指示。当读取了设备识别信息而识别出机器时,例如与图8所示的示例同样,将发言内容68显示于显示区域56a内。而且,当用户输入发言内容70时,控制部26受理所述发言内容70。即,当获取了设备识别信息而识别出机器时,控制部26受理与所述机器相关的用户的发言内容。随后,进行打印,将发言内容72显示于显示区域56a内。
另一方面,当未拍摄标记258而未从标记258读取出设备识别信息时,控制部26不切换与对话对方关联的图像,而使与通用的自动应答AI关联的图像58作为与对话对方关联的图像而显示于显示区域56a内,且不受理与图像形成装置12相关的来自用户的指示。若以图8所示的示例进行说明,则不显示发言内容68、72等,而且,即使用户将发言内容70输入至终端装置10,控制部26也不受理发言内容70。将“怎么啦?”这一一般性的发言内容作为自动应答AI的发言内容予以显示。
另外,在使用无标记型AR技术或位置信息AR技术的情况下,也进行与使用标记型AR技术的情况同样的处理。
如上所述,根据第16实施方式,当读取出机器的设备识别信息时,将对话对方的显示由自动应答AI的显示切换为所述机器的显示,且受理针对所述机器的指示。借此,用户能够在视觉上确认应答中的对话对方,而且,针对机器而构建安全的环境。
而且,通过使用标记型AR技术或无标记型AR技术,即使在无法获取机器的位置信息的情况下,也能够识别机器来加以利用。
第16实施方式也可适用于执行联动功能的情况。即,当读取出多个机器各自的设备识别信息时,对话对方的显示由自动应答AI的显示切换为所述多个机器的显示,且受理与可利用所述多个机器来执行的联动功能相关的指示。借此,即使在执行联动功能的情况下,用户也能够在视觉上确认应答中的对话对方,而且,针对多个机器而构建安全的环境。
另外,在利用机器所具有的功能、安装于机器的软件、或保存于机器中的文件的情况下,也可进行与所述同样的处理。即,当读取出机器的设备识别信息而识别出所述机器时,可实现所述机器所具有的功能的利用、安装于所述机器的软件的利用、或保存于所述机器中的文件的利用。另一方面,当未读取出机器的设备识别信息而未识别出所述机器时,禁止功能、软件或文件的利用。
<第17实施方式>
以下对第17实施方式进行说明。第17实施方式中,控制部26获取表示机器状态的信息(状态(status)信息),并将应答中的对话对方的显示由通用的自动应答AI的显示切换为反映出此状态的机器的显示。
以下,参照图30来详细说明第17实施方式。图30中表示了画面56。在画面56上,与图8同样地,显示有与自动应答AI关联的图像58和与用户关联的图像60,进而,显示有表示用户与自动应答AI之间的对话的信息。
当聊天用程序启动时,将“怎么啦?”这一发言内容260作为自动应答AI的发言内容而显示于显示区域56a内。
例如设为:用户将“想要利用多功能一体机B。”这一发言内容262输入至终端装置10,由此,将多功能一体机B的利用指示给予至自动应答AI。控制部26将发言内容262发送至自动应答AI。
控制部26在收到发言内容262时,从多功能一体机B获取表示多功能一体机B的状态的信息(状态信息)。当然,当机器的状态是由服务器16等外部装置进行管理时,控制部26也可从外部装置获取多功能一体机B的状态信息。
例如,在多功能一体机B中未收容有纸张的情况下,在多功能一体机B的状态信息中包含表示此意旨的信息。
控制部26通过分析多功能一体机B的状态信息,从而识别多功能一体机B的状态。例如,当在多功能一体机B的状态信息中,包含表示未收容有纸张的意旨的信息时,控制部26识别出多功能一体机B中未收容有纸张。此时,控制部26将应答中的对话对方的显示由通用的自动应答AI的显示,切换为反映出未收容有纸张的状态的多功能一体机B的显示。图30所示的示例中,控制部26使与反映出状态的多功能一体机B关联的机器图像264作为与应答中的对话对方关联的图像而显示于显示区域56a内。机器图像264是表示多功能一体机B的图像,并且是表示在多功能一体机B中未收容有纸张的状态的图像。当然,控制部26也可将表示多功能一体机B中未收容有纸张的状态的文字信息或语音信息取代机器图像264、或者与机器图像264一同予以输出。
而且,控制部26使表示在多功能一体机B中未收容有纸张的意旨的发言内容266作为多功能一体机B的发言内容而显示于显示区域56a内,由此来将无纸张的意旨通知给用户。
控制部26例如以预定的时间间隔来从多功能一体机B获取状态信息。在对多功能一体机B补充了纸张的情况下,控制部26从多功能一体机B获取包含表示纸张已得到补充的意旨的信息的状态信息。此时,控制部26使与通常状态的多功能一体机B关联的机器图像66作为与应答中的对话对方关联的图像而显示于显示区域56a内。而且,控制部26使表示纸张已得到补充的意旨的发言内容268作为多功能一体机B的发言内容而显示于显示区域56a内。以后,作为通常的动作,控制部26使“怎么啦?”这一作为一般性问询的发言内容270,作为多功能一体机B的发言内容而显示于显示区域56a内。以后的处理与第1实施方式的处理相同。
如上所述,根据第17实施方式,用户能够在视觉上确认机器的状态。
作为表示机器状态的状态信息,例如也可获取表示机器处于故障中的信息、表示机器处于睡眠(sleep)状态的信息、表示机器处于使用中的信息、表示机器处于维护中的信息、与搭载于机器的耗材相关的信息(例如耗材的剩余量等信息)等。控制部26进行与机器的各状态相应的显示。例如,控制部26对应于每种状态来改变机器图像而使其显示于显示区域56a内。
而且,控制部26也可获取表示功能的状态的信息(状态信息),并将应答中的对话对方的显示由通用的自动应答AI的显示切换为反映出此状态的功能的显示。作为表示功能的状态的状态信息,例如也可获取表示功能处于停止中的信息、表示功能处于睡眠状态的信息、表示功能处于使用中的信息、表示功能处于更新中的信息、与功能的使用期限相关的信息等。控制部26进行与功能的各状态相应的显示。例如,控制部26对应于每种状态来改变功能图像而使其显示于显示区域56a内。
<其他实施方式>
所述联动对象的组合并不限定于所述实施方式中的组合。例如,当将机器、功能(包含通过机器而执行的功能与通过软件而执行的功能)、文件及软件中的至少两个的组合识别为联动对象时,也可对可使用此组合来执行的联动功能的通知进行控制。例如,当将机器图像与文件图像识别为联动对象时,确定部30确定可使用与所述机器图像关联的机器和与所述文件图像关联的文件来执行的联动功能,控制部26既可使与所述联动功能相关的信息作为自动应答AI的发言内容而显示于画面56,也可使所述信息作为语音信息而输出,以作为与所述联动功能相关的信息的通知。若举具体例进行说明,则当将与多功能一体机B关联的机器图像和与文档文件关联的文件图像作为联动对象信息而发送给自动应答AI时,确定部30确定可使用多功能一体机B与文档文件来执行的联动功能(例如通过多功能一体机B来打印文档文件的功能、或通过多功能一体机B来传真发送文档文件的功能等)。控制部26控制与所述联动功能相关的信息的通知。同样,当将与软件关联的功能图像和文件图像作为联动对象信息而发送至自动应答AI时,也可由确定部30确定可使用与所述功能图像关联的功能和与所述文件图像关联的文件来执行的联动功能,由控制部26控制与所述联动功能相关的信息的通知。若举具体例进行说明,则当将与文档应用程序关联的功能图像和与文档文件关联的文件图像作为联动对象信息而发送至自动应答AI时,确定部30确定可使用文档应用程序和文档文件来执行的联动功能(例如通过文档应用程序来对文档文件进行编辑的功能或输出的功能等)。而且,当将机器图像、功能图像与文件图像作为联动对象信息而发送至自动应答AI时,也可由确定部30确定可使用与所述机器图像关联的机器、与所述功能图像关联的功能(例如软件)、及与所述文件图像关联的文件来执行的联动功能,由控制部26控制与所述联动功能相关的信息的通知。若举具体例来进行说明,则当将与多功能一体机B关联的机器图像、与文档应用程序关联的功能图像、及与文档文件关联的文件图像作为联动对象信息而发送至自动应答AI时,确定部30确定可使用多功能一体机B、文档应用程序及文档文件来执行的联动功能(例如,通过文档应用程序对文档文件进行编辑后输出至多功能一体机B,并通过多功能一体机B来对所述文档文件进行打印或传真发送的功能等)。所述具体例中的组合不过是一例,也可规定可将所述以外的机器、功能、文件、软件加以组合而执行的联动功能。而且,也可将机器、功能、文件及软件的信息通过语音而传达给自动应答AI。
而且,当将所述组合识别为联动对象时,控制部26将应答中的对话对方的显示由通用的自动应答AI的显示切换为所述组合的显示。例如,当将机器与文件识别为联动对象时,控制部26使与所述机器关联的机器图像和与所述文件关联的文件图像作为与应答中的对话对方关联的图像而显示于显示区域56a内。对于其他组合也同样。
作为一例,所述终端装置10、机器12、14及服务器16各自是通过硬件与软件的协动来实现。具体而言,终端装置10、机器12、14及服务器16各自具备未图示的CPU等一个或多个处理器。所述一个或多个处理器通过读出未图示的存储装置中存储的程序来执行,从而实现终端装置10、机器12、14及服务器16各自的各部的功能。所述程序是经由光盘(CompactDisc,CD)或数字通用光盘(Digital Versatile Disk,DVD)等记录介质,或者经由网络(network)等通信路径而存储在存储装置中。作为另一例,终端装置10、机器12、14及服务器16各自的各部例如也可通过处理器、电子电路或专用集成电路(Application SpecificIntegrated Circuit,ASIC)等硬件资源而实现。在此实现中,也可利用存储器等元件。作为又一例,终端装置10、机器12、14及服务器16各自的各部也可通过数字信号处理器(DigitalSignal Processor,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等而实现。

Claims (19)

1.一种信息处理装置,其特征在于包括:
控制部件,在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的所述对话对方的显示。
2.根据权利要求1所述的信息处理装置,其特征在于,
所述控制部件根据用户与对方的位置关系,将应答中的所述对话对方的显示变更为所述对方的显示。
3.根据权利要求2所述的信息处理装置,其特征在于,
所述控制部件根据用户与作为所述对方的至少一个机器的位置关系,将应答中的所述对话对方的显示变更为所述机器的显示。
4.根据权利要求3所述的信息处理装置,其特征在于,
所述控制部件在包含所述机器的预定区域内存在用户的情况下,将应答中的所述对话对方的显示变更为所述至少一个机器的显示。
5.根据权利要求3所述的信息处理装置,其特征在于,
所述至少一个机器具有多个机器,所述控制部件根据用户与所述多个机器的位置关系,将应答中的所述对话对方的显示变更为所述多个机器中的任一机器的显示。
6.根据权利要求5所述的信息处理装置,其特征在于,
所述控制部件将应答中的所述对话对方的显示,变更为所述多个机器中最靠近用户的机器的显示。
7.根据权利要求3所述的信息处理装置,其特征在于,
所述至少一个机器具有多个机器,所述控制部件根据用户与所述多个机器的位置关系,将所述多个机器的信息作为所述对话对方的候补而通知给用户。
8.根据权利要求7所述的信息处理装置,其特征在于,
所述控制部件将应答中的所述对话对方的显示,变更为由用户从所述多个机器中选择的机器的显示。
9.根据权利要求3至8中任一项所述的信息处理装置,其特征在于,
所述控制部件根据用户与所述至少一个机器之间的位置关系,进一步控制向应答中所述对话对方的与机器相关的指示的输出。
10.根据权利要求1所述的信息处理装置,其特征在于,
所述控制部件将应答中的对话对方的显示,变更为在用户的位置能够使用的功能的显示。
11.根据权利要求1所述的信息处理装置,其特征在于,
所述控制部件将应答中的对话对方的显示,变更为在用户的位置能够使用的文件的显示。
12.根据权利要求1至11中任一项所述的信息处理装置,其特征在于,
所述控制部件根据用户的位置,来进一步变更应答中的所述对话对方的发言内容。
13.一种信息处理装置,其特征在于包括:
控制部件,在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的所述对话对方的发言内容。
14.根据权利要求13所述的信息处理装置,其特征在于,
所述控制部件根据用户与对方的位置关系,将应答中的所述对话对方的发言内容变更为所述对方的发言内容。
15.根据权利要求14所述的信息处理装置,其特征在于,
所述控制部件在包含所述对方的预定区域内存在用户的情况下,将应答中的所述对话对方的发言内容变更为所述对方的发言内容。
16.根据权利要求14或15所述的信息处理装置,其特征在于,
所述对方关联于用户的位置。
17.根据权利要求13至16中任一项所述的信息处理装置,其特征在于,
所述控制部件使用与用户的位置相应的语言,来进一步表达应答中的所述对话对方的发言内容。
18.一种计算器可读取记录媒体,存储程序,其特征在于,
所述程序使计算机作为控制部件发挥功能,
所述控制部件在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的所述对话对方的显示。
19.一种计算器可读取记录媒体,存储程序,其特征在于,
所述程序使计算机作为控制部件发挥功能,
所述控制部件在供用户与对话对方进行对话的接口中,根据用户的位置,来变更应答中的所述对话对方的发言内容。
CN201811025197.9A 2017-09-11 2018-09-04 信息处理装置以及计算器可读取记录媒体 Pending CN109492136A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017174222A JP7130929B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法
JP2017-174222 2017-09-11

Publications (1)

Publication Number Publication Date
CN109492136A true CN109492136A (zh) 2019-03-19

Family

ID=65631068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811025197.9A Pending CN109492136A (zh) 2017-09-11 2018-09-04 信息处理装置以及计算器可读取记录媒体

Country Status (3)

Country Link
US (1) US10922029B2 (zh)
JP (1) JP7130929B2 (zh)
CN (1) CN109492136A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064464A1 (ja) * 2017-09-28 2019-04-04 Line株式会社 情報処理方法、情報処理装置及び情報処理プログラム
FR3076023A1 (fr) * 2017-12-26 2019-06-28 Orange Interface d'utilisateur a interaction perfectionnee par presentation de contenu informatif approprie
JP7306000B2 (ja) * 2019-03-20 2023-07-11 富士フイルムビジネスイノベーション株式会社 情報処理システムおよびプログラム
CN111431968B (zh) * 2020-02-26 2021-09-21 华为技术有限公司 服务元素的跨设备分配方法、终端设备及存储介质
US11410393B2 (en) * 2020-08-25 2022-08-09 Spatial Systems Inc. Auto arranging wall in an augmented reality system
US11694413B2 (en) 2020-08-25 2023-07-04 Spatial Systems Inc. Image editing and sharing in an augmented reality system
JP2023124559A (ja) * 2022-02-25 2023-09-06 キヤノン株式会社 サーバ、その制御方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108523A (ja) * 2000-09-27 2002-04-12 Nippon Telegraph & Telephone East Corp エージェント制御装置
CN1648844A (zh) * 2003-09-25 2005-08-03 株式会社理光 多媒体打印驱动器对话界面
CN102685353A (zh) * 2011-03-16 2012-09-19 株式会社东芝 图像形成装置以及图像形成装置的薄片的排出方法
JP2013057887A (ja) * 2011-09-09 2013-03-28 Hitachi Ltd 音声出力装置、音声出力方法および音声出力プログラム
US20150185996A1 (en) * 2013-12-31 2015-07-02 Next It Corporation Virtual assistant team identification
JP2017016217A (ja) * 2015-06-29 2017-01-19 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853661B2 (en) 2006-01-03 2010-12-14 Microsoft Corporation Remote access and social networking using presence-based applications
US20140143404A1 (en) * 2012-11-19 2014-05-22 Sony Corporation System and method for communicating with multiple devices
US20140251987A1 (en) * 2013-03-06 2014-09-11 Haier America Trading, Llc Appliance monitoring system and method with connectivity and communication protocols
KR102110786B1 (ko) * 2013-03-13 2020-05-14 삼성전자 주식회사 휴대 단말기의 대화 메시지 관리 방법 및 장치
JP5649696B1 (ja) * 2013-07-12 2015-01-07 三菱電機株式会社 エネルギーマネジメントシステム、端末装置、端末装置の制御方法、及び、プログラム
KR102231105B1 (ko) 2013-09-05 2021-03-24 삼성전자주식회사 제어 장치 및 그 제어 방법
US9473892B2 (en) * 2014-12-11 2016-10-18 Whirlpool Corporation Appliances that trigger applications on consumer devices based on user proximity to appliance
JP6140201B2 (ja) 2015-01-19 2017-05-31 シャープ株式会社 制御装置、制御装置の制御方法、制御システム、および制御プログラム
US9712345B2 (en) * 2015-04-06 2017-07-18 Samsung Electronics Co., Ltd Communication device and method of controlling same
KR20170027999A (ko) 2015-09-03 2017-03-13 삼성전자주식회사 사용자 단말 장치, 시스템 및 그 제어 방법
US11320982B2 (en) * 2016-05-18 2022-05-03 Apple Inc. Devices, methods, and graphical user interfaces for messaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108523A (ja) * 2000-09-27 2002-04-12 Nippon Telegraph & Telephone East Corp エージェント制御装置
CN1648844A (zh) * 2003-09-25 2005-08-03 株式会社理光 多媒体打印驱动器对话界面
CN102685353A (zh) * 2011-03-16 2012-09-19 株式会社东芝 图像形成装置以及图像形成装置的薄片的排出方法
JP2013057887A (ja) * 2011-09-09 2013-03-28 Hitachi Ltd 音声出力装置、音声出力方法および音声出力プログラム
US20150185996A1 (en) * 2013-12-31 2015-07-02 Next It Corporation Virtual assistant team identification
JP2017016217A (ja) * 2015-06-29 2017-01-19 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
JP7130929B2 (ja) 2022-09-06
JP2019049902A (ja) 2019-03-28
US20190079704A1 (en) 2019-03-14
US10922029B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN109492136A (zh) 信息处理装置以及计算器可读取记录媒体
CN109495535A (zh) 信息处理装置以及记录媒体
CN109495534A (zh) 信息处理装置以及存储程序的计算机可读介质
CN109495664A (zh) 信息处理装置以及存储程序的计算机可读介质
CN109895092A (zh) 信息处理装置、信息处理方法以及计算机可读介质
CN103189864A (zh) 用于确定个人的共享好友的方法、设备和计算机程序产品
CN109495669A (zh) 信息处理装置以及存储程序的计算机可读介质
CN103080980A (zh) 基于上下文向文档自动附加捕捉的图像
WO2020057478A1 (zh) 电子名片的管理方法及装置
US9424361B2 (en) Information communication method and information communication apparatus
US11336479B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN109697241A (zh) 信息处理装置、信息处理方法以及计算机可读介质
KR20160040003A (ko) 사용자 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체
CN108712590A (zh) 共享终端、通信系统、通信方法以及记录介质
CN109871286A (zh) 信息处理装置、信息处理方法及计算机可读介质
JP2019050552A (ja) 情報処理装置及びプログラム
JP7302642B2 (ja) 情報処理装置、プログラム及び制御方法
CN109697038A (zh) 信息处理装置、信息处理方法以及计算机可读介质
CN109672799A (zh) 信息处理装置、系统以及存储媒体
JP2019207409A (ja) 表示装置及び表示装置の制御方法
JP2014049103A (ja) 個人情報管理システム、個人情報管理方法、および個人情報管理プログラム
CN103460692A (zh) 内容开放系统、便携式终端、服务器、终端程序和服务器程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240419

AD01 Patent right deemed abandoned