CN110515661A - 信息处理装置、信息处理系统以及信息处理方法 - Google Patents

信息处理装置、信息处理系统以及信息处理方法 Download PDF

Info

Publication number
CN110515661A
CN110515661A CN201811547356.1A CN201811547356A CN110515661A CN 110515661 A CN110515661 A CN 110515661A CN 201811547356 A CN201811547356 A CN 201811547356A CN 110515661 A CN110515661 A CN 110515661A
Authority
CN
China
Prior art keywords
equipment
assistant
operation assistant
information
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811547356.1A
Other languages
English (en)
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN110515661A publication Critical patent/CN110515661A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4411Configuring for operating with peripheral devices; Loading of device drivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/543User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/303Terminal profiles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/10Plc systems
    • G05B2219/12Plc mp multi processor system
    • G05B2219/1215Master slave system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/22Pc multi processor system
    • G05B2219/2231Master slave
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40399Selection of master-slave operation mode
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H2210/00Indexing scheme relating to details of tunable filters
    • H03H2210/04Filter calibration method
    • H03H2210/046Master -slave

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

信息处理装置、信息处理系统以及信息处理方法。一种信息处理装置包括控制单元。响应于从搭载第一操作助理的第一设备向搭载第二操作助理的第二设备发送包含第一设备和第一操作助理中的至少一方的标识信息的连接请求,控制单元使用该标识信息使第二操作助理作为从操作助理工作,该从操作助理是根据来自第二操作助理之外的不同操作助理的指令来控制的。

Description

信息处理装置、信息处理系统以及信息处理方法
技术领域
本公开涉及信息处理装置、信息处理系统、非暂时计算机可读介质以及信息处理方法。
背景技术
一些设备包括操作助理。操作助理例如回答来自用户的问题或执行任务。
日本专利No.4992332描述了一种方法,该方法包括以下步骤:连同来自第一信息处理装置的登录请求从第一信息处理装置接收账户和用户特定信息;以及基于从第一信息处理装置接收的账户和用户特定信息与预先登记在服务器中的账户和用户特定信息之间的对应性,认证登录请求。日本专利No.4992332中描述的方法还包括以下步骤:向第二信息处理装置发送包含与经认证的账户对应的密码的登录请求。
日本专利No.5870127描述了一种用于对销售人员的助理进行管理的助理管理装置。
日本专利No.5795442描述了一种装置,该装置存储了标识最初登录的第一用户的信息和标识在第一用户的登录期间登录的第二用户的信息。在从第一用户使用的设备接收到启动指令时,该装置启动应用,但在从第二用户使用的设备接收到启动指令时,不启动应用。
发明内容
包括操作助理的设备可以彼此连接。
因此,本公开的目的是在包括操作助理的设备彼此连接时设备可以被适当控制。
根据本发明的第一方面,提供了一种包括控制单元的信息处理装置。响应于从搭载第一操作助理的第一设备向搭载第二操作助理的第二设备发送包含第一设备和第一操作助理中的至少一方的标识信息的连接请求,控制单元使用标识信息使第二操作助理作为从操作助理工作,该从操作助理是根据来自第二操作助理之外的不同操作助理的指令来控制的。
根据本公开的第二方面,在第一设备搭载多个操作助理时,控制单元基于标识信息指定多个操作助理当中提供指令的第一操作助理。
根据本公开的第三方面,标识信息还包括指示接收指令的操作助理的信息,并且在第二设备搭载多个操作助理时,控制单元基于标识信息指定多个操作助理当中接收指令的第二操作助理。
根据本公开的第四方面,标识信息还包括指示接收指令的设备的信息,并且在搭载不同操作助理的设备周围存在相同类型的多个操作助理和多个设备时,控制单元还基于标识信息指定相同类型的多个操作助理和多个设备当中接收指令的第二设备和第二操作助理。
根据本公开的第五方面,标识信息包括指示设备类型的信息、专属于设备的标识号码、指示设备的位置的信息、指示设备的名称的信息、指示操作助理的名称的信息、用户的生物信息、指示当前登录到设备中或操作助理中的账户的信息、或指示设备的操作历史的信息中的至少一项。
根据本公开的第六方面,标识信息还包括指示设备的操作历史的信息,并且控制单元基于操作历史将类型与用户所指定的设备的类型相同的最近使用的设备指定为连接请求要发往的设备。
根据本公开的第七方面,在未基于标识信息指定连接请求要发往的设备或操作助理时,第一操作助理向用户询问问题以获得用于指定连接请求要发往的设备或操作助理的信息。
根据本公开的第八方面,第二设备搭载多个操作助理,并且控制单元将多个操作助理当中、具有与在第一设备中作为主操作助理工作的第一操作助理的类型相同的类型且在第二设备中作为主操作助理工作的操作助理指定为第二操作助理。
根据本公开的第九方面,控制单元使第一操作助理作为主操作助理工作,并且从操作助理根据来自第一操作助理的指令工作。
根据本公开的第十方面,响应于从操作助理完成了与指令对应的任务,控制单元解除第一操作助理与第二操作助理之间的主从关系。
根据本公开的第十一方面,控制单元使当前登录到第二操作助理中以使用第二操作助理的第二账户从第二操作助理登出,并且使当前登录到第一操作助理中以使用第一操作助理的第一账户登录到第二操作助理中,以使第一操作助理作为主操作助理工作,并且使第二操作助理作为从操作助理工作。
根据本公开的第十二方面,响应于第一账户从第二操作助理登出,控制单元解除第一操作助理与第二操作助理之间的主从关系。
根据本公开的第十三方面,控制单元不在第二设备中存储指示被提供给从操作助理的指令的信息。
根据本公开的第十四方面,控制单元将在第二设备上工作的操作助理从第二操作助理切换到第一操作助理,从而使在第二设备上工作的操作助理作为从操作助理工作。
根据本公开的第十五方面,控制单元使在第一设备中当前登录到第一操作助理中的第一账户登录到从操作助理中。
根据本公开的第十六方面,响应于从操作助理完成了与来自第一设备的指令对应的任务,控制单元将从操作助理切换回原第二操作助理。
根据本公开的第十七方面,控制单元使用与第一操作助理和第二操作助理不同的第三操作助理来控制第二操作助理,从而使第二操作助理作为从操作助理工作。
根据本公开的第十八方面,控制单元还使用第三操作助理来控制第一操作助理。
根据本公开的第十九方面,控制单元还使第一设备显示用于在第三操作助理与用户之间交换消息的画面。
根据本公开的第二十方面,响应于从与当前登录到第二操作助理中以使用第二操作助理的账户关联的用户给出的许可,控制单元使第二操作助理作为从操作助理工作。
根据本公开的第二十一方面,第二设备搭载多个第二操作助理,并且控制单元使多个第二操作助理中的至少一个作为从操作助理工作。
根据本公开的第二十二方面,第二设备搭载多个第二操作助理,并且响应于从第一设备向第二设备发送连接请求,控制单元使多个第二操作助理当中的能够控制连接到第二设备的第三设备的第二操作助理作为从操作助理工作。
根据本公开的第二十三方面,控制单元从多个第二操作助理当中选择能够控制待执行的目标功能的第二操作助理作为从操作助理。
根据本公开的第二十四方面,控制单元基于可由各第二操作助理控制的设备的数量从多个第二操作助理当中选择从操作助理。
根据本发明的第二十五方面,提供了一种包括控制单元的信息处理装置。响应于从搭载第一操作助理的信息处理装置向搭载第二操作助理的设备发送包含信息处理装置和第一操作助理中的至少一方的标识信息的连接请求,控制单元使用标识信息使第二操作助理作为从操作助理工作,该从操作助理是根据来自第二操作助理之外的不同操作助理的指令来控制的。
根据本发明的第二十六方面,提供了一种包括控制单元的信息处理装置。响应于从搭载第一操作助理的设备向搭载第二操作助理的信息处理装置发送包含信息处理装置和第一操作助理中的至少一方的标识信息的连接请求,控制单元使用标识信息使第二操作助理作为从操作助理工作,该从操作助理是根据来自第二操作助理之外的不同操作助理的指令来控制的。
根据本发明的第二十七方面,提供了一种信息处理系统,其包括第一设备、第二设备以及控制单元。第一设备搭载第一操作助理。第二设备搭载第二操作助理。响应于从第一设备向第二设备发送包含第一设备和第一操作助理中的至少一方的标识信息的连接请求,控制单元使用标识信息使第二操作助理作为从操作助理工作,该从操作助理是根据来自第二操作助理之外的不同操作助理的指令来控制的。
根据本公开的第二十八方面,提供了一种非暂时计算机可读介质,该非暂时计算机可读介质存储程序,该程序使计算机执行用于信息处理的处理。处理包括:响应于从搭载第一操作助理的第一设备向搭载第二操作助理的第二设备发送包含第一设备和第一操作助理中的至少一方的标识信息的连接请求,使第二操作助理作为从操作助理工作,该从操作助理是根据来自第二操作助理之外的不同操作助理的指令来控制的。
根据本公开的第二十九方面,提供了一种信息处理方法,其包括以下步骤:响应于从搭载第一操作助理的第一设备向搭载第二操作助理的第二设备发送包含第一设备和第一操作助理中的至少一方的标识信息的连接请求,使用标识信息使第二操作助理作为从操作助理工作,该从操作助理是根据来自第二操作助理之外的不同操作助理的指令来控制的。
根据本公开的第一、第五、第二十五、第二十六、第二十七、第二十八以及第二十九方面,在搭载操作助理的设备彼此连接时,设备可以被适当控制。
根据本公开的第二方面,即使在第一设备搭载多个操作助理时,也可以指定提供指令的第一操作助理。
根据本公开的第三方面,即使在第二设备搭载多个操作助理时,也可以指定接收指令的第二操作助理。
根据本公开的第四方面,即使在存在多个设备和多个操作助理时,也可以指定第二设备和第二操作助理。
根据本公开的第六方面,使用操作历史可以指定连接请求的目的地。
根据本公开的第七方面,通过问用户问题可以指定连接请求的目的地。
根据本公开的第八方面,借助主操作助理之间的通信,可以执行与指令对应的处理。
根据本公开的第九方面,第一操作助理与第二操作助理之间的主从关系的建立可以提供对设备的适当控制。
根据本公开的第十方面,通过完成任务,可以使得能够解除第一操作助理与第二操作助理之间的主从关系。
根据本公开的第十一方面,对账户的控制可以使得能够建立第一操作助理与第二辅助之间的主从关系。
根据本公开的第十二方面,对账户的控制可以使得能够解除第一操作助理与第二操作助理之间的主从关系。
根据本公开的第十三方面,与指示指令的信息存储在第二设备中的情况相比,可以提高该信息的安全性。
根据本公开的第十四和第十五方面,通过在操作助理之间进行切换,可以使得能够建立操作助理之间的主从关系。
根据本公开的第十六方面,通过完成任务,可以使得能够解除操作助理之间的主从关系。
根据本公开的第十七方面,使用与第一操作助理和第二操作助理不同的第三操作助理可以控制第二操作助理。
根据本公开的第十八方面,使用与第一操作助理和第二操作助理不同的第三操作助理可以控制第一操作助理。
根据本公开的第十九方面,用户可以与第三操作助理交换消息。
根据本公开的第二十方面,可以根据使用第二操作助理的用户给出的许可来使第二操作助理作为从操作助理工作。
根据本公开的第二十一方面,即使在第二设备搭载多个操作助理时,也可以适当地控制设备。
根据本公开的第二十二方面,可以适当控制第三设备。
根据本公开的第二十三方面,可以适当执行要执行的目标功能。
根据本公开的第二十四方面,可以根据可控制的设备的数量选择从操作助理。
附图说明
将基于以下附图详细地描述本公开的示例性实施方式,附图中:
图1是例示了根据本公开的第一示例性实施方式的信息处理系统的构造的框图;
图2是例示了设备的构造的框图;
图3是中继器的立体图;
图4例示了功能管理表;
图5例示了根据示例1-1的处理;
图6例示了根据示例1-1的画面;
图7A至图7C例示了根据示例1-2的处理;
图8A至图8C例示了根据示例1-3的处理;
图9例示了根据示例1-4的处理;
图10例示了根据示例1-4的画面;
图11例示了根据示例1-5的处理;
图12是例示了可由操作助理控制的功能和设备的表;
图13例示了根据示例1-5的处理;
图14例示了根据示例1-5的处理;
图15A和图15B例示了根据示例1-6的处理;
图16A和图16B例示了根据示例1-7的处理;
图17例示了根据示例2-1的处理;
图18例示了根据示例2-2的处理;
图19例示了根据示例2-2的画面;
图20例示了根据示例2-3的处理;
图21例示了根据示例2-4的处理;
图22例示了根据示例2-6的处理;
图23例示了根据示例2-7的处理;
图24例示了根据示例2-7的处理;
图25例示了根据第三示例性实施方式的处理;
图26是例示了根据第四示例性实施方式的信息处理系统的构造的框图;
图27例示了根据示例4-1的处理;
图28例示了根据示例4-2的处理;
图29例示了根据示例4-3的处理;
图30例示了根据示例4-5的画面;以及
图31例示了根据示例4-5的处理。
具体实施方式
第一示例性实施方式
将参照图1描述根据本公开的第一示例性实施方式的信息处理系统。图1例示了根据第一示例性实施方式的信息处理系统的示例。
根据第一示例性实施方式的信息处理系统包括多个设备。在图1所例示的示例中,信息处理系统包括设备10A至10R。图1所例示的设备10A至10R是示例,并且信息处理系统可以包括图1所例示的设备之外的设备。信息处理系统也可以包括服务器。在下文中,当不必区分各个设备时,各个装置将被称为“设备10”。
各个设备10具有与其它设备10通信的功能。各个设备10可以经由无线通信或有线通信与其它设备10通信。例如,各个设备10可以经由诸如因特网或任意其他网络的通信路径与其它设备10通信,与其它设备10直接通信,经由起集线器作用的中继器与其它设备10通信,或者经由云基础设施或服务器与其它设备10通信。各个设备10可以为所谓的物联网(IoT)设备。
设备10各为具有功能的设备。设备10的示例包括具有图像形成功能(诸如扫描功能、打印功能、复印功能或传真功能)的图像形成设备、个人计算机(PC)、平板PC、智能电话、移动电话、机器人(诸如仿人机器人、非人动物式机器人、或任意其他类型的机器人)、投影仪、诸如液晶显示器的显示设备、记录设备、再现设备、诸如摄像头的成像设备、冰箱、电饭煲、微波炉、咖啡机、吸尘器、洗衣机、空调、照明设备、钟表、安全监控摄像机、机动车、两轮车、飞机(例如,无人机(被称为无人驾驶飞机))、游戏机、以各种感测设备(诸如温度传感器、湿度传感器、电压传感器以及电流传感器)。设备10可以各是向用户输出信息的设备(诸如图像形成设备或PC),或者可以是不向用户输出信息的设备(诸如感测设备)。执行下面描述的协作功能的多个设备10可以全部是向用户输出信息的设备,或者它们中的一些可以是向用户输出信息的设备,而其他设备10可以是不向用户输出信息的设备;在其他方面,它们全部可以是不向用户输出信息的设备。设备10的概念可以包括全体设备。例如,设备10的概念中可以包括信息设备、视频设备、音频设备以及其他设备。
各个设备10可以执行单独功能或与任意其他设备10协作来执行协作功能。单独功能例如是可使用单个设备10执行的功能。协作功能例如是可使用多个设备10执行的功能。在单独功能和协作功能中,例如,使用设备10所包括的硬件或软件。各个设备10在不与任意其他设备10协作地工作时,可以独立地接收来自用户的指令并执行单独功能。应理解的是,信息处理系统包括在不接收来自用户的指令的情况下执行功能的设备10(例如,感测设备)。
现在将描述协作功能。设备10的所有部分、设备10的特定部分、软件的特定功能、包括多个功能的集合功能等可以用于协作功能。例如,在向设备10的各部分指派功能时,协作功能可以是使用设备10的部分的功能。将描述具体示例。具有多个图像形成功能的多功能设备包括:主体,其被指派有打印功能;读取器(与原稿盖、原稿玻璃以及自动输稿器对应的部分),其被指派有扫描功能;以及后处理设备,其被指派有后处理功能(诸如装订功能)。在这种情况下,多功能设备的主体、读取器以及后处理设备可以用于协作功能。另选地,作为软件,作为功能逐块集合的集合功能(诸如机器人过程自动化(RPA))可以用于协作功能。当软件具有多个功能时,协作功能可以是使用多个功能中的一些的功能。集合功能由多个功能组成,并且多个功能被同时,或顺序执行以执行由聚合功能实现的处理。另选地,协作功能可以是仅使用硬件、仅使用软件、或使用硬件和软件这两者的功能。
协作功能可以是通过使不同类型的多个设备10协作工作而可执行的功能,或者可以是通过使同一类型的多个设备10协作工作而可执行的功能。协作功能可以是在多个设备10协作工作之前不可用的功能。例如,使具有打印功能的设备10(打印机)和具有扫描功能的设备10(扫描仪)协作工作,以使协作功能(即,复印功能)可执行。即,使打印功能和扫描功能协作工作,以指示复印功能可执行。
协作功能的概念可以包括以下复合功能,其中,使多个设备10协作工作以使新功能可执行。例如,可以组合多个显示器来实现作为复合功能的增强显示功能。作为另一示例,可以组合电视机和记录仪来实现作为复合功能的记录功能。记录功能例如可以是记录在电视机上显示的图像的功能。可以组合多个摄像头来实现作为复合功能的成像区域扩展功能。成像区域扩展功能是例如用接合在一起的摄像头的各成像区域拍摄图像的功能。电话可以与翻译机或翻译软件组合来实现作为复合功能的电话对话翻译功能(翻译通过电话进行的对话的功能)。因此,协作功能的概念可以包括通过使同一类型的多个设备10或软件协作工作而可执行的功能、以及通过使不同类型的多个设备10或软件协作工作而可执行的功能。
另选地,多个设备10可以建立互连家庭(使用IoT技术经由网络互连诸如家用电器的设备的系统),并且互连家庭可以使用协作功能。在这种情况下,设备10可以经由特定服务器来互连,或者可以在没有特定服务器介入的情况下互连。
另选地,多个设备10可以使用如果那么(if this,then that,IFTTT)来协作地工作,以执行协作功能。即,当在特定设备10中发生协作功能的内容为触发的事件时,其它设备10可以执行动作(处理)。例如,可以执行协作功能使得由作为设备10的传感器进行的开门的检测触发打开诸如照明设备的其它设备10的动作。协作功能的概念中还可以包括被执行从而由特定设备10执行的动作触发其它设备10执行另一动作的功能。另选地,协作功能的概念中可以包括用于使多个网络服务能够协作工作的功能、或使用应用编程接口(API)来使多个系统、服务等能够协作工作的API协作。
在图1所例示的示例中,设备10A、10D以及10P是中继器。设备10B和10Q是机器人。设备10C和10R是摄像头。设备10E和10N是PC。设备10F、10G、10L以及10M是智能电话,其为终端设备的示例。设备10H和10K是具有图像形成功能的多功能设备。
例如,中继器可以控制连接到中继器的其它设备10(例如,在其它设备10中包括的硬件或在其它设备10中安装的软件)。中继器可以使用因特网等来获取各种信息。中继器可以起服务器的作用,或者例如可以被构造为管理数据或用户信息。中继器可以是所谓的智能扬声器(具有通信功能和扬声器功能的设备)或具有通信功能但不具有扬声器功能的设备。中继器可以被设置在室内(诸如房间中的地板、天花板或桌子上),或者可以设置在室外。中继器可以是可移动设备(例如,自推进设备)。
终端设备是设备,诸如PC、平板PC、智能电话或移动电话。终端设备可以为可穿戴终端,诸如腕表式终端、腕带式终端、眼镜式终端、戒指式终端、隐形眼镜式终端、身体植入式终端、或耳内可戴终端。终端设备可以包括诸如柔性显示器的显示设备。柔性显示器的示例包括有机电致发光(EL)显示器(柔性有机EL显示器)、电子纸显示器以及柔性液晶显示器。可以使用采用任意其他显示方法的柔性显示器。柔性显示器例如是具有柔性、可变形显示部分的显示器,使显示器可以弯曲、折叠、卷绕、扭曲和/或拉伸。终端设备可以整体形成为柔性显示器,或者可以功能或物理地分成柔性显示器和其他元件。
例如,各设备10A至10R被构造为根据来自用户的指令或自动(而不管是否从用户给出指令)独立执行单独功能。例如,充当中继器的各设备10A、10D以及10P根据来自用户的指令或自动(而不管是否从用户给出指令)获取各种信息,并且向用户提供信息。充当机器人的各设备10B和10Q根据来自用户的指令或自动(而不管是否从用户给出指令)执行各种任务。充当摄像头的各设备10C和10R根据来自用户的指令或自动(而不管是否从用户给出指令)拍摄图像,并且生成图像数据(移动图像数据或静止图像数据)。充当PC的各设备10E和10N根据来自用户的指令或自动(而不管是否从用户给出指令)执行各种处理。充当智能电话的各设备10F、10G、10L以及10M根据来自用户的指令或自动(而不管是否从用户给出指令)执行各种处理。充当多功能设备的各设备10H和10K根据来自用户的指令或自动(而不管是否从用户给出指令)执行图像形成处理。
另外,各个设备10可以执行设置的协作功能。例如,指示协作功能的内容的设置信息存储在用于协作功能的设备10中,并且各个设备10与其他设备10协作工作,以执行由所存储的设置信息指示的协作功能。
各个设备10搭载用于辅助用户的一个或更多个操作助理(或人工辅助)。操作助理被构造为例如控制搭载操作助理的设备10或控制任意其他设备10。操作助理可以控制构成设备10的硬件或控制在设备10中安装的软件。例如,操作助理分析从用户给出的指令,并且根据指令来控制设备10,以控制由用户指定的功能的执行。
操作助理还可以具有与用户互动的功能。即,操作助理可以起用户的互动伙伴的作用。例如,操作助理分析由用户产生的话语,基于分析的结果生成响应,并且向用户提供响应。
在用户经由语音输入、文本输入或任意其他方法向操作助理提供指令或话语时,例如,操作助理向输入信息应用诸如形态分析的自然语言处理,以分析指令或话语。
操作助理例如通过执行操作助理程序来实施。操作助理程序安装在各个设备10中。应理解的是,操作助理程序可以安装在诸如服务器的外部设备中,并且操作助理的功能可以从服务器向设备10提供。
操作助理可以由人工智能(AI)来实施。例如,操作助理可以具有基于AI的学习功能,并且具有使用学习功能来进行类人决策的能力。另选地,可以使用基于神经网络的深度学习,或者可以使用用于部分强化学习区域的强化学习等。可以使用任意其他技术,诸如遗传算法、聚类分析、自组织映射或集成学习。应理解的是,可以使用任意其他AI相关的技术。操作助理可以起充当自动响应AI的聊天机器人(使用AI的自动对话程序)的作用。
操作助理可以根据来自与当前登录到操作助理中的用户账户关联的用户的指令工作。
在第一示例性实施方式中,在特定设备10(请求设备10)向其它设备10(被请求设备10)发送指示连接请求的信息时,在其它设备10(被请求设备10)中搭载的操作助理被设置为从操作助理并且被使得作为从操作助理工作。从操作助理是根据来自该从操作助理之外的不同操作助理的指令来控制的。
在一些情况下,例如,在设备10具有单独功能或协作功能时,在设备10用于执行单独功能或协作功能时,在用户进行连接请求时,或在借助特定设备10使用其它设备10时,特定设备10向该其它设备10发送指示连接请求的信息。在这种情况下,作为被请求设备的该其它设备10中搭载的操作助理被设置为从操作助理。应理解的是,在任意其他事件发生时,可以从特定设备10向其它设备10发送指示连接请求的信息。
下文参照图2详细描述各个设备10的构造。图2例示了各个设备10的示例构造。图2例示了设备10共同具有的构造,但未例示特定于各个设备10的构造。
通信单元12是通信接口,并且具有向其它设备发送数据的功能和从其它设备接收数据的功能。通信单元12可以为具有无线通信功能的通信接口或可以为具有有线通信功能的通信接口。例如,通信单元12支持一种或更多种通信方案,并且可以根据适于通信对等方的通信方案(即,通信对等方所支持的通信方案)与通信对等方通信。通信方案的示例包括用于红外通信、可见光通信、Wi-Fi(登记商标)通信以及短距离无线通信(诸如近场通信(NFC))的方案。短距离无线通信的示例包括基于Felica(登记商标)、蓝牙(登记商标)以及射频标识(RFID)的通信。通信单元12可以支持第五代移动通信系统(5G)。应理解的是,基于任意其他方案的无线通信可以用作短距离无线通信。通信单元12可以根据通信对等方在通信方案或频带之间切换,或者可以根据环境条件在通信方案或频带之间切换。频带例如可以包括2.4Ghz和5GHz。
用户接口(UI)14包括显示单元和操作单元。显示单元为显示设备(诸如液晶显示器)。显示单元可以为柔性显示器。操作单元为输入设备,例如包括触控板和键盘。UI单元14可以是充当显示单元和操作单元这两者的用户接口(例如,包括触摸显示器或具有上面电子地显示键盘等的显示器的设备的用户接口)。UI单元14可以包括诸如麦克风的音频收集单元或诸如麦克风的音频生成单元。在这种情况下,信息可以经由语音输入来输入到设备10,或者信息可以经由音频输出。注意,信息处理系统可以包括没有UI单元14的设备10。例如,不向用户输出信息的感测设备可以不包括UI单元14。
存储单元16是存储设备(诸如硬盘或存储器(例如,固态驱动器(SSD)))。存储单元16例如存储各种数据、各种程序等。程序例如包括操作系统(OS)、一个或更多个操作助理程序、以及各种应用程序。在一些设备10中,存储单元16不存储OS或应用程序。存储单元16可以存储指示其他设备10的地址的设备地址信息(诸如因特网协议(IP)地址或媒体访问控制(MAC)地址)、指示服务器的地址(诸如IP地址或MAC地址)的服务器地址信息等。
执行单元18被构造为执行功能。例如,在设备10是图像形成设备时,执行单元18执行图像形成功能,诸如扫描功能、打印功能或复印功能。在设备10是机器人时,执行单元18执行机器人的功能(诸如移动功能或搬抬功能)。在设备10是摄像头时,执行单元18执行图像拍摄功能。
控制单元20被构造为控制设备10的各单元的操作。例如,控制单元20执行操作,诸如执行程序,控制由通信单元12执行的通信,控制使用UI单元14进行的信息的通知(诸如显示信息或输出音频)、使用UI单元14输入到设备10的信息的接受,将信息写到存储单元16,读取来自存储单元16的信息,以及控制执行单元18。控制单元20包括助理控制单元22。
在第一示例性实施方式中,助理控制单元22被构造为根据设备10之间的连接将操作助理设置为主操作助理或从操作助理,以使操作助理作为主操作助理或从操作助理工作。助理控制单元22可以将在包括助理控制单元22的设备10中搭载的操作助理设置为主操作助理或从操作助理,或者可以将在任意其他设备10中搭载的操作助理设置为主操作助理或从操作助理。如上所述,从操作助理是根据来自该从操作助理之外的不同操作助理的指令来控制的。主操作助理与该不同操作助理的示例对应。
下文参照图3详细描述中继器的外观。图3是中继器的立体图。作为示例,图3例示了充当中继器的设备10A。设备10F和10P也可以具有与设备10A的构造类似的构造,或者可以具有不同的构造。
设备10A是所谓的智能扬声器,并且具有通信功能和语音辅助功能。设备10A包括大致圆柱形的主体24。主体24在其侧面上包括麦克风26、扬声器28、显示单元30以及发光单元32和34。主体24还在其顶面上包括传感器36。主体24的形状不限于图3所例示的形状。主体24可以具有任意形状,只要中继器中包括麦克风26和扬声器28。麦克风26、扬声器28、显示单元30、发光单元32和34、以及传感器36可以布置在与图3所例示的位置不同的位置处。
麦克风26起收集设备10A周围的声音的音频收集设备的作用。例如,麦克风26拾取用户的语音。
在用户与操作助理互动时,从扬声器28输出由操作助理产生的话语作为语音。可以从扬声器28输出任意其他类型的音频,诸如音乐、电视程序的音频、或收音机程序的音频。
显示单元30是显示设备。显示单元30可以是还充当操作单元的用户接口(诸如触控板)。
发光单元32包括一个或更多个光源(例如,光源38、40以及42),并且以与在设备10A中搭载的操作助理的设置对应的方式发光。在操作助理中设置诸如年龄、性别、职业以及性格的设置项。操作助理根据设置项回答用户,或者执行任务。例如,在设置项中的职业指示“医师”时,从光源38和42发出蓝光,并且从光源40发出黄光。在设置项以不同方式设置时,发光单元32以与设置对应的方式发光。
发光单元34包括一个或更多个光源(例如,光源44、46以及48),并且以与当前登录到在设备10A中搭载的操作助理中的用户账户对应的方式发光。例如,在用户B当前登录到在设备10A中搭载的操作助理中时,从光源44和48发出蓝光,并且从光源46发出黄光。在不同的用户当前登录到操作助理中时,发光单元34以与登录的该用户对应的方式发光。
发光单元32和34可以以不可区分的方式布置在主体24上。例如,在发光单元32和34中包括的所有光源可以用于表示操作助理的设置和用户账户。另选地,操作助理的设置或用户账户可以使用各光源的发光模式(诸如闪烁的方式或持续时间)来表示。
传感器36检测用户的姿态。装置10A执行对应于所检测姿态的处理。例如,设备10A可以根据所检测的姿态来独自执行处理或控制其它设备10的操作。
下文参照图4详细描述协作功能。图4例示了功能管理表的示例。功能管理表是用于管理在设备10中设置的协作功能的表。功能管理表的数据可以存储设置协作功能的设备10中或用于设置协作功能的设备10中。另选地,功能管理表的数据可以存储在用于控制设备10的服务器或中继器中。例如,在用户使用充当智能电话的设备10F提供设置协作功能的指令时,功能管理表的数据可以存储在设备10F中。当在连接到充当中继器的设备10A的设备10中设置协作功能时,功能管理表可以存储在设备10A中。
在功能管理表中,作为示例,指示用于协作功能的多个设备10的信息和指示在多个设备10中设置的协作功能的内容的信息与彼此关联。下文描述在功能管理表中登记的协作功能的具体示例。
指示充当PC的设备10E和充当多功能设备的设备10H的组合的信息与指示在设备10E和10H中设置的协作功能的信息关联。协作功能是“扫描和传送功能”以及“打印功能”。扫描和传送功能是功能“使用具有扫描功能的多功能设备(设备10H)扫描(读取)图像,以生成图像数据,并且从多功能设备(设备10H)向PC(设备10E)传送图像数据”。打印功能是功能“向多功能设备(设备10H)发送在PC(设备10E)中保存的数据并且使用多功能设备打印数据”。在用户给出执行扫描和传送功能的指令时,设备10E和10H执行扫描和传送功能。类似地,在用户给出执行打印功能的指令时,设备10E和10H执行打印功能。
进一步地,指示充当摄像头的设备10C和充当机器人的设备10B的组合的信息与指示在设备10B和10C中设置的协作功能的信息关联。协作功能是功能“在由摄像头(设备10C)检测到可疑的人时,将机器人(设备10B)调度到检测到可疑人的位置”。在协作功能被设置为有效(在打开状态)时,设备10B和10C执行协作功能。
进一步地,指示多功能设备和投影仪的组合的信息与指示在多功能设备和投影仪的组合中设置的协作功能的信息关联。协作功能是“投影功能”以及“打印功能”。投影功能是功能“使用具有扫描功能的多功能设备扫描图像,以生成图像数据,并且使用投影仪投影图像数据”。打印功能是功能“向多功能设备发送由投影仪投影的图像数据,并且使用多功能设备打印图像数据”。在用户给出执行投影功能的指令时,多功能设备和投影仪执行投影功能。类似地,在用户给出执行打印功能的指令时,多功能设备和投影仪执行打印功能。
进一步地,指示门开/关传感器和照明设备的组合的信息与指示在门开/关传感器和照明设备的组合中设置的协作功能的信息关联。协作功能是功能“在使用门开/关传感器检测到门打开时,打开照明设备”。在协作功能被设置为有效(在打开状态)时,门开/关传感器和照明设备执行协作功能。
图4所例示的协作功能是示例,并且可以在设备10中设置其他协作功能。另外,可以设置使用软件的协作功能。
下文详细描述根据第一示例性实施方式的一些示例。
示例1-1
将参照图5描述根据示例1-1的处理。图5例示了设备10的示例。在示例1-1中,充当智能电话的设备10F对应于请求设备,并且充当中继器的设备10A对应于被请求设备。即,设备10F向设备10A发送指示连接请求的信息。例如,在执行在设备10A中包括的单独功能时,在设备10F用于在设备10A中设置单独功能时,在设备10F和设备10A协作工作来执行协作功能时,在设备10F用于在设备10A中设置协作功能时,在设备10F用于借助设备10A在其它设备10中设置协作功能时,在借助设备10F使用设备10A时,或者在用户使用设备10F给出发送连接请求的指令时,设备10F向设备10A发送指示连接请求的信息。应理解的是,设备10F可以在任意其他事件发生时向设备10A发送指示连接请求的信息。
设备10F搭载操作助理A1。设备10A搭载操作助理A2。例如,操作助理A1和A2可以为相同类型或不同类型。例如,操作助理A1和A2可以具有相同类型的人工智能(AI),或者可以具有不同类型的人工智能(AI)。即使操作助理A1和A2为相同类型(例如,即使操作助理A1和A2具有相同类型的AI),在版本不同时,在可控功能或设备不同时,在可用用户不同时,或者在登录的用户账户不同时,操作助理A1和A2也作为不同的操作助理对待。如果操作助理A1和A2具有不同的学习程度,则操作助理A1和A2可以作为不同的操作助理对待。
在图5所例示的示例中,设备10F对应于第一设备的示例,并且设备10A对应于第二设备的示例。进一步地,操作助理A1对应于第一操作助理的示例,并且操作助理A2对应于第二操作助理的示例。
在从设备10F向设备10A发送指示连接请求的信息时,助理控制单元22将在请求设备10F中搭载的操作助理A1设置为主操作助理,以使操作助理A1作为主操作助理工作。进一步地,助理控制单元22将在被请求设备10A中搭载的操作助理A2设置为从操作助理,以使操作助理A2作为从操作助理工作。即,助理控制单元22在操作助理A1与操作助理A2之间设置主从关系。充当从操作助理的操作助理A2根据来自充当主操作助理的操作助理A1的指令工作。例如,在用户使用设备10F向操作助理A1给出旨在用于设备10A的指令时,操作助理A1向在设备10A中搭载的操作助理A2给出指令。操作助理A2根据指令工作。例如,操作助理A2根据来自操作助理A1的指令控制设备10A的操作。
上述主从关系可以由请求设备10F的助理控制单元22、被请求设备10A的助理控制单元22或在诸如服务器的外部设备中搭载的助理控制单元22来设置。
例如,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,设备10F的助理控制单元22向设备10A发送指示用于从操作助理的指令的信息(包括用于标识作为主操作助理的操作助理A1的信息),以将在设备10A中搭载的操作助理A2设置为从操作助理,该从操作助理根据来自在设备10F中搭载的操作助理A1的指令工作。
作为另一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。在从设备10F接收到指示连接请求的信息(包括用于标识作为主操作助理的操作助理A1的信息)时,设备10A的助理控制单元22将操作助理A2设置为从操作助理,该从操作助理根据来自在设备10F中搭载的操作助理A1的指令工作。
作为又一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F向诸如服务器的外部设备发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息、以及指示设备10F和10A的相应地址的设备地址信息。在接收到上述信息时,外部设备的助理控制单元22向设备10F发送指示主操作助理的信息,以将操作助理A1设置为主操作助理,并且向设备10A发送指示从操作助理的信息,以将操作助理A2设置为从操作助理。
在操作助理A1与操作助理A2之间保持主从关系的时段中,在一些情况下,可以在没有操作助理A1的介入的情况下向操作助理A2提供指令。例如,在没有操作助理A1的介入的情况下,指令可以直接提供给设备10A,或者指令可以从设备10F之外的设备10提供给设备10A。在这些情况下,操作助理A2不根据在没有操作助理A1的介入的情况下提供给操作助理A2的指令工作,而是根据来自操作助理A1的指令工作。在这种情况下,在以下面描述的方式解除主从关系之后,操作助理A2在保持主从关系的时段中根据在没有操作助理A1的介入的情况下提供给操作助理A2的指令工作。应理解的是,即使在保持主从关系的时段中,在没有指令从操作助理A1提供给操作助理A2期间,操作助理A2可以根据在没有操作助理A1的介入的情况下提供给操作助理A2的指令工作。
当操作助理A2在从设备10F向设备10A发送指示连接请求的信息时执行任务时,助理控制单元22在完成任务之后将操作助理A2设置为从操作助理。应理解的是,可以优先考虑连接请求。在这种情况下,助理控制单元22暂时停止当前由操作助理A2执行的任务,并且将操作助理A2设置为从操作助理。在解除主从关系之后,操作助理A2恢复已经停止的任务。
在使充当从操作助理的操作助理A2完成与来自充当主操作助理的操作助理A1的指令对应的任务时,助理控制单元22解除上述主从关系。例如,在设备10A完成与来自设备10F的指令对应的单独功能的执行时,助理控制单元22解除操作助理A1与操作助理A2之间的主从关系。作为另一示例,设置使用设备10F和设备10A的协作功能。在完成协作功能的执行时,助理控制单元22解除操作助理A1与操作助理A2之间的主从关系。主从关系的解除可以由请求设备10F的助理控制单元22、被请求设备10A的助理控制单元22或在外部设备中包括的助理控制单元22来执行。在解除主从关系之后,操作助理A2根据被提供给操作助理A2的指令工作,而不管指令是否是从操作助理A1提供的。
根据示例1-1,在被请求设备10中搭载的操作助理根据来自在请求设备10中搭载的操作助理的指令工作。因此,因为在操作助理之间建立主从关系,所以在设备10彼此连接时,设备10可以被适当控制。
如果从与当前登录到在设备10A中搭载的操作助理A2中的用户账户关联的用户获得许可,则助理控制单元22可以将操作助理A2设置为从操作助理。例如,在已经接收到指示连接请求的信息的设备10A的显示单元上显示用于用户查询是否许可将操作助理A2设置为从操作助理的消息。如果设备10A的用户给予许可,则助理控制单元22将操作助理A2设置为从操作助理。如果设备10A的用户不给予许可,则助理控制单元22不将操作助理A2设置为从操作助理。在这种情况下,操作助理A2根据被提供给操作助理A2的指令工作,而不管指令是否从操作助理A1提供的。因此,如果被请求设备10的用户给与许可,则被请求设备10中的操作助理被设置为从操作助理。这可以防止被请求设备10中的操作助理在没有用户许可的情况下被设置为从操作助理。
下文参照图6描述保持主从关系的时段中的画面。图6示出了画面的示例。画面50是显示在请求设备10F上的画面。
设备10F的控制单元20使UI单元14的显示单元显示画面50,并且在画面50上显示各种信息。画面50是用于允许用户与操作助理互动的用户接口(对话用户接口)。即,画面50是用于在操作助理与用户之间交换消息的用户接口。画面50显示由用户输入到设备10F的信息(诸如字符串或图像)、以及指示由操作助理产生的话语内容的信息(诸如字符串或图像)。用户与操作助理之间的互动是所谓的聊天式互动(即,互动借助用户与操作助理之间的消息的实时发送来前进的类型)。例如,设备10F安装有用于与操作助理互动的程序(例如,聊天程序)。聊天程序被执行以显示画面50。
操作助理显示区域显示与在设备10F中搭载的操作助理A1关联的图像52(诸如图标)。用户显示区域显示与用户关联的图像54(诸如图标或照片)。当在设备10A中搭载的操作助理A2作为从操作助理工作时,操作助理显示区域显示与操作助理A2关联的图像56(诸如图标)。代替图像或除了图像,可以显示用于标识用户和各操作助理的字符串。
在画面50上,在用户与操作助理A1和A2之间进行互动。在互动期间,与图像52关联地显示由操作助理A1产生的话语58的内容,与图像56关联地显示由操作助理A2产生的话语的内容,并且与图像54关联地显示由用户产生的话语62的内容。旨在用于操作助理A2的指令借助操作助理A1来提供。与充当从操作助理的操作助理A2关联的图像56可以不是必须显示在画面50上。
另外用户可以参与用户与操作助理A1和A2之间的互动。在这种情况下,与另外用户关联的图像显示在画面50上。由另外用户产生的话语的内容与图像关联地显示在画面50上。
用户可以使用语音或姿态向操作助理提供消息。在这种情况下,可以不是必须显示画面50。即使在使用语音或姿态时,也可以显示画面50,并且可以在画面50上显示语音或姿态的内容作为字符串。
例如,当用户在画面50上向操作助理A1提供执行使用设备10F和10A的协作功能的指令时,操作助理A1控制协作功能的执行。例如,操作助理A1控制设备10F,并且向操作助理A2提供执行协作功能的指令。这样,执行协作功能。
示例1-2
将参照图7A至图7C描述根据示例1-2的处理。图7A至图7C例示了设备10的示例。在示例1-2中,如同示例1-1,设备10F对应于请求设备,并且设备10A对应于被请求设备。
如图7A例示,设备10F搭载操作助理A1。设备10A搭载操作助理A2。与账户α关联的用户当前登录到在设备10F中搭载的操作助理A1中。与账户β关联的用户当前登录到在设备10A中搭载的操作助理A2中。
设备10F对应于第一设备的示例,并且设备10A对应于第二设备的示例。进一步地,操作助理A1对应于第一操作助理的示例,并且操作助理A2对应于第二操作助理的示例。进一步地,账户α对应于第一账户的示例,并且账户β对应于第二账户的示例。
在从设备10F向设备10A发送指示连接请求的信息时,如图7B例示,助理控制单元22使账户β从操作助理A2登出,并且使当前登录到请求设备10F中的操作助理A1中的账户α登录到操作助理A2中。这允许助理控制单元22将操作助理A2设置为从操作助理。进一步地,助理控制单元22将账户α当前登录到其中的操作助理A1设置为主操作助理。这样,助理控制单元22在操作助理A1与操作助理A2之间设置主从关系。充当从操作助理的操作助理A2根据来自账户α当前登录到其中的操作助理A1的指令工作。例如,在与账户α关联的用户使用设备10F向操作助理A1提供旨在用于设备10A的指令时,操作助理A1向在设备10A中搭载的操作助理A2提供指令。操作助理A2根据指令工作。因此,操作助理A2根据来自与账户α关联的用户的指令工作。
如同示例1-1,上述主从关系可以由请求设备10F的助理控制单元22、被请求设备10A的助理控制单元22或在诸如服务器的外部设备中搭载的助理控制单元22来设置。
例如,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,设备10F的助理控制单元22向设备10A发送账户控制信息。账户控制信息包括:用于提供以下指令的信息:该指令使当前登录到在被请求设备10A中的操作助理A2中的账户β从操作助理A2登出;和用于提供以下指令的信息:该指令使当前登录到在请求设备10F中搭载的操作助理A1中的账户α登录到操作助理A2中。设备10F的助理控制单元22向设备10A发送账户控制信息,以使账户β从操作助理A2登出,并且使账户α登录到操作助理A2中。这允许操作助理A2不根据来自与账户β关联的用户(设备10A)的指令工作,而是根据来自与账户α关联的用户(设备10F)的指令工作。
作为另一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,设备10F的助理控制单元22向设备10A发送指示当前登录到在设备10F中搭载的操作助理A1中的账户α的信息。在从设备10F接收到指示连接请求的信息和指示账户α的信息时,设备10A的助理控制单元22使账户β从操作助理A2登出,并且使账户α登录到操作助理A2中。这允许操作助理A2不根据来自与账户β关联的用户(设备10A)的指令工作,而是根据来自与账户α关联的用户(设备10F)的指令工作。
作为又一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F向诸如服务器的外部设备发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息、以及指示设备10F和10A的相应地址的设备地址信息。在接收到上述信息时,外部设备的助理控制单元22向设备10F发送指示主操作助理的信息,以将操作助理A1设置为主操作助理。进一步地,外部设备的助理控制单元22从设备10F获取指示账户α的信息,并且向设备10A发送包含所获取信息的账户控制信息,以使账户β从操作助理A2登出,并且使账户α登录到操作助理A2中。
如同示例1-1,在操作助理A1与操作助理A2之间保持主从关系的时段中,在一些情况下,可以在没有操作助理A1的介入的情况下向操作助理A2提供指令。在这种情况下,操作助理A2不根据在没有操作助理A1的介入的情况下提供给操作助理A2的指令(来自账户α之外的账户的指令)来操作,而是根据来自操作助理A1(账户α)的指令工作。在这种情况下,在解除主从关系之后,操作助理A2根据在保持主从关系的时段中在没有操作助理A1的介入的情况下提供给操作助理A2的指令工作。应理解的是,即使在保持主从关系的时段中,在没有指令从操作助理A1提供给操作助理A2期间,操作助理A2可以根据在没有操作助理A1的介入的情况下提供给操作助理A2的指令工作。
在账户α从操作助理A2登出时,助理控制单元22解除上述的主从关系。例如,在设备10A完成与来自设备10F的指令对应的单独功能的执行且账户α从操作助理A2登出时,助理控制单元22解除操作助理A1与操作助理A2之间的主从关系。作为另一示例,设置使用设备10F和设备10A的协作功能。在完成协作功能的执行且账户α从操作助理A2登出时,助理控制单元22解除操作助理A1与操作助理A2之间的主从关系。更具体地,如图7C例示,助理控制单元22使账户α从操作助理A2登出,并且使账户β再次登录到操作助理A2中。这允许操作助理A2不根据来自与账户α关联的用户的指令(来自操作助理A1的指令)操作,而是根据来自与账户β关联的用户的指令工作。另选地,在账户α根据从用户给出的指令从操作助理A2登出时,助理控制单元22可以使账户β登录到操作助理A2中,以解除主从关系。如同示例1-1,上述主从关系在设备10F、设备10A或外部设备所搭载的助理控制单元22的控制下解除。
根据示例1-2,控制账户登录到在被请求设备10中搭载的操作助理和从其登出使得在被请求设备10中搭载的操作助理能够根据来自在请求设备10中搭载的操作助理的指令工作。因此,因为在操作助理之间建立主从关系,所以在设备10彼此连接时,设备10可以被适当控制。
指示从充当主操作助理的操作助理A1向充当从操作助理的操作助理A2提供的指令的信息未存储在设备10A中。例如,在账户α从操作助理A2登出时,被请求设备10A的助理控制单元22从设备10A删除指示指令的信息。指示指令的信息可以由请求设备10F的助理控制单元22或在外部设备中搭载的助理控制单元22来从设备10A删除。这可以防止了指示指令的信息从设备10A泄露,并且确保指示指令的信息的安全。指示设备10F已经连接到设备10A的历史信息可以存储在设备10A中。指示指令的信息的删除或历史信息的存储可以在示例1-1中执行,或者可以在以下示例中执行。
如同示例1-1,可以在设备10F的显示单元上显示用于与操作助理互动的画面50。
另外,如果从与当前登录到在被请求设备10A中搭载的操作助理A2中的账户β关联的用户获得许可,则助理控制单元22可以使账户β从操作助理A2登出,并且使账户α登录到操作助理A2中。如果未获得许可,则助理控制单元22保持账户β到操作助理A2的登录,并且不允许账户α登录到操作助理A2中。这可以防止在没有与账户β关联的用户的许可的情况下,账户β从操作助理A2登出,并且操作助理A2被设置为从操作助理。
示例1-3
将参照图8A至图8C描述根据示例1-3的处理。图8A至图8C例示了设备10的示例。在示例1-3中,如同示例1-1,设备10F对应于请求设备,并且设备10A对应于被请求设备。
如图8A例示,设备10F搭载操作助理A1。设备10A搭载操作助理A2。与账户α关联的用户当前登录到在设备10F中搭载的操作助理A1中。与账户β关联的用户当前登录到在设备10A中搭载的操作助理A2中。
设备10F对应于第一设备的示例,并且设备10A对应于第二设备的示例。进一步地,操作助理A1对应于第一操作助理的示例,并且操作助理A2对应于第二操作助理的示例。进一步地,账户α对应于第一账户的示例,并且账户β对应于第二账户的示例。
在从设备10F向设备10A发送指示连接请求的信息时,如图8B例示,助理控制单元22将在设备10A上工作的操作助理从操作助理A2切换到在设备10F中搭载的操作助理A1。这允许助理控制单元22将在设备10A上工作的操作助理设置为根据来自设备10F的指令工作的从操作助理。
例如,助理控制单元22完成在设备10A中搭载的操作助理A2的启动(或者将操作助理A2设置为关闭状态),在设备10A上启动操作助理A1(或者将操作助理A1设置为打开状态),然后将操作助理A1设置为从操作助理。例如,当前在设备10A上执行用于操作助理A2的操作助理程序。助理控制单元22完成该操作助理程序,以完成操作助理A2的启动。进一步地,助理控制单元22在设备10A上执行操作助理A1的操作助理程序,以启动操作助理A1。进一步地,助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。充当从操作助理的操作助理A1根据来自充当主操作助理的操作助理A1的指令工作。
在设备10A安装有操作助理A1的操作助理程序时,助理控制单元22执行已安装的操作助理程序。在设备10A未安装操作助理程序时,助理控制单元22从诸如服务器的外部设备下载操作助理程序,将操作助理程序安装到设备10A中,并且执行已安装的操作助理程序。
进一步地,助理控制单元22使当前登录到在设备10F中充当主操作助理的操作助理A1中的账户α登录到在设备10A中作为从操作助理工作的操作助理A1。这允许充当从操作助理的操作助理A1根据来自与账户α关联的用户的指令工作。在完成操作助理A2的启动时,使账户β从操作助理A2自动登出。
如同示例1-1,上述主从关系可以由请求设备10F的助理控制单元22、被请求设备10A的助理控制单元22或在诸如服务器的外部设备中搭载的助理控制单元22来设置。
例如,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,设备10F的助理控制单元22向设备10A发送助理控制信息。助理控制信息时指示在操作助理之间切换的指令。具体地,助理控制信息时用于提供指令的信息,该指令将在设备10A上工作的操作助理切换到在设备10F中搭载的操作助理A1。设备10F的助理控制单元22向设备10A发送助理控制信息,以将在设备10A上工作的操作助理从操作助理A2切换至操作助理A1。
作为另一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,设备10F的助理控制单元22向设备10A发送指示在设备10F中搭载的操作助理A1的信息。在从设备10F接收到指示连接请求的信息和指示操作助理A1的信息时,设备10A的助理控制单元22将在设备10A上工作的操作助理从操作助理A2切换至操作助理A1。
作为又一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F向诸如服务器的外部设备发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息、以及指示设备10F和10A的相应地址的设备地址信息。在接收到上述信息时,外部设备的助理控制单元22向设备10F发送指示主操作助理的信息,以将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,外部设备的助理控制单元22从设备10F获取指示操作助理A1的信息,并且向设备10A发送所获取的信息,以将在设备10A上工作的操作助理从操作助理A2切换至操作助理A1。
如同示例1-1,在保持上述主从关系的时段中,在一些情况下,可以在没有充当主操作助理的操作助理A1的介入的情况下向充当从操作助理的操作助理A1提供指令。在这种情况下,充当从操作助理的操作助理A1不根据在没有充当主操作助理的操作助理A1的介入的情况下提供的指令工作,而是根据来自充当主操作助理的操作助理A1的指令工作。在这种情况下,在解除主从关系之后,操作助理A2根据在保持主从关系的时段中在没有主操作助理的介入的情况下提供的指令工作。应理解的是,即使在保持主从关系的时段中,在没有指令从主操作助理提供给从操作助理期间,从操作助理可以根据在没有主操作助理的介入的情况下提供给从操作助理的指令工作。
在使充当从操作助理的操作助理A1完成与来自充当主操作助理的操作助理A1的指令对应的任务时,助理控制单元22解除上述主从关系。例如,在设备10A完成与来自设备10F的指令对应的单独功能的执行时,助理控制单元22解除操作助理A1与操作助理A2之间的主从关系。作为另一示例,设置使用设备10F和设备10A的协作功能。在完成协作功能的执行时,助理控制单元22解除主从关系。更具体地,如图8C例示,在解除主从关系之后,助理控制单元22将在设备10A上工作的操作助理从操作助理A1再次切换回至操作助理A2。例如,助理控制单元22在设备10A上完成操作助理A1的操作助理程序的执行,并且执行操作助理A2的操作助理程序。进一步地,助理控制单元22使账户β再次登录到操作助理A2中。这停用在设备10A上运行的操作助理A1,并且在设备10A上启用操作助理A2。操作助理A2根据被提供给操作助理A2的指令工作,而不管指令是否是从操作助理A1提供的。如同示例1-1,上述主从关系由设备10F、设备10A或外部设备所搭载的助理控制单元22解除。
根据示例1-3,在被请求设备10上工作的操作助理切换到在请求设备10上工作的操作助理,从而允许在被请求设备10中搭载的操作助理根据来自在请求设备10中搭载的操作助理的指令工作。因此,因为在操作助理之间建立主从关系,所以在设备10彼此连接时,设备10可以被适当控制。
如同示例1-1,可以在设备10F的显示单元上显示用于与操作助理互动的画面50。
另外,如果从与当前登录到在被请求设备10A中搭载的操作助理A2中的账户β关联的用户获得许可,则助理控制单元22可以将在被请求设备10A上工作的操作助理从操作助理A2切换至操作助理A1。如果未获得许可,则助理控制单元22不切换在设备10A上工作的操作助理。这可以防止在设备10A上工作的操作助理在没有与账户β关联的用户的许可的情况下从操作助理A2切换至另一个操作助理。
示例1-4
将参照图9描述根据示例1-4的处理。图9例示了设备10的示例。在示例1-4中,如同示例1-1,设备10F对应于请求设备,并且设备10A对应于被请求设备。
设备10F搭载操作助理A1。设备10A搭载操作助理A2。
设备10F对应于第一设备的示例,并且设备10A对应于第二设备的示例。进一步地,操作助理A1对应于第一操作助理的示例,并且操作助理A2对应于第二操作助理的示例。
在从设备10F向设备10A发送指示连接请求的信息时,助理控制单元22使用充当第三操作助理的标准操作助理As控制在设备10A中搭载的操作助理A2,以使操作助理A2作为从操作助理工作。进一步地,助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。标准操作助理As具有与例如多个类型的操作助理互动并且控制多个类型的操作助理的功能。例如,标准操作助理As与操作助理A1和A2交换消息,并且控制操作助理A1和A2。标准操作助理As可以独立地控制多个操作助理,或者可以通过使多个操作助理协作工作来横断地控制多个操作助理。
标准操作助理As可以具有多个类型的操作助理共同具有的功能。在这种情况下,标准操作助理As可以或可以不具有多个类型的操作助理不共同具有的功能。例如,标准操作助理As具有操作助理A1和A2共同具有的功能,但不具有操作助理A1和A2不共同具有的功能。
能够与多个类型的操作助理互动的标准操作助理As可以为具有性能比任意其他辅助低的功能的操作助理。
例如,标准操作助理As接收充当主操作助理的操作助理A1的指令,并且根据指令控制作为从操作助理的操作助理A2。这允许操作助理A2借助标准操作助理As根据来自操作助理A1的指令工作。
标准操作助理As可以被搭载在请求设备10F、被请求设备10A或诸如服务器的外部设备中。在图9所例示的示例中,标准操作助理As被搭载在外部设备64中。即,用于标准操作助理As的操作助理程序存储在外部设备64中。提供执行操作助理程序,标准操作助理As在外部设备64上工作。
如同示例1-1,上述主从关系可以由请求设备10F的助理控制单元22、被请求设备10A的助理控制单元22或在诸如服务器的外部设备(例如,外部设备64)中搭载的助理控制单元22来设置。
例如,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,设备10F的助理控制单元22向外部设备64发送控制请求信息。控制请求信息是用于请求外部设备64执行使用标准操作助理As的控制的信息,并且是包括指示被请求设备10A的地址的设备地址信息的信息。设备10F的助理控制单元22向外部设备64发送控制请求信息,以启动在外部设备64中搭载的标准操作助理As,并且使标准操作助理As控制在被请求设备10A中搭载的操作助理A2。在设备10F中搭载的操作助理A1向标准操作助理As发送指示指令的信息。标准操作助理As根据指令控制操作助理A2。即,操作助理A2借助标准操作助理As根据从操作助理A1提供的指令工作。因此,操作助理A2作为从操作助理工作。
作为另一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。在从设备10F接收到指示连接请求的信息时,设备10A的助理控制单元22向外部设备64发送上述控制请求信息,以启动在外部设备64中搭载的标准操作助理As,并且使标准操作助理As控制在设备10A中搭载的操作助理A2。操作助理A2借助标准操作助理As根据从操作助理A1提供的指令工作。因此,操作助理A2作为从操作助理工作。
作为又一示例,在设备10F向设备10A发送指示连接请求的信息时,设备10F向外部设备64发送指示设备10F是请求设备的信息、指示设备10A是被请求设备的信息、以及指示设备10F和10A的相应地址的设备地址信息。在接收到上述信息时,外部设备64的助理控制单元22向设备10F发送指示主操作助理的信息,以将在设备10F中搭载的操作助理A1设置为主操作助理。进一步地,外部设备64的助理控制单元22启动在外部设备64中搭载的标准操作助理As,并且使标准操作助理As控制在设备10A中搭载的操作助理A2。操作助理A2借助标准操作助理As根据从操作助理A1提供的指令工作。因此,操作助理A2作为从操作助理工作。
如同示例1-1,在保持上述主从关系的时段中,在一些情况下,可以在没有标准操作助理As的介入的情况下向充当从操作助理的操作助理A2提供指令。在这种情况下,操作助理A2不根据在没有标准操作助理As的介入的情况下提供的指令工作,而是根据借助标准操作助理As从操作助理A1提供的指令工作。在这种情况下,在解除主从关系之后,操作助理A2根据在保持主从关系的时段中在没有标准操作助理As的介入的情况下提供的指令工作。应理解的是,即使在保持主从关系的时段中,在没有指令从标准操作助理As提供给操作助理A2期间,操作助理A2可以根据在没有标准操作助理As的介入的情况下提供给操作助理A2的指令工作。
在使充当从操作助理的操作助理A2完成与来自充当主操作助理的操作助理A1的指令对应的任务时,助理控制单元22解除上述主从关系。例如,在设备10A完成与来自设备10F的指令对应的单独功能的执行时,助理控制单元22解除操作助理A1与操作助理A2之间的主从关系。作为另一示例,设置使用设备10F和设备10A的协作功能。在完成协作功能的执行时,助理控制单元22解除主从关系。这允许操作助理A2根据被提供给操作助理A2的指令工作,而不管指令是否借助标准操作助理As从操作助理A1提供。如同示例1-1,上述主从关系由设备10F、设备10A或外部设备64所搭载的助理控制单元22解除。
根据示例1-4,借助标准操作助理控制在被请求设备10中搭载的操作助理。因此,在设备10彼此连接时,设备10可以被适当控制。
助理控制单元22可以使用标准操作助理控制在请求设备10中搭载的操作助理。在图9所例示的示例中,在请求设备10F中搭载的操作助理A1根据来自在外部设备64中搭载的标准操作助理As的指令工作。例如,在用户使用设备10F向操作助理提供指令时,从设备10F向外部设备64提供指示指令的信息。在接收到指示指令的信息时,标准操作助理As根据指令控制操作助理A1和A2。在完成使用设备10F和设备10A的协作功能的执行时,助理控制单元22解除操作助理A1与标准操作助理As之间的主从关系。这允许操作助理A1根据被提供给操作助理A1的指令工作,而不管指令是否借助标准操作助理As来给出的。
另外,如同示例1-3,助理控制单元22可以将在被请求设备10A上工作的操作助理从操作助理A2切换至标准操作助理As。当设备10A安装有用于标准操作助理As的操作助理程序时,助理控制单元22在设备10A上执行所安装的操作助理程序,以在设备10A上启动标准操作助理As。进一步地,助理控制单元22在设备10A上完成操作助理A2的操作助理程序的执行。在设备10A未安装操作助理程序时,助理控制单元22将操作助理程序下载到设备10A中,并且执行已下载的操作助理程序。在设备10A中搭载的标准操作助理As例如根据借助在外部设备64中搭载的标准操作助理As从操作助理A1提供的指令工作。在设备10A中搭载的标准操作助理As可以根据在没有在外部设备64中搭载的标准操作助理As的介入的情况下从操作助理A1提供的指令工作。在完成协作功能的执行时,助理控制单元22将在设备10A上工作的操作助理从标准操作助理As再次切换回至操作助理A2。
助理控制单元22可以将在请求设备10F上工作的操作助理从操作助理A1切换至标准操作助理As。在设备10F中搭载的标准操作助理As借助在外部设备64中搭载的标准操作助理As或在没有在外部设备64中搭载的标准操作助理As的介入的情况下向在设备10A上工作的操作助理(操作助理A2或标准操作助理As)提供指令。在完成协作功能的执行时,助理控制单元22将在设备10F上工作的操作助理从标准操作助理As再次切换回至操作助理A1。
下文参照图10描述在保持主从关系的时段中显示的画面。图10示出了画面的示例。画面50是显示在请求设备10F上的画面。
设备10F的控制单元20使UI单元14的显示单元显示画面50。画面50是用于在用户与标准操作助理As之间交换消息的用户接口。例如,当在设备10F上工作的操作助理从操作助理A1切换至标准操作助理As时,在画面50上在用户与标准操作助理As之间交换消息。画面50具有显示与标准操作助理As关联的图像66的操作助理显示区域,并且与图像66关联地显示由标准操作助理As产生的话语68的内容。画面50还具有显示与用户关联的图像54的用户显示区域。
在画面50上,在用户与标准操作助理As之间进行互动。例如,当用户在画面50上向标准操作助理As提供执行使用设备10F和10A的协作功能的指令时,标准操作助理As控制协作功能的执行。例如,标准操作助理As控制设备10F和10A,以使设备10F和10A执行协作功能。
即使在设备10F上工作的操作助理未从操作助理A1切换至标准操作助理As,也可以在画面50上显示与标准操作助理As关联的图像66。即使在图像66显示在画面50上时,与用户互动的互动伙伴也可以为操作助理A1。应理解的是,可以在画面50上显示与实际与用户互动的操作助理A1关联的图像,并且可以不在画面50上显示图像66。
另外,如果从与当前登录到在被请求设备10A中搭载的操作助理A2中的账户β关联的用户获得许可,则助理控制单元22可以将操作助理A2设置为从操作助理。如果未获得许可,则助理控制单元22不将操作助理A2设置为从操作助理。这可以防止在被请求设备10A中搭载的操作助理A2在没有与当前登录到在被请求设备10A中搭载的操作助理A2中的账户β关联的用户的许可的情况下被设置为从操作助理。
控制单元20可以在画面50上显示与用户的直接对话伙伴(操作助理)关联的图像或与直接对话伙伴之外的不同操作助理关联的图像。例如,在标准操作助理As是直接对话伙伴时,如图10例示,控制单元20可以在画面50上显示与标准操作助理As关联的图像66,或者可以在画面50上显示与在设备10F中搭载的操作助理A1关联的图像。在标准操作助理As是直接对话伙伴时,可以显示与操作助理A1关联的图像,但用户实际上与标准操作助理As交换消息。在这种情况下,给予用户以下印象:在操作助理A1与用户之间交换消息。可以在被请求设备10的显示单元上显示用于在用户与操作助理之间交换消息的画面。在这种情况下,可以将与在被请求设备10中搭载的操作助理关联的图像显示为用户的对话伙伴的图像,或者与标准操作助理As关联的图像可以被显示为对话伙伴的图像。
注意,指示多个操作指令的信息可以从请求设备10F发送到外部设备64,并且可以存储在外部设备64中。即,可以向在外部设备64中搭载的标准操作助理As提供多个操作指令。在这种情况下,标准操作助理As向操作目标设备10发送各操作指令。
示例1-5
将参照图11描述根据示例1-5的处理。图11例示了设备10的示例。在示例1-5中,如同示例1-1,设备10F对应于请求设备,并且设备10A对应于被请求设备。
在示例1-5中,设备10搭载多个操作助理。可以基于与其他设备10的关系从多个操作助理当中选择要启用的操作助理。可以基于要执行的目标功能(单独功能或协作功能)从多个操作助理当中选择要启用的操作助理。
在同一设备10中搭载的多个操作助理例如是不同类型的操作助理。例如,多个操作助理是具有不同类型的人工智能(AI)的操作助理。作为另一示例,即使多个操作助理为相同类型的操作助理(例如,即使多个操作助理具有相同类型的AI),在版本不同时,在可控功能或设备不同时,在可用用户不同时,或者在登录的用户账户不同时,多个操作助理也可以作为操作助理对待。
下文详细描述示例1-5。如图11例示,设备10F搭载操作助理A1。设备10A搭载操作助理A4和A5。因此,设备10A搭载多个操作助理。
例如,对于各操作助理,预先确定可由操作助理控制的功能、可由操作助理控制的设备、可由操作助理控制的设备的数量等。例如,如图12例示,操作助理A4能够控制图像形成功能,诸如扫描功能、打印功能以及复印功能,并且能够控制充当多功能设备的设备10H和10K。操作助理A5能够控制图像拍摄功能,并且能够控制充当摄像头的设备10C。
在从设备10F向设备10A发送指示连接请求的信息时,助理控制单元22从在设备10A中搭载的操作助理A4和A5当中选择能够控制要执行的目标功能的操作助理作为从操作助理。例如,在用户提供执行作为单独功能的图像形成功能或执行使用图像形成功能的协作功能的指令时,助理控制单元22选择能够执行图像形成功能的操作助理A4,作为从操作助理。进一步地,助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。操作助理A1与充当从操作助理的操作助理A4交换信息,以控制所指示功能的执行。例如,助理控制单元22执行用于操作助理A4的操作助理程序,以启动操作助理A4,将操作助理A4设置为从操作助理,并且完成用于操作助理A5的操作助理程序的执行,以停用操作助理A5。
在操作助理A4和A5这两者能够控制要执行的目标功能时,助理控制单元22可以随机选择操作助理A4和A5中的任一个,作为从操作助理,可以选择具有较大数量的可控制的设备或功能的操作助理作为从操作助理,可以选择具有较少负荷的操作助理作为从操作助理,或者可以选择当前不执行处理的操作助理作为从操作助理。
在从设备10F向设备10A发送指示连接请求的信息时,助理控制单元22可以基于可控制的设备的数量从在设备10A中搭载的操作助理A4和A5当中选择从操作助理。例如,助理控制单元22选择具有最大数量的可控制的设备的操作助理作为从操作助理。例如,操作助理A4能够控制两个设备10,并且操作助理A5能够控制一个设备10。在这种情况下,助理控制单元22选择操作助理A4,作为从操作助理。操作助理A1与充当从操作助理的操作助理A4交换信息,以控制所指示功能的执行。
在可由操作助理A4控制的设备的数量等于可由操作助理A5控制的设备的数量时,助理控制单元22可以随机选择操作助理A4和A5中的任一个,作为从操作助理,可以选择具有较大数量的可控功能的操作助理作为从操作助理,可以选择具有较少负荷的操作助理作为从操作助理,或者可以选择当前不执行处理的操作助理作为从操作助理。
作为又一示例,在从设备10F向设备10A发送指示连接请求的信息时,助理控制单元22可以基于可控功能的数量从在设备10A中搭载的操作助理A4和A5当中选择从操作助理。例如,助理控制单元22选择具有最大数量的可控功能的操作助理作为从操作助理。
在可由操作助理A4控制的功能的数量等于可由操作助理A5控制的功能的数量时,助理控制单元22可以随机选择操作助理A4和A5中的任一个,作为从操作助理,可以选择具有较大数量的可控制的设备的操作助理作为从操作助理,可以选择具有较少负荷的操作助理作为从操作助理,或者可以选择当前不执行处理的操作助理作为从操作助理。
如果从与当前登录到在被请求设备10A中的操作助理A4和A5中的用户账户关联的用户获得许可,则助理控制单元22可以选择从操作助理。如果未获得许可,则助理控制单元22不选择从操作助理。
在图11所例示的示例中,被请求设备10搭载多个操作助理。另选地,请求设备10F可以搭载多个操作助理。例如,如图13例示,请求设备10F搭载操作助理A1和A6。被请求设备10A搭载操作助理A2。
在设备10F向设备10A发送指示连接请求的信息时,如同上述示例,在设备10A中搭载的操作助理A2被设置为从操作助理。进一步地,助理控制单元22可以从在设备10F中搭载的操作助理A1和A6当中选择主操作助理。
例如,助理控制单元22可以选择能够控制要执行的目标功能(单独功能或协作功能)的操作助理作为主操作助理。将描述具体示例。在用户提供执行作为单独功能的图像形成功能或执行使用图像形成功能的协作功能的指令时,助理控制单元22从操作助理A1和A6当中选择能够控制图像形成功能的操作助理作为主操作助理。在操作助理A1能够控制图像形成功能且操作助理A6不能控制图像形成功能时,助理控制单元22选择操作助理A1,作为主操作助理。在这种情况下,操作助理A1与操作助理A2交换信息,以控制所指示功能的执行。例如,助理控制单元22执行用于操作助理A1的操作助理程序,以启动操作助理A1,将操作助理A1设置为主操作助理,并且完成用于操作助理A6的操作助理程序,以停用操作助理A6。
在操作助理A1和A6这两者能够控制要执行的目标功能时,助理控制单元22可以随机选择操作助理A1和A6中的任一个,作为主操作助理,可以选择具有较大数量的可控制的设备或功能的操作助理作为主操作助理,可以选择具有较少负荷的操作助理作为主操作助理,或者可以选择当前不执行处理的操作助理作为主操作助理。
作为另一示例,助理控制单元22可以基于可控制的设备的数量来选择主操作助理。例如,助理控制单元22选择具有最大数量的可控制的设备的操作助理作为主操作助理。在操作助理A1能够控制比操作助理A6更大量的设备时,助理控制单元22选择操作助理A1,作为主操作助理。在这种情况下,操作助理A1与操作助理A2交换信息,以控制所指示功能的执行。
在可由操作助理A1控制的设备的数量等于可由操作助理A6控制的设备的数量时,助理控制单元22可以随机选择操作助理A1和A6中的任一个,作为主操作助理,可以选择具有较大数量的可控功能的操作助理作为主操作助理,可以选择具有较少负荷的操作助理作为主操作助理,或者可以选择当前不执行处理的操作助理作为主操作助理。
作为又一示例,助理控制单元22可以基于可控功能的数量来选择主操作助理。例如,助理控制单元22选择具有最大数量的可控功能的操作助理作为主操作助理。
在可由操作助理A1控制的功能的数量等于可由操作助理A6控制的功能的数量时,助理控制单元22可以随机选择操作助理A1和A6中的任一个,作为主操作助理,可以选择具有较大数量的可控制的设备的操作助理作为主操作助理,可以选择具有较少负荷的操作助理作为主操作助理,或者可以选择当前不执行处理的操作助理作为主操作助理。
如图14例示,外部设备64可以搭载多个标准操作助理。如同在图14所例示的示例,外部设备64搭载标准操作助理Asa和Asb。与从操作助理和主操作助理的选择,助理控制单元22基于可控制的设备、可控制的设备的数量、可控功能、或可控功能的数量来从标准操作助理Asa和Asb当中选择控制从操作助理的标准操作助理。
从操作助理的选择、主操作助理的选择以及标准操作助理的选择可以由设备10F的助理控制单元22、设备10A的助理控制单元22或诸如服务器的外部设备的助理控制单元22来执行。进一步地,图12所例示的信息可以存储在各个设备10中,或者可以存储在诸如服务器的外部设备中。
注意,在信息处理系统中搭载的所有设备10可以搭载多个操作助理,或者在信息处理系统中搭载的设备10中的一些可以搭载多个操作助理,而其他设备10可以搭载单个操作助理。例如,诸如智能电话和智能扬声器的设备10可以搭载多个操作助理,而诸如传感器和家用电器的设备10可以搭载单个操作助理(专属于诸如传感器和家用电器的各个设备10的操作助理)。
根据示例1-5,即使在设备10搭载多个操作助理时,也可以适当设置多个操作助理之间的主从关系,并且可以执行功能。
示例1-6
将参照图15A和图15B描述根据示例1-6的处理。图15A和图15B例示了设备10的示例。
例如,设备10F搭载操作助理A1。设备10A搭载操作助理A2。设备10D搭载操作助理A7。
如图15A例示,在从设备10F向设备10A发送指示连接请求的信息时,在设备10F中搭载的操作助理A1作为主操作助理工作,并且在设备10A中搭载的操作助理A2作为从操作助理工作。例如,如图15B例示,在设备10A上工作的操作助理从操作助理A2切换至操作助理A1。应理解,与上述示例1-1和1-2中的处理类似的处理可以在不切换在设备10A上工作的操作助理的情况下执行。
在从设备10A向设备10D发送指示连接请求的信息时,在设备10D中搭载的操作助理A7作为从操作助理工作,该从操作助理将在设备10A上工作的操作助理(例如,切换之后的操作助理A1)标识为主操作助理。例如,如图15B例示,在设备10D上工作的操作助理从操作助理A6切换至操作助理A1。
如上所述,在连接三个或更多个设备10时,在已经接收到指示连接请求的信息的设备10中搭载的操作助理被一个接一个地设置为从操作助理。因此,设备10可以被适当控制。
示例1-7
将参照图16A和图16B描述根据示例1-7的处理。图16A和图16B例示了设备10的示例。在示例1-7中,如同示例1-1,设备10F对应于请求设备,并且设备10A对应于被请求设备。
如图16A例示,被请求设备10A搭载多个操作助理。例如,设备10A搭载操作助理A4和A5。请求设备10F搭载操作助理A1。进一步地,作为示例,设备10A连接到作为第三设备的设备10S和10T。设备10S是具有图像拍摄功能的摄像头,并且设备10T是PC。
例如,设备10S是与操作助理A5对应的设备。即,设备10S是可由操作助理A5控制的设备。设备10T是与操作助理A4对应的设备。即,设备10T是可由操作助理A4控制的设备。这样,对于各设备,设置了能够对应于设备的操作助理。注意,各设备10S和10T可以或可以不搭载操作助理。
可以对于各类型的操作助理或各用户账户确定能够对应于设备的操作助理。例如,类型与操作助理A5的类型相同的操作助理可以能够以与操作助理A5的方式类似的方式来控制设备10S,甚至类型与操作助理A5的类型相同的操作助理在操作助理被与操作助理A5的用户账户不同的用户账户使用时可能不能控制设备10S。操作助理是否能够对应于设备可以基于操作助理的版本来确定。这同样适用于操作助理A4。
在从设备10F向设备10A发送指示连接请求的信息时,助理控制单元22从在设备10A中搭载的操作助理A4和A5当中选择能够控制第三设备的操作助理作为从操作助理。例如,当设备10S被用户指定为要使用的第三设备时,或当用户指定在设备10S中包括的功能(例如,图像拍摄功能)时,助理控制单元22选择能够控制设备10S的操作助理A5作为从操作助理。
例如,当在设备10A上启用了操作助理A4时,助理控制单元22将在设备10A上启用了的操作助理从操作助理A4切换至操作助理A5。在图16A例示的示例中,启动操作助理A4,而不启动操作助理A5。当前启动了的操作助理A4由实线来描绘,并且未启动的操作助理A5由虚线来描绘。例如,执行用于操作助理A4的操作助理程序,并且启动操作助理A4,而不执行用于操作助理A5的操作助理程序,并且不启动操作助理A5。
当在图16A所例示的状态下将操作助理A5选择为从操作助理时,如图16B例示,助理控制单元22完成操作助理A4的启动,并且启动操作助理A5。在图16B中,当前启动的操作助理A5由实线来描绘,并且未启动的操作助理A4由虚线来描绘。例如,执行用于操作助理A5的操作助理程序,并且启动操作助理A5,而完成用于操作助理A4的操作助理程序的执行,并且操作助理A4不工作。
充当从操作助理的操作助理A5根据来自主操作助理的指令工作。在上述示例中,操作助理A5控制设备10S。例如,操作助理A5从设备10S获取通过用设备10S拍摄图像生成的图像数据,并且向请求设备10F发送图像数据。
主操作助理可以为在设备10F中搭载的操作助理A1,或者可以为在外部设备中搭载的另一个操作助理。
在操作助理A4和A5这两者能够控制设备10S时,助理控制单元22可以选择操作助理A4和A5中的任一个,作为从操作助理,可以选择具有较大数量的可控制的设备或功能的操作助理作为从操作助理,可以选择具有较少负荷的操作助理作为从操作助理,或者可以选择当前不执行处理的操作助理作为从操作助理。另选地,可以根据与示例1-5中的标准类似的标准来选择从操作助理。
从操作助理的选择和主操作助理的选择可以由设备10F的助理控制单元22、设备10A的助理控制单元22或诸如服务器的外部设备的助理控制单元22来执行。
根据示例1-7,能够与要使用的设备10对应的操作助理被选择为从操作助理,由此,设备10可以被适当控制。
例如,在当前登录到在请求设备中的操作助理中的用户账户与当前登录到在被请求设备中的操作助理中的用户账户不同时,或在请求设备中的操作助理和被请求设备中的操作助理是不同类型的操作助理时,请求设备中的操作助理和被请求设备中的操作助理可能难以交换消息。因此,对应的设备可能难以协作工作。即使在这种情况下,第一示例性实施方式也可以使请求设备中的操作助理和被请求设备中的操作助理能够交换消息,由此,可以使对应设备能够协作工作。
第二示例性实施方式
下文描述根据本公开的第二示例性实施方式的信息处理系统。与根据第一示例性实施方式的信息处理系统类似,根据第二示例性实施方式的信息处理系统包括一个或更多个设备10。进一步地,根据第二示例性实施方式的设备10具有与根据第一示例性实施方式的设备10相同或大致相同的构造。
在第二示例性实施方式中,请求设备10搭载多个操作助理。多个操作助理是不同类型的操作助理。例如,多个操作助理是具有不同类型的人工智能(AI)的操作助理。作为另一示例,即使多个操作助理为相同类型的操作助理(例如,即使多个操作助理具有相同类型的AI),在版本不同时,在可控制的设备或功能不同时,在可用用户不同时,或者在登录的用户账户不同时,多个操作助理也可以作为不同的操作助理对待。
请求设备10的助理控制单元22被构造为在用户给予请求设备10旨在用于其它设备10的操作指令时,从在请求设备10(信息处理装置的示例)中搭载的多个操作助理当中选择能够控制其它设备10的操作助理,并且从所选择的操作助理向其它设备10发送指示操作指令的信息。
上述其它设备10可以或可以不搭载操作助理。进一步地,其它设备10可以为直接连接到请求设备10的设备,或者可以为经由诸如中继器的设备间接连接到请求设备10的设备。
在第二示例性实施方式中,在操作助理之间不设置主从关系。即,不设置主操作助理或从操作助理。
下文详细描述根据第二示例性实施方式的一些示例。
示例2-1
将参照图17描述根据示例2-1的处理。图17例示了设备10的示例。在示例2-1中,设备10F是请求设备。设备10A是被请求设备和操作目标设备。即,设备10F向设备10A发送指示操作指令的信息。例如,在执行在设备10A中包括的单独功能时,在设备10F用于在设备10A中设置单独功能时,在设备10F和设备10A协作工作来执行协作功能时,在设备10F用于在设备10A中设置协作功能时,在设备10F用于借助设备10A在其它设备10中设置协作功能时,在借助设备10F使用设备10A时,或者在用户使用设备10F给出发送操作指令的指令时,设备10F向设备10A发送指示操作指令的信息。应理解的是,设备10F可以在任意其他事件发生时向设备10A发送指示操作指令的信息。用户可以在不指定操作助理的情况下给出旨在用于设备10的操作指令。
设备10F搭载操作助理A1和A6。设备10A搭载操作助理A1。操作助理A1和A6例如是不同类型的操作助理。例如,操作助理A1和A6是具有不同类型的人工智能(AI)的操作助理。作为另一示例,即使操作助理A1和A6为相同类型的操作助理(例如,即使操作助理A1和A6具有相同类型的AI),在版本不同时,在可控功能或设备不同时,在可用用户不同时,或者在登录的用户账户不同时,操作助理A1和A6也作为不同的操作助理对待。
进一步地,在设备10F中搭载的操作助理A1和在设备10A中搭载的操作助理A1是相同类型的操作助理。作为另一示例,在设备10F中搭载的操作助理A1和在设备10A中搭载的操作助理A1可以是相同类型的操作助理,但可以具有不同的版本,可以具有不同的可控功能或设备,或者可以可用于不同用户,或者不同用户账户可以登录。
进一步地,各个设备10存储管理信息。该管理信息包括用于标识在设备10中搭载的操作助理的助理标识信息。各个设备10的助理控制单元22参考在管理信息中包括的助理标识信息,来标识在设备10中搭载的操作助理。例如,各个设备10发送和接收用于标识搭载的操作助理的助理标识信息,使在任意时刻、定期或在用户指定的时刻更新管理信息。应理解的是,管理信息可以存储在诸如服务器的设备中,并且助理控制单元22可以参考在诸如服务器的设备中存储的管理信息,来标识在设备10中搭载的操作助理。
例如,用于标识设备10F的设备标识信息和用于标识在设备10F中搭载的操作助理A1和A6的助理标识信息与彼此关联地登记在管理信息中。与在其他设备10中搭载的操作助理有关的信息也以类似方式登记在管理信息中。
在设备10F向设备10A发送指示操作指令的信息时,设备10F的助理控制单元22参考管理信息,并且从在设备10F中搭载的操作助理A1和A6当中选择能够控制设备10A的操作助理。更具体地,助理控制单元22参考管理信息来标识在被请求设备10A中搭载的操作助理A1,并且从在设备10F中搭载的操作助理A1和A6当中选择能够与在设备10A中搭载的操作助理A1互动的操作助理。即,助理控制单元22选择能够与在设备10A中搭载的操作助理A1交换消息的操作助理。例如,类型与在设备10A中搭载的操作助理A1相同的操作助理是能够与操作助理A1交换消息的操作助理。因此,助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择操作助理A1,作为能够控制设备10A的操作助理。
助理控制单元22从在设备10F中搭载的操作助理A1向设备10A发送指示操作指令的信息。即,在设备10F中搭载的操作助理A1向在设备10A中搭载的操作助理A1发送指示操作指令的信息。在设备10A中搭载的操作助理A1接收从在设备10F中搭载的操作助理A1发送的、指示操作指令的信息,并且根据操作指令控制设备10A。
例如,指示操作指令的信息包括指示可使用设备10A执行的处理的信息。在设备10A中搭载的操作助理A1根据操作指令使设备10A执行处理。
根据示例2-1,在请求设备10搭载多个操作助理时,从多个操作助理当中选择能够控制被请求设备10的操作助理,并且从所选择的操作助理向被请求设备10发送指示操作指令的信息。这可以允许操作请求设备10的用户在不知道在被请求设备10或请求设备10中搭载的操作助理的情况下给出操作指令,这引起设备10或操作助理的可操作性的提高。例如,用户不需要人工指定能够控制操作目标设备10的操作助理,并且可以提高可操作性。
示例2-2
将参照图18和图19描述根据示例2-2的处理。图18例示了设备10的示例。图19例示了用于在用户与操作助理之间交换消息的画面的示例。
设备10A连接到充当摄像头的设备10S和充当PC的设备10T。设备10P连接到充当机器人的设备10U和充当多功能设备的设备10V。设备10D连接到充当多功能设备的设备10W。设备10A、10P以及10D是中继器。设备10F是请求设备。在示例2-2中,操作目标设备10借助中继器来操作。
设备10F搭载操作助理A1和A6。设备10A搭载操作助理A1。设备10P搭载操作助理A6。设备10D搭载标准操作助理As。标准操作助理As具有为例如操作助理A1和A6共同的功能。
各设备10S、10T、10U、10V以及10W可以或可以不搭载操作助理。
设备10S是与操作助理A1、A2、A3以及A6对应的设备。即,设备10S是可由各操作助理A1、A2、A3以及A6控制的设备。设备10S连接到设备10A,并且由在设备10A中搭载的操作助理A1控制。
设备10T是与操作助理A1和A2对应的设备。即,设备10T是可由各操作助理A1和A2控制的设备。设备10T连接到设备10A,并且由在设备10A中搭载的操作助理A1控制。
设备10U是与操作助理A1和A6对应的设备。即,设备10U是可由各操作助理A1和A6控制的设备。设备10U连接到设备10P,并且由在设备10P中搭载的操作助理A6控制。
设备10V是与操作助理A6对应的设备。即,设备10V是可由操作助理A6控制的设备。设备10V连接到设备10P,并且由在设备10P中搭载的操作助理A6控制。
设备10W是与操作助理A1、A3以及As对应的设备。即,设备10W是可由操作助理A1、A3以及As控制的设备。设备10W连接到设备10D,并且由在设备10D中搭载的操作助理As控制。
下文参照图19详细描述根据示例2-2的处理。设备10F的控制单元20使UI单元14的显示单元显示画面70。画面70是用于在用户与操作助理之间交换消息的用户接口。画面70具有显示与操作助理关联的图像72的操作助理显示区域。画面70还具有显示与用户关联的图像74的用户显示区域。图像72不是表示特定操作助理的图像,而是指示用户与操作助理互动的图像。例如,图像72是与接收由用户产生的话语的接待台关联的图像。
在画面70上,在用户与操作助理之间进行互动。此时,互动伙伴可以是在设备10F中搭载的操作助理A1或A6或在互动时启动的操作助理。
在互动期间,与图像72关联地显示由操作助理产生的话语76的内容,并且与图像74关联地显示由用户产生的话语78的内容。
例如,在用户借助话语78给出旨在用于设备10S(摄像头)的操作指令时,设备10F的助理控制单元22搜索设备10A,作为被请求设备10,该设备10A是连接到设备10S并且包括能够控制设备10S的操作助理的设备(中继器),并且搭载在请求设备10F中搭载的操作助理A1和A6中的至少一个。此时,用户可以在不指定操作助理的情况下给出旨在用于设备10S的操作指令。下文详细描述该处理。
例如,上述管理信息还包括:设备标识信息,其用于标识连接到各个设备10的其它设备10;和助理标识信息,其用于标识能够控制其它设备10的操作助理(与其它设备10对应的操作助理)。
将描述具体示例。在管理信息中,彼此关联地登记用于标识设备10A的设备标识信息、用于标识连接到设备10A的设备10S的设备标识信息、用于标识能够控制设备10S的各操作助理A1、A2、A3以及A6的助理标识信息、用于标识连接到设备10A的设备10T的设备标识信息、以及用于标识能够控制设备10T的各操作助理A1和A2的助理标识信息。
类似地,在管理信息中,彼此关联地登记用于标识设备10P的设备标识信息、用于标识连接到设备10P的设备10U的设备标识信息、用于标识能够控制设备10U的各操作助理A1和A6的助理标识信息、用于标识连接到设备10P的设备10V的设备标识信息、以及用于标识能够控制设备10V的操作助理A6的助理标识信息。
类似地,用于标识设备10D的设备标识信息、用于标识连接到设备10D的设备10W的设备标识信息以及用于标识能够控制设备10W的各操作助理A1、A3以及As的助理标识信息与彼此关联。
进一步地,如上所述,用于标识设备10A的设备标识信息和用于标识在设备10A中搭载的操作助理A1的助理标识信息与彼此关联地登记在管理信息中。
类似地,用于标识设备10P的设备标识信息和用于标识在设备10P中搭载的操作助理A6的助理标识信息与彼此关联地登记在管理信息中。
类似地,用于标识设备10D的设备标识信息和用于标识在设备10D中搭载的操作助理As的助理标识信息与彼此关联地登记在管理信息中。
设备10F的助理控制单元22参考上述管理信息来搜索设备10A作为被请求设备10,该设备10A是连接到设备10S并且包括能够控制设备10S的操作助理的设备,并且搭载在请求设备10F中搭载的操作助理A1和A6中的至少一个。即,设备10A连接到操作目标设备10S,并且搭载能够控制设备10S的操作助理A1。进一步地,设备10A搭载在请求设备10F中搭载的操作助理A1。因此,助理控制单元22选择设备10A,作为被请求设备。
进一步地,设备10F的助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择能够控制设备10S的操作助理A1。即,设备10F的助理控制单元22从操作助理A1和A6当中选择能够与在被请求设备10A中搭载的操作助理A1(能够控制设备10S的操作助理A1)交换消息的操作助理。例如,类型与在设备10A中搭载的操作助理A1相同的操作助理是能够与操作助理A1交换消息的操作助理。因此,助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择操作助理A1,作为能够控制设备10S的操作助理。
助理控制单元22从在设备10F中搭载的操作助理A1向在设备10A中搭载的操作助理A1发送指示旨在用于设备10S的操作指令的信息。
在设备10A中搭载的操作助理A1根据操作指令控制设备10S。例如,当操作指令具有指示用户期望查看在昨天上午10:00至上午11:00之间由设备10S拍摄的图像的内容时,在设备10A中搭载的操作助理A1从设备10S获取图像数据。进一步地,在设备10A中搭载的操作助理A1向在设备10F中搭载的操作助理A1发送图像数据。图像数据在设备10F上提供给用户。
当在设备10F上将操作助理A1选择为能够控制设备10S的操作助理时,如图19例示,在随后的互动中,控制单元20将与操作助理关联的图像72切换至与操作助理A1关联的图像80。与图像80关联地显示由操作助理A1产生的话语82的内容。
进一步地,控制单元20控制设备10S的操作结果的通知。例如,如图19例示,作为设备10S的操作结果,控制单元20将与从设备10S获取的图像数据(例如,移动图像文件)关联的图像84(例如,图标)与图像80关联地显示在画面70上。当在指定图像84的情况下给出再现指令时,再现移动图像文件。
在完成设备10S的操作时,控制单元20将与操作助理A1关联的图像80再次切换回至图像72。
代替图像80或除了图像80,控制单元20还可以在画面70上显示用于标识操作助理A1的字符串(例如,操作助理A1的名称)。进一步地,与操作助理A1关联的话语82的内容可以包括用于标识操作助理A1的字符串。这同样适用于与接收台关联的图像72或与用户关联的图像74。
进一步地,在用户给出旨在用于设备10U(机器人)的操作指令时,设备10F的助理控制单元22参考上述管理信息来搜索设备10P,作为被请求设备10,该设备10P是连接到设备10U并且包括能够控制设备10U的操作助理的设备(中继器),并且搭载在请求设备10F中搭载的操作助理A1和A6中的至少一个。即,设备10P连接到操作目标设备10U,并且搭载能够控制设备10U的操作助理A6。进一步地,设备10P搭载在请求设备10F中搭载的操作助理A6。因此,助理控制单元22选择设备10P,作为被请求设备。
进一步地,设备10F的助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择能够控制设备10U的操作助理A6。即,设备10F的助理控制单元22从操作助理A1和A6当中选择能够与在被请求设备10P中搭载的操作助理A6(能够控制设备10U的操作助理A6)交换消息的操作助理。例如,类型与在设备10P中搭载的操作助理A6相同的操作助理是能够与操作助理A6交换消息的操作助理。因此,助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择操作助理A6,作为能够控制设备10U的操作助理。
助理控制单元22从在设备10F中搭载的操作助理A6向在设备10P中搭载的操作助理A6发送指示旨在用于设备10U的操作指令的信息。在设备10P中搭载的操作助理A6根据操作指令控制设备10U。进一步地,控制单元20控制设备10U的操作结果的通知。
进一步地,在用户给出旨在用于设备10W(多功能设备)的操作指令时,设备10F的助理控制单元22参考上述管理信息来搜索设备10D,作为被请求设备10,该设备10D是连接到设备10W并且包括能够控制设备10W的操作助理的设备(中继器),并且搭载在请求设备10F中搭载的操作助理A1和A6中的至少一个。即,设备10D连接到操作目标设备10W,并且搭载能够控制设备10W的操作助理As。进一步地,设备10D搭载能够与在请求设备10F中搭载的操作助理A1和A6互动的标准操作助理As。因此,助理控制单元22选择设备10D,作为被请求设备。
进一步地,设备10F的助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择能够控制设备10W的操作助理。即,设备10F的助理控制单元22从操作助理A1和A6当中选择能够与在被请求设备10D中搭载的操作助理As交换消息的操作助理。操作助理A1和A6这两者能够与标准操作助理As交换消息。由此,助理控制单元22选择操作助理A1和A6中的任一个,作为能够控制设备10W的操作助理。例如,助理控制单元22从操作助理A1和A6当中选择当前不执行处理的操作助理、具有较大数量的为标准操作助理As共同的功能的操作助理、具有较少负荷的操作助理等,作为能够控制设备10W的操作助理。这里,作为示例,假定选择操作助理A1。
助理控制单元22从在设备10F中搭载的操作助理A1向在设备10D中搭载的标准操作助理As发送指示旨在用于设备10W的操作指令的信息。在设备10D中搭载的标准操作助理As根据操作指令控制设备10W。进一步地,控制单元20控制设备10W的操作结果的通知。
根据示例2-2,如同示例2-1,操作请求设备10的用户可以能够在不知道在被请求设备10或请求设备10中搭载的操作助理的情况下给出操作指令。由此,可以提高设备10或操作助理的可操作性。
示例2-3
将参照图20描述根据示例2-3的处理。图20例示了设备10的示例。在示例2-3中,设备10F是请求设备。设备10A是中继器。设备10A连接到设备10S。
设备10F搭载操作助理A1和A6。设备10A不搭载操作助理。设备10S搭载操作助理A1。在示例2-3中,操作目标设备10S借助充当中继器的设备10A来操作。
在设备10F借助设备10A向设备10S发送指示用于操作设备10S的操作指令的信息时,设备10F的助理控制单元22参考管理信息,并且从在设备10F中搭载的操作助理A1和A6当中选择能够控制设备10S的操作助理。更具体地,助理控制单元22参考管理信息来标识在被请求设备10S中搭载的操作助理A1,并且从在设备10F中搭载的操作助理A1和A6当中选择能够与在设备10S中搭载的操作助理A1互动的操作助理。即,助理控制单元22选择能够与在设备10S中搭载的操作助理A1交换消息的操作助理。例如,助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择操作助理A1,作为能够控制设备10S的操作助理。
助理控制单元22从在设备10F中搭载的操作助理A1向设备10S发送指示操作指令的信息。即,在设备10F中搭载的操作助理A1向在设备10S中搭载的操作助理A1发送指示操作指令的信息。指示操作指令的信息经由充当中继器的设备10A从设备10F发送到设备10S。在设备10S中搭载的操作助理A1接收从在设备10F中搭载的操作助理A1发送的、指示操作指令的信息,并且根据操作指令控制设备10S。
例如,指示操作指令的信息包括指示可使用设备10S执行的处理的信息。在设备10A中搭载的操作助理A1根据操作指令使设备10A执行处理。
根据示例2-3,同样在借助不搭载操作助理的中继器控制搭载操作助理的设备10时,操作请求设备10的用户可以能够在不知道在请求设备10或被请求设备10中搭载的操作助理的情况下给出操作指令。
示例2-4
将参照图21描述根据示例2-4的处理。图21例示了设备10的示例。在示例2-4中,设备10F是请求设备。设备10A是被请求设备且用作中继器。设备10A连接到设备10S和10T。
设备10F搭载操作助理A1和A6。设备10A搭载操作助理A1和A6。这样,在示例2-4中,充当中继器的设备10A也搭载多个操作助理。各设备10S和10T不搭载操作助理。
设备10S是与操作助理A1对应的设备。即,设备10S是可由操作助理A1控制的设备。设备10S连接到设备10A,并且由在设备10A中搭载的操作助理A1控制。
设备10T是与操作助理A6对应的设备。即,设备10T是可由操作助理A6控制的设备。设备10T连接到设备10A,并且由在设备10A中搭载的操作助理A6控制。
在设备10F向设备10A发送指示用于操作设备10S的操作指令的信息时,设备10F的助理控制单元22参考管理信息来从在设备10A中搭载的操作助理A1和A6当中选择能够控制设备10S的操作助理A1。助理控制单元22从在设备10F中搭载的操作助理A1和A6当中选择能够与在设备10A中搭载的操作助理A1互动的操作助理A1,作为能够控制设备10S的操作助理。
助理控制单元22从在设备10F中搭载的操作助理A1向在设备10A中搭载的操作助理A1发送指示操作指令的信息。在设备10A中搭载的操作助理A1接收从在设备10F中搭载的操作助理A1发送的、指示操作指令的信息,并且根据操作指令控制设备10S。即,助理控制单元22从在设备10F中搭载的操作助理A1和A6选择操作助理A1,作为能够控制连接到设备10A的设备10S的操作助理,并且从所选择的操作助理A1向在设备10A中搭载的操作助理A1发送指示操作指令的信息。
根据示例2-4,同样在被请求设备10搭载多个操作助理10时,操作请求设备10的用户可以能够在不知道在请求设备10或被请求设备10中搭载的操作助理的情况下给出操作指令。
注意,在设备10F中搭载的操作助理A1可以向在设备10A中搭载的操作助理A1发送消息,而且根据可以由在设备10A中搭载的操作助理A6解释的协议向在设备10A中搭载的操作助理A6发送消息。
示例2-5
将描述根据示例2-5的处理。指示操作指令的信息包括指示用于执行要由被请求设备10执行的目标功能的指令的信息。用于执行功能的指令由操作请求设备10的用户来提供。请求设备10的助理控制单元22选择能够向被请求设备10提供用于执行功能的指令的操作助理作为能够控制被请求设备10的操作助理。助理控制单元22从所选择的操作助理向被请求设备10发送指示操作指令的信息。被请求设备10根据被包括在操作指令中的、用于执行功能的指令来执行功能。
例如,对于各操作助理确定可控功能,并且在上述管理信息中包括指示可由各操作助理控制的功能的信息。具体地,在管理信息中,对于各操作助理,与彼此关联地登记用于标识操作助理的助理标识信息和包括可由操作助理控制的功能的功能信息。助理控制单元22参考管理信息,并且选择能够控制由操作指令指示的功能的操作助理。
下文参照具体示例描述示例2-5。请求设备10搭载操作助理A1和A6。被请求设备10是具有诸如打印功能的图像形成功能的多功能设备。
操作助理A1能够控制在多功能设备中包括的图像形成功能的执行。操作助理A6能够控制在摄像头中包括的图像拍摄功能的执行。
例如,在用户使用请求设备10提供执行使用被请求设备10的打印功能的指令时,助理控制单元22从在请求设备10中搭载的操作助理A1和A6当中选择能够控制打印功能的执行的操作助理A1。助理控制单元22从所选择的操作助理A1向被请求设备10发送指示操作指令的信息,该操作指令包括用于执行打印功能的指令。即,操作助理A1根据操作指令控制被请求设备10,以使被请求设备10执行打印功能。被请求设备10根据用于执行打印功能的指令来执行打印功能。
根据示例2-5,在给出执行功能的指令时,从能够控制功能的操作助理向执行功能的设备发送指示操作指令的信息。由此,操作请求设备10的用户可以能够在不知道在请求设备10中搭载的操作助理的情况下给出操作指令。
示例2-6
将参照图22描述根据示例2-6的处理。图22例示了设备10的示例。在示例2-6中,设备10F是请求设备。设备10V是被请求设备。
设备10F搭载操作助理A1和A6。设备10V搭载操作助理A1和A6。这样,在示例2-6中,被请求设备10A也搭载多个操作助理。
如同示例2-5,指示操作指令的信息搭载指示用于执行要由被请求设备10V执行的目标功能的指令的信息。用于执行功能的指令由操作请求设备10F的用户来提供。请求设备10F的助理控制单元22从在被请求设备10V中搭载的多个操作助理当中选择能够控制功能的操作助理。进一步地,请求设备10F的助理控制单元22从在请求设备10F中搭载的多个操作助理当中选择能够与所选择的操作助理互动的操作助理作为能够控制被请求设备10V的操作助理。
下文参照具体示例描述示例2-6。被请求设备10V是具有诸如打印功能的图像形成功能的多功能设备。操作助理A1能够控制在多功能设备中包括的图像形成功能的执行。操作助理A6能够控制在摄像头中包括的图像拍摄功能的执行。
例如,在用户使用请求设备10F给出执行使用被请求设备10V的打印功能的指令时,助理控制单元22参考管理信息,并且从在被请求设备10V中搭载的操作助理A1和A6当中选择能够控制打印功能的操作助理A1。进一步地,助理控制单元22从在请求设备10F中搭载的操作助理A1和A6当中选择能够与在被请求设备10V中搭载的操作助理A1互动的操作助理A1,作为能够控制被请求设备10V的操作助理。
助理控制单元22从在设备10F中搭载的操作助理A1向在设备10V中搭载的操作助理A1发送指示操作指令的信息,该操作指令包括用于执行打印功能的指令。在设备10V中搭载的操作助理A1接收从在设备10F中搭载的操作助理A1发送的、指示操作指令的信息,并且根据操作指令使设备10V执行打印功能。
根据示例2-6,同样在请求设备10和被请求设备10这两者搭载多个操作助理时,操作请求设备10的用户可以能够在不知道操作助理的情况下给出用于执行功能的指令。
进一步地,在上述示例2-4中(参见图21),在用户指定要由设备10S或设备10T执行的目标功能时,助理控制单元22从在设备10A中搭载的操作助理A1和A6当中选择能够控制功能的操作助理。例如,在用户给出执行使用设备10S(摄像头)的图像拍摄功能的指令时,助理控制单元22从在设备10A中搭载的操作助理A1和A6当中选择能够控制图像拍摄功能的操作助理A6。进一步地,助理控制单元22从在请求设备10F中搭载的操作助理A1和A6当中选择能够与在被请求设备10A中搭载的操作助理A6互动的操作助理A6,作为能够控制被请求设备的操作助理。
助理控制单元22从在设备10F中搭载的操作助理A6向在设备10A中搭载的操作助理A6发送指示操作指令的信息,该操作指令包括用于执行图像拍摄功能的指令。在设备10A中搭载的操作助理A6接收从在设备10F中搭载的操作助理A6发送的、指示操作指令的信息,并且根据操作指令使设备10S执行图像拍摄功能。
因此,同样在将示例2-6应用于示例2-4时,操作请求设备10的用户可以能够在不知道在设备10中搭载的操作助理的情况下给出用于执行功能的指令。
示例2-7
将参照图23描述根据示例2-7的处理。图23例示了设备10的示例。在示例2-7中,用户给出执行协作功能的指令,选择用于执行协作功能的一个或更多个操作助理,并且一个或更多个操作助理控制协作功能的执行。下文详细描述示例2-7。
在示例2-7中,设备10F是请求设备。设备10A和10P是被请求设备且用作中继器。设备10A连接到设备10S和10T。设备10P连接到设备10U和10V。
设备10F搭载操作助理A1和A6。设备10A搭载操作助理A1。设备10P搭载操作助理A6。各设备10S、10T、10U以及10V不搭载操作助理。
在示例2-7中,设备10S和10T是与操作助理A1对应的设备。即,设备10S和10T是可由操作助理A1控制的设备。设备10S和10T连接到设备10A,并且可由操作助理A1控制。
设备10U和10V是与操作助理A6对应的设备。即,设备10U和10V是可由操作助理A6控制的设备。设备10U和10V连接到设备10P,并且可由操作助理A6控制。
例如,假定用户使用请求设备10F给出执行作为协作功能的图像拍摄和打印功能的指令。图像拍摄和打印功能是使用设备10S(摄像头)拍摄图像以生成图像数据并且使用设备10V(多功能设备)打印图像数据的功能。图像拍摄和打印功能可以预先设置在用于图像拍摄和打印功能中的设备10S和10V中、充当中继器的设备10A和10P中、或请求设备10F中。用户可以在给出用于执行图像拍摄和打印功能的指令时指定要用于图像拍摄和打印功能的设备10S和10V。
在用户给出执行图像拍摄和打印功能的指令时,助理控制单元22从在请求设备10F中搭载的操作助理A1和A6当中选择能够与在连接到设备10S的设备10A中搭载的操作助理A1互动的操作助理A1。助理控制单元22从所选择的操作助理A1向在设备10A中搭载的操作助理A1发送指示操作指令的信息,该操作指令包括用于执行图像拍摄和打印功能的指令。
在设备10A中搭载的操作助理A1根据从设备10F发送的操作指令来从设备10S获取通过用设备10S拍摄图像生成的图像数据,并且向在设备10F中搭载的操作助理A1发送图像数据。图像数据暂时存储在设备10F中。
然后,助理控制单元22从在请求设备10F中搭载的操作助理A1和A6当中选择能够与在连接到设备10V的设备10P中搭载的操作助理A6互动的操作助理A6。助理控制单元22从所选择的操作助理A6向在设备10P中搭载的操作助理A6发送指示操作指令的信息和从设备10S获取的图像数据,该操作指令包括用于执行图像拍摄和打印功能的指令。
在设备10P中搭载的操作助理A6根据从设备10F发送的操作指令来向设备10V发送从设备10F发送的图像数据,并且使设备10V打印图像数据。设备10V打印图像数据。
根据示例2-7,同样在使用多个设备10执行协作功能时,操作请求设备10的用户可以能够在不知道在设备10中搭载的操作助理的情况下给出用于执行协作功能的指令。
在图23所例示的示例中,使用了多个中继器(设备10A和10P)。另选地,可以使用单个中继器。例如,如图24例示,设备10A用作中继器。设备10A搭载操作助理A1和A6。
在用户给出执行图像拍摄和打印功能的指令时,助理控制单元22从在请求设备10F中搭载的操作助理A1向在设备10A中搭载的操作助理A1发送指示操作指令的信息,该操作指令搭载用于执行图像拍摄和打印功能的指令。
在设备10A中搭载的操作助理A1从设备10S获取通过拍摄图像生成的图像数据,并且向在设备10F中搭载的操作助理A1发送图像数据。图像数据暂时存储在设备10F中。
然后,助理控制单元22从在请求设备10F中搭载的操作助理A6向在设备10A中搭载的操作助理A6发送指示操作指令的信息和从设备10S获取的图像数据,该操作指令搭载用于执行图像拍摄和打印功能的指令。
在设备10A中搭载的操作助理A6根据从设备10F发送的操作指令使设备10V打印图像数据。
在设备10A中搭载的操作助理A1可以不是必须向设备10F发送从设备10S获取的图像数据。在这种情况下,在设备10A中搭载的操作助理A6可以向设备10V发送图像数据,并且使设备10V打印图像数据。
在上述示例2-5、2-6以及2-7中,在操作助理难以向操作目标设备10提供用于执行功能的指令时,控制单元20可以控制提供指令的困难的原因的通知。例如,在一些情况下,操作助理可能不支持要执行的目标功能,并且依赖于操作助理的版本,操作助理可能难以向设备10提供用于执行功能的指令。另外,在一些情况下,可由操作助理控制的功能可能有限,并且由于限制,操作助理可能难以向设备10提供用于执行功能的指令。另外,在一些情况下,可用于当前登录到操作助理中的用户账户的功能可能有限,并且由于限制,操作助理可能难以向设备10提供用于执行功能的指令。而且,在一些情况下,标准操作助理可能不支持要执行的目标功能。例如,具有在多个类型的操作助理中包括的公共功能的标准操作助理可能不具有其他功能,或者可能具有性能低的其他功能。在这种情况下,标准操作助理可能难以向操作目标设备10提供用于执行功能的指令。
可能引起上述问题的因素可能出现在请求设备10所搭载的操作助理、被请求设备10所搭载的操作助理、或请求设备10和被请求设备10这两者所搭载的操作助理中。在任一情况下,难以向设备10提供用于执行功能的指令。在这种情况下,控制单元20控制困难原因的通知。
例如,请求设备10提供上述原因的通知。请求设备10的控制单元20可以在请求设备10的UI单元14的显示单元上显示指示原因的信息,或者可以经由音频输出信息。
例如,在因为操作助理的版本不支持要执行的目标功能而难以向操作目标设备10提供用于执行功能的指令时,控制单元20提供信息的通知,该信息指示操作助理的版本不支持要执行的目标功能。
在因为可由操作助理控制的功能有限而难以向操作目标设备10提供用于执行功能的指令时,控制单元20提供信息的通知,该信息指示存在对可由操作助理控制的功能的限制。
在因为可用于用户账户的功能有限而难以向操作目标设备10提供用于执行功能的指令时,控制单元20提供信息的通知,该信息指示存在对可用于用户账户的功能的限制。
在因为标准操作助理不支持要执行的目标功能而难以向操作目标设备10提供用于执行功能的指令时,控制单元20提供信息的通知,该信息指示标准操作助理不支持要执行的目标功能。
上述通知使得能够向用户通知向设备10提供用于执行功能的指令的困难的原因。
进一步地,在请求设备10、被请求设备10或中继器不搭载能够向操作目标设备10提供用于执行要执行的目标功能的指令的操作助理时,难以向操作目标设备10提供用于执行功能的指令。在这种情况下,控制单元20可以提供向操作目标设备10提供用于执行功能的指令的困难的原因的通知。例如,控制单元20提供信息的通知,该信息指示请求设备10、被请求设备10或中继器不搭载能够向操作目标设备10提供用于执行要执行的目标功能的指令的操作助理。这可以使得能够向用户通知向设备10提供用于执行功能的指令的困难的原因。
第三示例性实施方式
下文描述根据本公开的第三示例性实施方式的信息处理系统。与根据第一示例性实施方式的信息处理系统类似,根据第三示例性实施方式的信息处理系统包括一个或更多个设备10。进一步地,根据第三示例性实施方式的设备10具有与根据第一示例性实施方式的设备10的构造相同或大致相同的构造。
在第三示例性实施方式中,请求设备10搭载多个操作助理,并且还连接到其它设备10。在从请求设备10向被请求设备10发送指示操作指令的信息时,助理控制单元22从多个操作助理当中选择能够控制其它设备10的操作助理。操作助理根据操作指令控制其它设备10。
下文参照图25详细描述根据第三示例性实施方式的处理。图25例示了设备10的示例。作为示例,设备10F对应于请求设备,并且设备10A、10P以及10D对应于被请求设备。
设备10A和10P搭载操作助理A1和A6。设备10D搭载标准操作助理As。进一步地,设备10A连接到作为第三设备的设备10S和10T。设备10P连接到作为第三设备的设备10U和10V。设备10D连接到作为第三设备的设备10W。设备10A、10P以及10D用作中继器。
各设备10F、10S、10T、10U、10V以及10W可以或可以不搭载操作助理。
设备10S是与操作助理A1、A2以及A3对应的设备。即,设备10S是可由各操作助理A1、A2以及A3控制的设备。设备10S连接到设备10A,并且由在设备10A中搭载的操作助理A1控制。
设备10T是与操作助理A2和A6对应的设备。即,设备10T是可由各操作助理A2和A6控制的设备。设备10T连接到设备10A,并且由在设备10A中搭载的操作助理A6控制。
设备10U是与操作助理A2和A6对应的设备。即,设备10U是可由各操作助理A2和A6控制的设备。设备10U连接到设备10P,并且由在设备10P中搭载的操作助理A6控制。
设备10V是与操作助理A6对应的设备。即,设备10V是可由操作助理A6控制的设备。设备10V连接到设备10P,并且由在设备10P中搭载的操作助理A6控制。
设备10W是与操作助理A1、A3以及As对应的设备。即,设备10W是可由操作助理A1、A3以及As控制的设备。设备10W连接到设备10D,并且由在设备10D中搭载的操作助理As控制。
例如,在从设备10F向设备10A发送指示旨在用于设备10S的操作指令的信息时,设备10A的助理控制单元22从在设备10A中搭载的操作助理A1和A6当中选择能够控制设备10S的操作助理A1。所选择的操作助理A1根据操作指令控制设备10S。例如,在操作指令包括用于获取通过凭借设备10S拍摄图像生成的图像数据的指令时,操作助理A1从设备10S获取图像数据,并且向设备10F发送图像数据。例如,助理控制单元22执行用于操作助理A1的操作助理程序,以启动操作助理A1,并且使操作助理A1执行根据操作指令的操作。进一步地,助理控制单元22可以完成用于操作助理A6的操作助理程序的执行,以完成操作助理A6的启动。应理解的是,可以执行用于操作助理A1和A6这两者的操作助理程序。在这种情况下,助理控制单元22选择操作助理A1,并且使操作助理A1执行根据操作指令的操作。
在从设备10F向设备10P发送指示旨在用于设备10V的操作指令的信息时,设备10P的助理控制单元22从在设备10P中搭载的操作助理A1和A6当中选择能够控制设备10V的操作助理A6。所选择的操作助理A6根据操作指令控制设备10V。例如,在操作指令包括用于使用设备10V执行打印的指令时,操作助理A6从存储图像数据的存储位置(诸如设备10F)获取要打印的图像数据,并且向设备10V发送图像数据,以使设备10V打印图像数据。
在从设备10F向设备10D发送指示旨在用于设备10W的操作指令的信息时,设备10D的助理控制单元22使得能够控制设备10W的标准操作助理As执行根据操作指令的操作。
助理控制单元22可以选择能够控制要执行的目标功能的操作助理,并且使操作助理控制功能。例如,在可控功能对于各操作助理有限时,助理控制单元22选择能够控制要执行的目标功能的操作助理。
助理控制单元22可以基于可控制的设备的数量来选择操作助理。例如,助理控制单元22可以选择能够控制操作目标设备并且能够控制最大数量的设备的操作助理,并且可以使操作助理执行根据操作指令的操作。
助理控制单元22可以基于可控功能的数量来选择操作助理。例如,助理控制单元22可以选择能够控制要执行的目标功能并且能够控制最大数量的功能的操作助理,并且可以使操作助理执行根据操作指令的操作。
根据第三示例性实施方式,即使在被请求设备10搭载多个操作助理时,选择能够控制操作目标设备或要执行的目标功能的操作助理,并且由操作助理控制设备或功能。这可以允许操作请求设备10的用户在不知道操作助理的情况下给出操作指令。
第四示例性实施方式
下文描述根据本公开的第四示例性实施方式的信息处理系统。图26例示了根据第四示例性实施方式的信息处理系统的示例。与根据第一示例性实施方式的信息处理系统类似,根据第四示例性实施方式的信息处理系统包括设备10A至10R。
各个设备10搭载一个或更多个类型的操作助理。设备10中的一些可以搭载设置有用户账户的操作助理。设置有用户账户的操作助理根据来自使用用户账户登录到操作助理中的用户的指令工作,而不根据来自任何其他用户的指令工作。
在第四示例性实施方式中,操作助理的类型例如由符号“A”、“B”以及“S”来表示,并且用户账户例如由数字“1”和“2”来表示。
例如,相同类型的多个操作助理是根据用于相同类型的操作助理的程序来操作的操作助理,并且不同类型的操作助理是根据用于不同类型的操作助理的程序来操作的操作助理。例如,操作助理A1和A2根据用于相同类型的操作助理的程序来操作。这同样适用于操作助理B1和B2。操作助理A1和B1根据用于不同类型的操作助理的程序来操作。
术语“相同类型”可以用于指示操作助理或程序具有相同内容,或者可以用于指示仅操作助理或程序的版本不同。
例如,操作助理A1和A2是相同类型“A”的操作助理(例如,根据用于操作助理的同一程序工作的操作助理),但设置有不同的用户账户。例如,操作助理A1设置有用户账户“1”,并且操作助理A2设置有用户账户“2”。即,操作助理A1根据来自使用用户账户“1”登录到操作助理A1中的用户的指令工作,而不根据来自任何其他用户的指令工作。例如,操作助理A1不根据来自具有用户账户“2”的用户的指令工作。这同样适用于操作助理A2。这同样还适用于类型“B”的操作助理。
操作助理S是也在上述第一示例性实施方式中描述的标准操作助理。标准操作助理的定义与在第一示例性实施方式中描述的定义相同。操作助理S根据来自任意用户的指令工作,而不管用户账户如何。
如图26例示,在一些情况下,多个设备10可以搭载相同类型的操作助理或设置有相同用户账户的操作助理。在这种情况下,即使用户经由语音等指定操作助理且给出指令,也难以仅基于指令来指定指令被给予哪个操作助理、以及哪个设备10搭载操作助理。例如,操作助理具有音频标识功能。在这种情况下,即使用户由语音产生用于标识操作助理A1的助理标识信息,操作助理A1也被搭载在设备10A、10F、10L等中,由此,难以指定指令被给予在设备10中搭载的操作助理A1中的哪个。进一步地,如果未指定用户账户,则难以指定指令被给予操作助理A1和A2中的哪个。
进一步地,当在特定设备10中搭载的操作助理向在其它设备10中搭载的操作助理发送连接请求时,可能难以指定从哪个操作助理向在其它设备10中搭载的操作助理提供了连接请求。
在第四示例性实施方式中,为了解决上述问题,指示连接请求的信息包括用于标识发送连接请求的设备10的设备标识信息和用于标识在设备10中搭载的操作助理的助理标识信息中的至少一项。在已经接收到指示连接请求的信息的设备10中,助理控制单元22基于在指示连接请求的信息中包括的标识信息,指定向设备10发送了指示连接请求的信息的设备10和操作助理。这使已经接收连接请求的设备10的助理控制单元22能够指定发送了连接请求的设备10以及在该设备10中搭载的操作助理。指定处理可以由在已经接收连接请求的设备10中搭载的操作助理来执行。
下文详细描述第四示例性实施方式。
示例4-1
将参照图27描述根据示例4-1的处理。图27例示了设备10的示例。作为示例,设备10F对应于请求设备,并且设备10A对应于被请求设备。
设备10F搭载操作助理A1,并且设备10A搭载操作助理B1。设备10F对应于第一设备的示例,并且设备10A对应于第二设备的示例。进一步地,操作助理A1对应于第一操作助理的示例,并且操作助理B1对应于第二操作助理的示例。
例如,在用户使用设备10F进行以设备10A为目的地的连接请求时,设备10F的助理控制单元22创建指示连接请求的信息,该信息搭载设备10F的设备标识信息和操作助理A1的助理标识信息。设备10F向设备10A发送指示连接请求的信息。
如同上述第一示例性实施方式,设备10F的助理控制单元22将在设备10F中搭载的操作助理A1设置为主操作助理。
进一步地,设备10A的助理控制单元22检查从设备10A发送的、指示连接请求的信息是否包括标识信息。如果指示连接请求的信息包括设备标识信息,则设备10A的助理控制单元22基于设备标识信息指定已经向设备10A发送指示连接请求的信息的设备10F。这允许设备10A的助理控制单元22指定被发送响应的设备10F。在指示连接请求的信息包括助理标识信息时,设备10A的助理控制单元22基于助理标识信息指定在已经发送指示连接请求的信息的设备10F中搭载的操作助理A1。这允许设备10A的助理控制单元22指定在设备10F中搭载的操作助理A1,作为在设备10A中搭载的操作助理B1与其交换信息的操作助理。
如上所述,设备10A指定已经向设备10A发送指示连接请求的信息的设备10,作为设备10F。另外,设备10A指定在设备10A中搭载的操作助理B1要与其交换信息的操作助理作为操作助理A1。
进一步地,在指示连接请求的信息包括设备标识信息和助理标识信息中的至少一项时,设备10A的助理控制单元22将在设备10A中搭载的操作助理B1设置为从操作助理,该从操作助理根据来自在设备10F中搭载的操作助理A1的指令工作。
因此,如同第一示例性实施方式,在请求设备10F中搭载的操作助理A1被设置为主操作助理,并且在被请求设备10A中搭载的操作助理B1被设置为从操作助理。如上所述,指定已经进行连接请求的、在设备10F中搭载的操作助理A1。由此,操作助理B1可以能够与已经进行连接请求的、在设备10F中搭载的操作助理A1交换信息。
如上所述,在设备10F搭载的充当主操作助理的操作助理A1与设备10A搭载的充当从操作助理的操作助理B1之间交换信息。操作助理B1根据来自操作助理A1的指令工作。
在设备标识信息和助理标识信息都不包括在指示连接请求的信息中时,设备10A的助理控制单元22不将在设备10A中搭载的操作助理B1设置为从操作助理。
根据示例4-1,在指示连接请求的信息包括标识信息时,被请求设备10可以能够指定请求设备10和在该设备10中搭载的操作助理(在被请求设备10中搭载的操作助理的互动伙伴)。另外,可以在请求设备10所搭载的操作助理与被请求设备10所搭载的操作助理之间建立主从关系。
请注意,在指示连接请求的信息包括设备标识信息但不包括助理标识信息时,被请求设备10A的助理控制单元22基于设备标识信息指定请求设备10F。在这种情况下,如果被请求设备10A尚未指定在请求设备10F中搭载的操作助理,则在设备10A中搭载的操作助理B1与在所指定设备10F中搭载的不明确的操作助理交换信息。在信息的交换期间,设备10A可以指定在设备10F中搭载的操作助理A1。
在指示连接请求的信息包括助理标识信息但不包括设备标识信息时,被请求设备10A的助理控制单元22基于助理标识信息指定作为互动伙伴的操作助理A1。在这种情况下,如果被请求设备10A尚未指定请求设备10F,则在设备10A中搭载的操作助理B1与在所指定操作助理A1交换信息。在信息的交换期间,设备10A可以指定搭载操作助理A1的设备10F。
在指示连接请求的信息不包括标识信息时,助理控制单元22不在请求设备10F所搭载的操作助理与被请求设备10A所搭载的操作助理之间建立主从关系。即,被请求设备10A尚未指定请求设备10F和作为互动伙伴的操作助理,由此,在被请求设备10A中搭载的操作助理可能难以指定向哪个设备10或哪个操作助理发送信息。在这种情况下,将在被请求设备10A中搭载的操作助理设置为从操作助理在技术上没有意义。由此,助理控制单元22不建立主从关系。
请求设备10F的助理控制单元22可以创建指示连接请求的信息,该信息不包括设备10F的设备标识信息,但包括操作助理A1的助理标识信息。所创建的指示连接请求的信息从设备10F发送到被请求设备10A。被请求设备10A的助理控制单元22基于助理标识信息指定作为操作助理B1的互动伙伴的操作助理A1。在一个设备10被设置为靠近被请求设备10A且搭载单个操作助理A1时,设备10A的助理控制单元22能够基于所接收的助理标识信息将在设备10中搭载的操作助理A1标识为作为操作助理B1的互动伙伴的操作助理(即,主操作助理)。进一步地,即使在多个设备10被设置为靠近被请求设备10A时,在多个设备10中的仅一个搭载单个操作助理A1时,设备10A的助理控制单元22也能够基于所接收的助理标识信息来将在该一个设备10中搭载的操作助理A1标识为主操作助理,并且将该一个设备10标识为请求设备10。因此,即使指示连接请求的信息不包括设备标识信息,被请求设备10A也可以能够指定请求设备10F和主操作助理。
请求设备10F的助理控制单元22可以创建指示连接请求的信息,该信息包括设备10F的设备标识信息,但不包括操作助理A1的助理标识信息。所创建的指示连接请求的信息从设备10F发送到被请求设备10A。被请求设备10A的助理控制单元22基于设备标识信息指定请求设备10F。在请求设备10F仅搭载一个操作助理时,设备10F的助理控制单元22将该一个操作助理指定为主操作助理。在设备10F中搭载的操作助理B1将该一个操作助理标识为主操作助理,并且与该一个操作助理交换信息。因此,即使指示连接请求的信息不包括助理标识信息,被请求设备10A也可以能够指定请求设备10F和主操作助理。
示例4-2
将参照图28描述根据示例4-2的处理。图28例示了设备10的示例。作为示例,设备10F对应于请求设备,并且设备10A对应于被请求设备。
设备10F搭载操作助理A1和B1,并且设备10A搭载操作助理B1。设备10F对应于第一设备的示例,并且设备10A对应于第二设备的示例。进一步地,在设备10F中搭载的操作助理A1或操作助理B1对应于第一操作助理的示例,并且在设备10A中搭载的操作助理B1对应于第二操作助理的示例。
请求设备10F的助理控制单元22从在设备10F中搭载的操作助理A1和B1当中确定作为主操作助理工作的操作助理。例如,助理控制单元22可以根据由使用设备10F的用户给出的指令来确定主操作助理,或者可以如以下描述的将主要在设备10F中工作的操作助理确定为主操作助理。这里假定操作助理A1被确定为主操作助理。
设备10F的助理控制单元22创建指示连接请求的信息,该信息搭载设备10F的设备标识信息和操作助理A1的助理标识信息。设备10F向设备10A发送指示连接请求的信息。
设备10F的助理控制单元22鉴于与在被请求设备10中搭载且作为从操作助理工作的操作助理的关系,将在设备10F中搭载的操作助理A1设置为主操作助理。
进一步地,如同示例4-1,设备10A的助理控制单元22检查从设备10F发送的、指示连接请求的信息是否包括标识信息。如果指示连接请求的信息包括设备标识信息,则设备10A的助理控制单元22基于设备标识信息指定已经向设备10A发送指示连接请求的信息的设备10F。这使得设备10A的助理控制单元22能够指定被发送响应设备10F。在指示连接请求的信息包括助理标识信息时,设备10A的助理控制单元22基于助理标识信息指定在已经发送指示连接请求的信息的设备10F中搭载的操作助理A1,并且将操作助理A1标识为主操作助理。这使得被请求设备10A的助理控制单元22能够在请求设备10F搭载多个操作助理时将在设备10F中搭载的操作助理A1指定为与设备10A中搭载的操作助理B1交换信息的主操作助理。
进一步地,如同示例4-1,设备10A的助理控制单元22将在设备10A中搭载的操作助理B1设置为从操作助理,该从操作助理根据来自在设备10F中搭载的操作助理A1的指令工作。
如上所述,在设备10F搭载的充当主操作助理的操作助理A1与设备10A搭载的充当从操作助理的操作助理B1之间交换信息。操作助理B1根据来自操作助理A1的指令工作。
根据示例4-2,即使在请求设备10搭载多个操作助理时,被请求设备10也可以能够指定主操作助理作为在被请求设备10中搭载且作为从操作助理工作的操作助理的互动伙伴。另外,可以在请求设备10所搭载的操作助理与被请求设备10所搭载的操作助理之间建立主从关系。
在指示连接请求的信息不包括标识信息时,如同示例4-1,不建立上述主从关系。
示例4-3
将参照图29描述根据示例4-3的处理。图29例示了设备10的示例。作为示例,设备10F对应于请求设备,并且设备10A对应于被请求设备。
设备10F搭载操作助理B1,并且设备10A搭载操作助理B1和B2。设备10F对应于第一设备的示例,并且设备10A对应于第二设备的示例。进一步地,在设备10F中搭载的操作助理B1对应于第一操作助理的示例,并且在设备10A中搭载的操作助理B1或B2对应于第二操作助理的示例。
设备10F的助理控制单元22创建指示连接请求的信息,该信息包括设备10F的设备标识信息、在设备10F中搭载的操作助理B1的助理标识信息、以及要被作为从操作助理而启用的操作助理的助理标识信息。设备10F向设备10A发送所创建的指示连接请求的信息。
要被作为从操作助理而启用的操作助理例如可以由使用设备10F的用户或使用以下描述的操作助理指定方法或任意其他方法来指定。
设备10F的助理控制单元22鉴于与在被请求设备10中搭载且作为从操作助理工作的操作助理的关系,将在设备10F中搭载的操作助理B1设置为主操作助理。
进一步地,如同示例4-1,设备10A的助理控制单元22检查从设备10F发送的、指示连接请求的信息是否包括标识信息。如果指示连接请求的信息包括设备标识信息,则设备10A的助理控制单元22基于设备标识信息指定已经向设备10A发送指示连接请求的信息的设备10F。这使设备10A的助理控制单元22能够指定被发送响应的设备10F。在指示连接请求的信息包括在设备10F中搭载的操作助理B1的助理标识信息时,设备10A的助理控制单元22基于助理标识信息指定在已经发送指示连接请求的信息的设备10F中搭载的操作助理B1,并且将操作助理B1标识为主操作助理。在指示连接请求的信息包括要被作为从操作助理而启用的操作助理的助理标识信息时,设备10A的助理控制单元22基于助理标识信息将在设备10A中搭载的操作助理B1和B2中的任一个指定为从操作助理。例如,当在设备10A中搭载的操作助理B1被指定为要被作为从操作助理而启用的操作助理时,设备10A的助理控制单元22将操作助理B1设置为从操作助理,该从操作助理根据来自在设备10F中搭载的操作助理B1的指令工作。
如上所述,在设备10F搭载的充当主操作助理的操作助理B1与设备10A搭载的充当从操作助理的操作助理B1之间交换信息。在设备10A中搭载的操作助理B1根据来自在设备10F中搭载的操作助理A1的指令工作。
根据示例4-3,即使在被请求设备10搭载多个操作助理时,被请求设备10也可以能够指定作为从操作助理工作的操作助理。另外,可以在请求设备10所搭载的操作助理与被请求设备10所搭载的操作助理之间建立主从关系。
在指示连接请求的信息不包括标识信息时,如同示例4-1,不建立上述主从关系。
示例4-4
将描述根据示例4-4的处理。在示例4-4中,在相同类型的多个操作助理和多个设备10被定位为靠近搭载主操作助理的设备10时,搭载主操作助理的设备10的助理控制单元22基于标识信息指定接收指令的设备10和从操作助理。术语“靠近设备10”例如指设备10支持通信的范围或从设备10开始的预定范围。
例如,假定搭载操作助理A1的设备10F向其它设备10发送指示连接请求的信息,并且在设备10F中搭载的操作助理A1对应于主操作助理。设备10F对应于第一设备的示例。
搭载充当主操作助理的操作助理A1的设备10F接收要接收来自主操作助理的指令的从操作助理的助理标识信息以及搭载从操作助理的设备10的设备标识信息的输入。以下将描述输入上述标识信息的方法。
设备10F的助理控制单元22基于输入到设备10F的助理标识信息来标识作为从操作助理工作的操作助理,并且基于输入到设备10F的设备标识信息来指定搭载该从操作助理的设备10。搭载该从操作助理的设备10对应于第二设备的示例。
如上所述,在指定了从操作助理和搭载该从操作助理的设备10时,在设备10F搭载的充当主操作助理的操作助理A1与该从操作助理之间交换信息。从操作助理根据来自操作助理A1的指令工作。
根据示例4-4,即使在相同类型的多个操作助理和多个设备10被定位为靠近搭载主操作助理的设备时,也可以指定从操作助理和搭载该从操作助理的设备10,并且在主操作助理与从操作助理之间建立主从关系。
示例4-5
将描述示例4-5。在设备10搭载多个操作助理时,可以在多个操作助理当中确定作为主操作助理工作的操作助理和作为副操作助理工作的操作助理。通常,主操作助理在设备10上操作且应答来自用户的请求。然而,在向主操作助理提供了主操作助理难以处理的请求等时,副操作助理根据请求等操作。可以在多个操作助理当中确定空闲操作助理。这里,主操作助理不限于操作助理之间的主从关系中的主操作助理,并且是主要在搭载多个操作助理的设备10中工作的操作助理。
例如,“主”或“副”操作助理由用户来确定。图30例示了设置画面。设备10的控制单元20根据用户所给出的指令来使UI单元14显示设置画面86,并且在设置画面86上显示用于标识在设备10中搭载的操作助理的信息。例如,假定确定在设备10A中搭载的“主”或“副”操作助理。设备10A例如搭载操作助理A、B以及S。设置画面86显示用于标识各操作助理A、B以及S的信息(诸如名称)。设置画面86显示与操作助理A、B以及S分别对应的设置按钮88、90以及92。用户能够通过操作设置按钮88、90以及92来设置主操作助理、副操作助理以及空闲操作助理。例如,操作助理B被设置为主操作助理,标准操作助理S被设置为副操作助理,并且操作助理A被设置为空闲操作助理。因此,在设备10A中,操作助理B通常执行各种类型的处理或控制(诸如用于实施来自用户的请求的处理)。响应于发生操作助理B难以处理的问题,标准操作助理S解决问题。例如,在向设备10提供了控制不可由操作助理B控制的处理或设备的指令时,标准操作助理S根据指令工作。另外,操作助理A在设备10A中空闲。
主操作助理和副操作助理可以设置在信息处理系统所包括的所有设备10中,或者主操作助理和副操作助理可以设置在设备10中的一些中。多个副操作助理可以设置为同一设备10中。在这种情况下,可以确定多个操作助理的优先顺序。
可以对于各用户账户设置主操作助理和副操作助理。即,甚至同一操作助理也可以对于特定用户账户设置为主操作助理,并且可以对于不同用户账户设置为副操作助理。
下文参照图31描述根据示例4-5的处理。图31例示了设备10的示例。作为示例,设备10F对应于请求设备,并且设备10A对应于被请求设备。
设备10F搭载操作助理A1和B1,并且设备10A搭载操作助理A1、B1以及S。设备10F对应于第一设备,并且设备10A对应于第二设备。
在设备10F中,操作助理A1被确定为主操作助理,并且操作助理B1被确定为副操作助理。在设备10A中,操作助理A1被确定为主操作助理,操作助理B1被确定为副操作助理,并且标准操作助理S不工作。
设备10F的助理控制单元22创建指示连接请求的信息,该信息包括设备10F的设备标识信息和在设备10F中作为主操作助理工作的操作助理A1的助理标识信息。设备10F向设备10A发送指示连接请求的信息。
设备10A的助理控制单元22检查从设备10F发送的、指示连接请求的信息是否包括标识信息。如果指示连接请求的信息包括设备标识信息,则设备10A的助理控制单元22基于设备标识信息指定已经向设备10A发送指示连接请求的信息的设备10F。这使设备10A的助理控制单元22能够指定被发送响应的设备10F。在指示连接请求的信息包括在设备10F中作为主操作助理工作的操作助理A1的助理标识信息时,设备10A的助理控制单元22基于助理标识信息从在设备10A中搭载的操作助理A1、B1以及S当中指定操作助理A1,该操作助理A1是类型与操作助理A1的类型相同且在设备10A中作为主操作助理工作的操作助理,并且设备10A的助理控制单元22将操作助理A1标识为操作助理A1的从操作助理。
设备10A的助理控制单元22鉴于与在设备10F中搭载的操作助理A1的关系来将在设备10A中搭载的操作助理A1设置为从操作助理。进一步地,设备10A的助理控制单元22鉴于与在设备10A中搭载的操作助理A1的关系来将在设备10F中搭载的操作助理A1设置为主操作助理。
如上所述,在作为主操作助理工作在设备10F中的操作助理A1与作为主操作助理工作在设备10A中的操作助理A1之间建立主从关系。在设备10A中搭载的操作助理A1在与在设备10F中搭载的操作助理A1的关系中作为从操作助理工作。在上述操作助理之间交换信息,并且在设备10A中搭载的操作助理A1根据来自在设备10F中搭载的操作助理A1的指令工作。
在请求设备中的主操作助理与被请求设备中的主操作助理之间的主从关系的建立(即,主要在两个设备中工作的操作助理之间的信息的交换)可以减少处理所花费的时间。例如,可以不再需要操作助理的登录处理或用户账户之间的切换。不再需要这种处理所花费的时间,这使得减少处理所花费的时间。
在上述示例中,在请求设备中的主操作助理与被请求设备中的主操作助理之间建立主从关系。作为另一示例,可以在请求设备中的主操作助理与被请求设备中的副操作助理之间建立主从关系,或者可以在在请求设备中的副操作助理与被请求设备中的主操作助理或副操作助理之间建立主从关系。请求设备中的副操作助理在请求设备10中作为副操作助理工作,但在与被请求设备中的主操作助理或副操作助理的关系中作为主操作助理工作。
例如,在请求设备中的主操作助理在执行另一处理时,可以在请求设备中的副操作助理与被请求设备中的主操作助理或副操作助理之间建立主从关系。在被请求设备中的主操作助理在执行另一处理时,可以在请求设备中的主操作助理或副操作助理与被请求设备中的副操作助理之间建立主从关系。在难以在主操作助理之间建立主从关系时,在请求设备中的副操作助理与被请求设备中的主操作助理之间建立主从关系。在甚至在请求设备中的副操作助理与被请求设备中的主操作助理之间也难以建立主从关系时,在请求设备中的副操作助理与被请求设备中的主操作助理之间建立主从关系。否则,在难以在请求设备中的主操作助理与被请求设备中的主操作助理之间交换信息、但可以在请求设备中的主操作助理与被请求设备中的副操作助理之间交换信息时,可以在请求设备中的主操作助理与被请求设备中的副操作助理之间建立主从关系。类似地,在难以在请求设备中的副操作助理与被请求设备中的主操作助理之间交换信息、但可以在请求设备中的副操作助理与被请求设备中的副操作助理之间交换信息时,可以在请求设备中的副操作助理与被请求设备中的副操作助理之间建立主从关系。
示例4-6
将描述根据示例4-6的处理,即,用于指定设备10和操作助理的处理和用于创建标识信息的处理。上述处理可以应用于上述示例。
例如,在一些情况下,用户可以使一般名称之外的、操作助理的名称与操作助理关联例如,操作助理A可以被命名为“太郎”。在这种情况下,该名称用作操作助理A的助理标识信息,并且助理控制单元22基于名称指定操作助理A。例如,指示连接请求的信息包括指示主操作助理的名称的助理标识信息,并且被请求设备10的助理控制单元22基于名称指定主操作助理。进一步地,在用户说出操作助理A的名称时,设备10的助理控制单元22在接收语音时分析语音并基于名称指定操作助理A。例如,在用户说出特定操作助理的名称和指示主操作助理或从操作助理中的任一个的信息时,助理控制单元22在接收语音时分析语音,并且基于名称将操作助理指定为主操作助理或从操作助理。
助理控制单元22可以基于用户的生物信息来指定给出连接请求的用户。生物信息的示例包括语音信息、指纹信息、视网膜信息、虹膜信息以及面部图像。例如,请求设备10的助理控制单元22基于生物信息来指定使用请求设备10的用户。这同样适用于使用被请求设备10的用户。
助理控制单元22可以使用特定于设备10的标识信息来指定设备10。标识信息的示例包括设备10的MAC地址和IP地址。标识信息可以用于指定请求设备10或指定被请求设备10。
请求设备10的助理控制单元22可以基于以下信息中的至少任一项来指定被请求设备10或操作助理:指示要由设备10或操作助理执行的操作的信息、指示要执行操作的时间的信息、指示要执行操作的位置的信息、指示要执行操作的设备10或操作助理的信息、指示执行操作的原因的信息、以及指示要如何执行操作的信息。在请求设备10中搭载的操作助理可以向用户询问问题以获得指定被请求设备10和操作助理所需要的信息。在请求设备10中搭载的操作助理可以基于从用户获得的回答来估计被请求设备10和操作助理。在没有从用户获得回答时,或在用户停止问问题时,在请求设备10中搭载的操作助理可以基于有限数量的回答来估计被请求设备10和操作助理。
可以管理各个设备10的操作历史,并且指示操作历史的信息可以用作标识信息。指示各个设备10的操作历史的信息可以存储在设备10中的一个相应设备中,可以被设备10共享,或者可以存储在诸如服务器的设备中。例如,请求设备10的助理控制单元22基于各个设备10的操作历史来指定类型与由用户指定的设备的类型相同的最近使用的设备作为被请求设备10。例如,在用户要求充当设备10中的一个的机器人执行处理时,请求设备10的助理控制单元22指定最近(在最靠近当前时间点的时间点)被使用的机器人,作为被要求执行处理的设备10(即,被请求设备10)。将描述具体示例。假定信息处理系统包括机器人A和B,并且机器人A最近被使用。在这种情况下,请求设备10的助理控制单元22指定最近被使用的机器人A,作为被请求设备10。指示连接请求的信息从请求设备10发送到机器人A。作为另一示例,在请求设备10中搭载的操作助理可以向用户询问机器人A和B中的哪个是被请求设备10,并且可以根据来自用户的回答指定被请求设备10。
可以管理在各个设备10中搭载的操作助理的操作历史,并且指示操作历史的信息可以用作标识信息。指示各操作助理的操作历史的信息可以存储在设备10中的一个相应设备中,可以被设备10共享,或者可以存储在诸如服务器的设备中。例如,请求设备10的助理控制单元22基于各操作助理的操作历史来指定类型与由用户指定为主操作助理的操作助理的类型相同的最近使用的操作助理作为主操作助理。请求或被请求设备10的助理控制单元22可以指定类型与由用户指定为从操作助理的操作助理的类型相同的最近使用的操作助理作为从操作助理。与指定设备10的情况中相同,在请求或被请求设备10中搭载的操作助理可以询问用户,并且根据来自用户的回答指定主操作助理和从操作助理。
用户可以在不指定操作助理的情况下指定操作目标设备10、要执行的目标处理或操作目标软件,并且向请求设备10给出连接请求。例如,请求设备10搜索操作目标设备19(例如,被请求设备10),并且在操作目标设备10搭载操作助理时,请求设备10启动操作助理。操作助理控制与用户所进行的请求对应的处理。请求设备10的助理控制单元22可以搜索能够执行要执行的目标处理的设备10,并且启动在设备10中搭载的操作助理。因此,用户可以能够在不指定操作助理的情况下使用操作助理进行实施期望处理。
诸如摄像头的成像设备可以拍摄用户面部的图像,并且请求设备10的助理控制单元22可以基于所拍摄图像来检测用户眼睛的移动,并且基于检测结果指定操作目标设备10(例如,被请求设备10)。例如,将眼睛看着的设备10指定为操作目标设备10。成像设备可以被包括在请求设备10中,或者可以被设置在请求设备10之外的位置中。助理控制单元22可以基于用户的语音来指定操作目标设备10。
请求设备10的助理控制单元22可以基于设备10之间的位置关系来指定操作目标设备10。例如,助理控制单元22指定被设置在最靠近请求设备10的位置处的设备10,作为操作目标设备10。作为另一示例,助理控制单元22可以基于相对于请求设备10的方位来指定操作目标设备10。例如,助理控制单元22指定朝着请求设备10的设备10,作为操作目标设备10。
以上述方式,指定设备10和操作助理,并且创建标识信息。用于指定各个设备10或操作助理的标识信息可以搭载指示设备10类型的信息、专属于设备10的标识号码、指示设备10的位置的信息、指示设备10的名称的信息、指示操作助理的名称的信息、用户的生物信息(诸如语音信息和指纹信息)、指示当前登录到设备10或操作助理中的用户账户的信息、以及指示设备10或操作助理的操作历史的信息中的至少一项。助理控制单元22可以基于上述信息中的至少一项来指定请求设备10、在请求设备10中搭载的操作助理、被请求设备10以及在被请求设备10中搭载的操作助理。
其他示例性实施方式
可以将上述示例4-5应用于第二示例性实施方式。例如,请求设备10F搭载操作助理A1和B1。在设备10F中,操作助理A1被设置为主操作助理,并且操作助理B1被设置为副操作助理。在这种情况下,充当主操作助理的操作助理A1向被请求设备10发送操作指令。在操作助理A1不具有控制被请求设备10的功能时,充当副操作助理的操作助理B1向被请求设备10发送操作指令。
在被请求设备10搭载多个操作助理时,可以将多个操作助理中的一个设置为主操作助理,并且可以将另一操作助理设置为副操作助理。例如,被请求设备10A搭载操作助理A1和B1。在设备10A中,操作助理A1被设置为主操作助理,并且操作助理B1被设置为副操作助理。在这种情况下,充当主操作助理的操作助理A1接收来自请求设备10的操作指令,并且控制对应于操作指令的处理。如果操作助理A1不具有控制与操作指令对应的处理的功能,则充当副操作助理的操作助理B1接收来自请求设备10的操作指令,并且控制对应于操作指令的处理。
进一步地,在请求设备10F所搭载的主操作助理(例如,操作助理A1)与被请求设备10A所搭载的主操作助理(例如,操作助理A1)之间交换信息。应理解的是,如同第四示例性实施方式,可以在请求设备10F所搭载的副操作助理与被请求设备10F所搭载的主操作助理或副操作助理之间交换信息。
可以在请求设备10中设置空闲操作助理,或者可以在被请求设备10中设置空闲操作助理。
在上述示例性实施方式中,各用户账户可以被实现为社交网络服务(SNS)账户。SNS账户还可以被称为社交媒体账户。例如,用户可以执行使用SNS账户进行的、到各个设备10或操作助理的登录。在SNS账户被登记为多个操作助理共用的用户账户时,SNS账户可以用于执行对多个操作助理的登录。这同样适用于多个设备10。
作为示例,上述各个设备10通过使硬件和软件彼此协作来实施。具体地,各个设备10包括一个或更多个处理器(未例示),诸如中央处理单元(CPU)。一个或更多个处理器读取并执行在存储设备(未例示)中存储的程序,以实施设备10的各单元的功能。程序借助记录介质(诸如光盘(CD)或数字通用光盘(DVD))或借助通信路径(诸如网络)存储在存储设备中。作为另一示例,各个设备12的各单元例如可以由硬件资源(诸如处理器、电子电路以及专用集成电路(ASIC))来实施。实施方案可以使用诸如存储器的设备。作为又一示例,各个设备10的各单元可以由数字信号处理器(DSP)或现场可编程门阵列(FPGA)来实施。
对本公开的示例性实施方式的上述说明是为了例示和说明的目的而提供的。并非旨在对本公开进行穷尽,或者将本公开限于所公开的精确形式。显而易见的是,很多修改例和变型例对于本领域技术人员是明显的。选择了实施方式进行说明以最好地解释本公开的原理及其实际应用,以使本领域其它技术人员能够理解本公开的各种实施方式,以及适合于所设想的具体用途的各种变型。本公开的范围旨在由所附权利要求及其等同物来限定。

Claims (29)

1.一种信息处理装置,该信息处理装置包括:
控制单元,响应于从搭载第一操作助理的第一设备向搭载第二操作助理的第二设备发送包含所述第一设备和所述第一操作助理中的至少一方的标识信息的连接请求,该控制单元使用所述标识信息使所述第二操作助理作为从操作助理工作,该从操作助理是根据来自所述第二操作助理之外的不同操作助理的指令来控制的。
2.根据权利要求1所述的信息处理装置,其中,
在所述第一设备搭载多个操作助理时,所述控制单元基于所述标识信息指定所述多个操作助理当中提供所述指令的第一操作助理。
3.根据权利要求1或2所述的信息处理装置,其中,
所述标识信息还包括指示接收所述指令的操作助理的信息,并且
在所述第二设备搭载多个操作助理时,所述控制单元基于所述标识信息指定所述多个操作助理当中接收所述指令的第二操作助理。
4.根据权利要求3所述的信息处理装置,其中,
所述标识信息还包括指示接收所述指令的设备的信息,并且
在搭载所述不同操作助理的设备周围存在相同类型的多个操作助理和多个设备时,所述控制单元还基于所述标识信息指定所述相同类型的所述多个操作助理和所述多个设备当中接收所述指令的第二设备和第二操作助理。
5.根据权利要求1至4中任一项所述的信息处理装置,其中,
所述标识信息包括指示设备类型的信息、专属于所述设备的标识号码、指示所述设备的位置的信息、指示所述设备的名称的信息、指示操作助理的名称的信息、用户的生物信息、指示当前登录到所述设备中或所述操作助理中的账户的信息、或指示所述设备的操作历史的信息中的至少一项。
6.根据权利要求1至4中任一项所述的信息处理装置,其中,
所述标识信息还包括指示设备的操作历史的信息,并且
所述控制单元基于所述操作历史将类型与用户所指定的设备的类型相同的最近使用的设备指定为所述连接请求要发往的设备。
7.根据权利要求1至6中任一项所述的信息处理装置,其中,
在未基于所述标识信息指定所述连接请求要发往的设备或操作助理时,所述第一操作助理向用户询问问题以获得用于指定所述连接请求要发往的所述设备或操作助理的信息。
8.根据权利要求1至7中任一项所述的信息处理装置,其中,
所述第二设备搭载多个操作助理,并且
所述控制单元将所述多个操作助理当中具有与在所述第一设备中作为主操作助理工作的第一操作助理的类型相同的类型且在所述第二设备中作为主操作助理工作的操作助理指定为所述第二操作助理。
9.根据权利要求1所述的信息处理装置,其中,
所述控制单元使所述第一操作助理作为主操作助理工作,并且
所述从操作助理根据来自所述第一操作助理的指令工作。
10.根据权利要求9所述的信息处理装置,其中,
响应于所述从操作助理完成了与所述指令对应的任务,所述控制单元解除所述第一操作助理与所述第二操作助理之间的主从关系。
11.根据权利要求1所述的信息处理装置,其中,
所述控制单元使当前登录到所述第二操作助理中以使用所述第二操作助理的第二账户从所述第二操作助理登出,并且使当前登录到所述第一操作助理中以使用所述第一操作助理的第一账户登录到所述第二操作助理中,以使所述第一操作助理作为主操作助理工作,并且使所述第二操作助理作为所述从操作助理工作。
12.根据权利要求11所述的信息处理装置,其中,
响应于所述第一账户从所述第二操作助理登出,所述控制单元解除所述第一操作助理与所述第二操作助理之间的主从关系。
13.根据权利要求11或12所述的信息处理装置,其中,
所述控制单元不在所述第二设备中存储指示提供给所述从操作助理的指令的信息。
14.根据权利要求1所述的信息处理装置,其中,
所述控制单元将在所述第二设备上工作的操作助理从所述第二操作助理切换到所述第一操作助理,从而使在所述第二设备上工作的所述操作助理作为所述从操作助理工作。
15.根据权利要求14所述的信息处理装置,其中,
所述控制单元使在所述第一设备中当前登录到所述第一操作助理中的第一账户登录到所述从操作助理中。
16.根据权利要求14或15所述的信息处理装置,其中,
响应于所述从操作助理完成了与来自所述第一设备的指令对应的任务,所述控制单元将所述从操作助理切换回原所述第二操作助理。
17.根据权利要求1所述的信息处理装置,其中,
所述控制单元使用与所述第一操作助理和所述第二操作助理不同的第三操作助理来控制所述第二操作助理,从而使所述第二操作助理作为所述从操作助理工作。
18.根据权利要求17所述的信息处理装置,其中,
所述控制单元还使用所述第三操作助理来控制所述第一操作助理。
19.根据权利要求17或18所述的信息处理装置,其中,
所述控制单元还使所述第一设备显示用于在所述第三操作助理与用户之间交换消息的画面。
20.根据权利要求9至19中任一项所述的信息处理装置,其中,
响应于从与当前登录到所述第二操作助理中以使用所述第二操作助理的账户关联的用户给出的许可,所述控制单元使所述第二操作助理作为所述从操作助理工作。
21.根据权利要求9至20中任一项所述的信息处理装置,其中,
所述第二设备搭载多个第二操作助理,并且
所述控制单元使所述多个第二操作助理中的至少一个作为所述从操作助理工作。
22.根据权利要求9至20中任一项所述的信息处理装置,其中,
所述第二设备搭载多个第二操作助理,并且
响应于从所述第一设备向所述第二设备发送连接请求,所述控制单元使所述多个第二操作助理当中的能够控制连接到所述第二设备的第三设备的第二操作助理作为所述从操作助理工作。
23.根据权利要求21或22所述的信息处理装置,其中,
所述控制单元从所述多个第二操作助理当中选择能够控制待执行的目标功能的第二操作助理作为所述从操作助理。
24.根据权利要求21或22所述的信息处理装置,其中,
所述控制单元基于能够由各第二操作助理控制的设备的数量从所述多个第二操作助理当中选择所述从操作助理。
25.一种信息处理装置,该信息处理装置包括:
控制单元,响应于从搭载第一操作助理的所述信息处理装置向搭载第二操作助理的设备发送包含所述信息处理装置和所述第一操作助理中的至少一方的标识信息的连接请求,该控制单元使用所述标识信息使所述第二操作助理作为从操作助理工作,该从操作助理是根据来自所述第二操作助理之外的不同操作助理的指令来控制的。
26.一种信息处理装置,该信息处理装置包括:
控制单元,响应于从搭载第一操作助理的设备向搭载第二操作助理的所述信息处理装置发送包含所述信息处理装置和所述第一操作助理中的至少一方的标识信息的连接请求,该控制单元使用所述标识信息使所述第二操作助理作为从操作助理工作,该从操作助理是根据来自所述第二操作助理之外的不同操作助理的指令来控制的。
27.一种信息处理系统,该信息处理系统包括:
第一设备,其搭载第一操作助理;
第二设备,其搭载第二操作助理;以及
控制单元,响应于从所述第一设备向所述第二设备发送包含所述第一设备和所述第一操作助理中的至少一方的标识信息的连接请求,该控制单元使用所述标识信息使所述第二操作助理作为从操作助理工作,该从操作助理是根据来自所述第二操作助理之外的不同操作助理的指令来控制的。
28.一种非暂时计算机可读介质,该非暂时计算机可读介质存储程序,该程序使计算机执行用于信息处理的处理,所述处理包括:
响应于从搭载第一操作助理的第一设备向搭载第二操作助理的第二设备发送包含所述第一设备和所述第一操作助理中的至少一方的标识信息的连接请求,使所述第二操作助理作为从操作助理工作,该从操作助理是根据来自所述第二操作助理之外的不同操作助理的指令来控制的。
29.一种信息处理方法,该信息处理方法包括以下步骤:
响应于从搭载第一操作助理的第一设备向搭载第二操作助理的第二设备发送包含所述第一设备和所述第一操作助理中的至少一方的标识信息的连接请求,使用所述标识信息使所述第二操作助理作为从操作助理工作,该从操作助理是根据来自所述第二操作助理之外的不同操作助理的指令来控制的。
CN201811547356.1A 2018-05-22 2018-12-18 信息处理装置、信息处理系统以及信息处理方法 Pending CN110515661A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018098257A JP7106984B2 (ja) 2018-05-22 2018-05-22 情報処理装置、情報処理システム及びプログラム
JP2018-098257 2018-05-22

Publications (1)

Publication Number Publication Date
CN110515661A true CN110515661A (zh) 2019-11-29

Family

ID=68613544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811547356.1A Pending CN110515661A (zh) 2018-05-22 2018-12-18 信息处理装置、信息处理系统以及信息处理方法

Country Status (3)

Country Link
US (1) US20190364114A1 (zh)
JP (1) JP7106984B2 (zh)
CN (1) CN110515661A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022078741A (ja) * 2020-11-13 2022-05-25 本田技研工業株式会社 ロボット

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072265A (ja) * 2002-08-02 2004-03-04 Kddi Corp 機能分散システムおよび負荷分散方法、コンピュータプログラム
JP2004102443A (ja) * 2002-09-05 2004-04-02 Canon Inc 情報処理システム、情報処理方法、プログラム及び記憶媒体
US20090028047A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Data stream control for network devices
US20100306431A1 (en) * 2009-05-28 2010-12-02 Christopher Alan Adkins Dynamic Address Change for Slave Devices on a Shared Bus
US20110063103A1 (en) * 2009-09-11 2011-03-17 Samsung Electronics Co., Ltd. Bluetooth communication method and system
US20120284354A1 (en) * 2011-05-05 2012-11-08 Purandar Mukundan Method and system for dynamically creating and servicing master-slave pairs within and across switch fabrics of a portable computing device
CN106537849A (zh) * 2014-05-28 2017-03-22 三星电子株式会社 用于控制物联网设备的装置和方法
CN106936676A (zh) * 2017-04-20 2017-07-07 青岛海信电器股份有限公司 家居设备控制方法及装置
CN107134967A (zh) * 2016-02-29 2017-09-05 株式会社安川电机 马达控制系统、机器人系统以及马达控制系统的通信方法
CN107251530A (zh) * 2015-01-06 2017-10-13 阿费罗有限公司 用于实现物联网(IoT)远程控制应用的系统和方法
CN110515682A (zh) * 2018-05-22 2019-11-29 富士施乐株式会社 信息处理装置、非暂时性计算机可读介质和信息处理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072265A (ja) * 2002-08-02 2004-03-04 Kddi Corp 機能分散システムおよび負荷分散方法、コンピュータプログラム
JP2004102443A (ja) * 2002-09-05 2004-04-02 Canon Inc 情報処理システム、情報処理方法、プログラム及び記憶媒体
US20090028047A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Data stream control for network devices
US20100306431A1 (en) * 2009-05-28 2010-12-02 Christopher Alan Adkins Dynamic Address Change for Slave Devices on a Shared Bus
US20110063103A1 (en) * 2009-09-11 2011-03-17 Samsung Electronics Co., Ltd. Bluetooth communication method and system
US20120284354A1 (en) * 2011-05-05 2012-11-08 Purandar Mukundan Method and system for dynamically creating and servicing master-slave pairs within and across switch fabrics of a portable computing device
CN106537849A (zh) * 2014-05-28 2017-03-22 三星电子株式会社 用于控制物联网设备的装置和方法
CN107251530A (zh) * 2015-01-06 2017-10-13 阿费罗有限公司 用于实现物联网(IoT)远程控制应用的系统和方法
CN107134967A (zh) * 2016-02-29 2017-09-05 株式会社安川电机 马达控制系统、机器人系统以及马达控制系统的通信方法
CN106936676A (zh) * 2017-04-20 2017-07-07 青岛海信电器股份有限公司 家居设备控制方法及装置
CN110515682A (zh) * 2018-05-22 2019-11-29 富士施乐株式会社 信息处理装置、非暂时性计算机可读介质和信息处理方法

Also Published As

Publication number Publication date
JP7106984B2 (ja) 2022-07-27
JP2019204239A (ja) 2019-11-28
US20190364114A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110515682B (zh) 信息处理装置、非暂时性计算机可读介质和信息处理方法
CN109905318B (zh) 设备控制方法、装置及存储介质
JP2018176387A (ja) ロボット装置及びプログラム
CN106992989A (zh) 智能家居的分享授权方法、服务器及可读存储介质
CN107577229A (zh) 移动机器人、移动控制系统以及移动控制方法
US11347445B2 (en) Information processing device and non-transitory computer readable medium storing program
WO2012097109A2 (en) Multi-state model for robot and user interaction
CN109635542A (zh) 一种生物识别交互方法、图形交互界面及相关装置
US10579411B2 (en) Loading and running virtual working environments in a mobile device management system
CN110199282A (zh) 用于多用户协作的同时认证系统
CN110458994A (zh) 一种物业管理自发卡系统及方法
BRPI0614229A2 (pt) manipulação de dados sensìvel ao contexto
JP2009206774A (ja) 画像伝送システム、画像伝送装置及び制御方法
CN110515661A (zh) 信息处理装置、信息处理系统以及信息处理方法
CN106293322A (zh) 信息处理装置、信息处理系统和信息处理方法
CN109599100A (zh) 交互式电子设备控制系统、交互式电子设备及其控制方法
Chagas et al. End-user development for the Internet of Things OR How can a (smart) light bulb be so complicated?
CN110489064A (zh) 信息处理装置、信息处理系统
CN105162750A (zh) 互动系统及方法
CN110509269A (zh) 信息处理装置及存储程序的非暂时性计算机可读介质
CN114637436A (zh) 信息分享方法、装置、计算机可读存储介质以及终端
CN108370609A (zh) 通信装置和通信装置的控制方法
US20190289170A1 (en) Information processing apparatus, computer readable medium and information processing method
KR20180061586A (ko) 사용자 간의 감정 의사소통 시스템
JP2019036135A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information