CN110612521B - 经由单独的客户端设备的自动化助理接口的智能设备配置指导 - Google Patents

经由单独的客户端设备的自动化助理接口的智能设备配置指导 Download PDF

Info

Publication number
CN110612521B
CN110612521B CN201880030420.0A CN201880030420A CN110612521B CN 110612521 B CN110612521 B CN 110612521B CN 201880030420 A CN201880030420 A CN 201880030420A CN 110612521 B CN110612521 B CN 110612521B
Authority
CN
China
Prior art keywords
smart device
user
automated assistant
configuration
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880030420.0A
Other languages
English (en)
Other versions
CN110612521A (zh
Inventor
亚历山德拉·菲茨杰拉德
杰西·博埃特赫尔
梅利莎·丹尼尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202410167762.4A priority Critical patent/CN118069271A/zh
Publication of CN110612521A publication Critical patent/CN110612521A/zh
Application granted granted Critical
Publication of CN110612521B publication Critical patent/CN110612521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/177—Initialisation or configuration control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于基于从智能设备接收到的反馈和/或基于从与所述智能设备分开的设备接收到的反馈来定制用于配置所述智能设备的指令的方法、装置和计算机可读介质。一些实施方式附加地或替换地涉及利用与类似的智能设备的先前安装相对应的数据来定制提供的指令，以便减轻过去的问题在智能设备的配置期间的再发生。一些实施方式附加地或替换地涉及响应于确定智能设备将由用户配置和/或响应于确定所述智能设备的完整配置尚未发生而向所述用户主动地建议和/或提供与所述智能设备有关的指导。

Description

经由单独的客户端设备的自动化助理接口的智能设备配置 指导
背景技术
自动化助理(也称为“个人助理模块”、“移动助理”或“聊天机器人”)可以由用户经由各种客户端设备(诸如智能电话、平板计算机、可穿戴设备、汽车系统、独立个人助理设备等)与之交互。自动化助理接收来自用户的输入(例如，键入的和/或说出的自然语言输入)并且用响应内容(例如，可视的和/或可听的自然语言输出)进行响应。可以经由客户端设备它本身和/或经由与客户端设备进行网络通信的一个或多个远程计算设备(例如，“云”中的计算设备)来实现经由客户端设备与之交互的自动化助理。不管实施方式如何，与自动化助理的交互都可经由自动化助理接口而发生，该自动化助理接口可以是基于图形和/或话音的接口。
发明内容
在本文中描述了用于使用自动化助理来在安装或者以其它方式配置智能设备时提供指导的技术。指导可经由与智能设备分开的客户端设备的自动化助理接口来提供，并且可基于各种因素来适配，所述各种因素诸如由智能设备生成的反馈和/或由其它设备在配置期间生成的反馈。
时常在购买智能设备时，用户可以试图在没有协助的情况下和/或通过依靠一组固定提供的指令来安装智能设备。结果，用户可能常常不适当地安装智能设备，将智能设备安装在次优位置中和/或按次优参数安装智能设备，并且/或者在安装期间遇到问题。为了解决这些和/或其它问题，本文描述的实施方式涉及利用自动化助理接口来在智能设备的安装期间向用户提供指导。在一些实施方式中，可基于在安装过程期间接收到的反馈动态地适配所提供的指导。如本文所描述的，反馈可由智能设备它本身生成，可以是经由客户端设备(例如，提供自动化助理接口的客户端设备或单独的客户端设备)捕获的图像和/或其它形式的反馈。此外，在一些附加或替代实施方式中，自动化助理接口可允许用户在安装过程期间出于各种目的查询自动化助理，而无需用户过渡离开被利用来提供指导的自动化助理接口。
可以利用各种技术来确定智能设备将由用户安装，并且作为响应发起经由自动化助理接口对指导的提供。在一些实施方式中，可以基于作为用户的显式自我发起的请求的输入(例如，“Assistant,help me install Smart Device X(助理，帮助我安装智能设备X”)来做出这样的确定。在一些实施方式中，可以基于一个或多个输入来向用户呈现利用助理接口进行安装的建议，并且助理接口可以响应于对建议的肯定响应(例如，对建议的选择)而提供指导。可以经由自动化助理接口和/或单独的接口来提供建议。在那些实施方式中的一些中，安装智能设备的建议可基于：检测由智能设备生成的信号(例如，蓝牙信号、RFID信号、无线信号)；(例如，基于电子邮件购买确认)确定用户最近已购买了智能设备；基于捕获智能设备的捕获的图像(例如，由提供自动化助理接口的客户端设备的相机所捕获的图像)；基于检测智能设备的配置期间的问题(例如，基于来自硬件设备的反馈而确定的问题)；等。如本文所使用的，确定智能设备将由用户安装或者以其它方式配置可在由用户对智能设备进行任何配置之前发生并且/或者可在配置期间(但是在配置完成之前(如通过一个或多个准则所指示的那样))发生。例如，确定智能设备将被配置可基于在智能设备的配置期间从智能设备和/或用户接收到的输入。
作为一个显式示例，智能设备可提供用于向家中的电子设备介绍它本身的临时信标信号。用户的客户端设备可接收信标信号，并且响应于接收到该信标信号，可使用于提供指导的建议被提供。在其它实施方式中，可以在不用首先提供建议的情况下经由自动化助理接口提供指导。在那些其它实施方式中的一些中，可响应于在智能设备的配置期间检测到特定问题而提供指导。可基于由智能设备提供的反馈来检测特定问题，并且/或者可基于根据多个用户的历史交互确定该特定问题是用户常常寻求指导的问题和/或是在配置期间引起疑问的问题来提供指导。例如，基于历史交互可确定当安装智能设备A时，用户常常忘记在安装过程的某个状态下执行步骤X。响应于(例如，基于来自智能设备A的反馈)确定用户处于安装过程的某个状态下，即使用户先前尚未在安装过程期间接洽自动化助理，也可利用自动化助理接口来向用户主动地呈现步骤X。例如，可利用自动化助理接口来提供如下的图形和/或口语输出：“Hi,it looks like you are installing Smart Device A.Makesure you perform Step X next.Users often forget to perform Step X and it cancause issues if not performed(嗨，看起来你正在安装智能设备A。确保你接下来执行步骤X。用户常常忘记执行步骤X并且可能在未执行步骤X的情况下引起问题)。”
不管被利用来发起经由自动化助理接口对指导的提供的技术如何，都可利用自动化助理接口来提供安装过程中的一个或多个步骤。最初提供的步骤可以是“first step(第一步骤)”，或者可能是基于确定安装已经前进超过“first step”的下游步骤。确定安装已经前进超过“first step”可以是基于来自用户的用户接口输入(例如，“I've plugged inSmart Device,can you help me with the rest？(我已插入智能设备，你能帮我其余部分吗？)”)、来自智能设备的反馈(例如，其指示当前配置状态)、机器学习(例如，基于以来自相同或类似的智能设备的过去的安装的数据为基础而训练的机器学习模型)等。
在一些实施方式中，在智能设备的安装期间，智能设备可使反馈被提供给自动化助理并且该反馈可用于动态地适配经由自动化助理接口对指导的提供。例如，已经经由自动化助理接口提供的指令可对应于用于将智能设备的电线连接到家的电线的步骤。如果用户错误地连接电线，则智能设备可向自动化助理提供有关不正确连接的反馈。根据该反馈，可经由自动化助理接口提供适配的指令以用于断开电线并正确地重新连接电线。作为另一示例，智能设备可包括用于确定智能设备的安装定向(例如，“水平地”位于天花板上或“垂直地”位于墙壁上)的传感器，并且将这样的安装定向提供给自动化助理。基于安装定向，然后可以提供适当的另外的指令(例如，“水平安装”指令与“垂直安装”指令之间的选择)。尽管自动化助理接口由用户的客户端设备(可听见地和/或图式地)提供，但是可以在本地和/或从客户端设备远程地实现自动化助理它本身。因此，向自动化助理提供反馈可以包括：将反馈发送到客户端设备(其可以在本地处理它并且/或者可选地将它远程地发送到实现自动化助理的全部或各方面的远程设备)和/或将反馈发送到实现自动化助理的全部或各方面的远程设备。
在一些实施方式中，自动化助理可识别客户端设备和/或在客户端设备上能够协助用户安装智能设备的应用。自动化助理然后可根据被识别的客户端设备和/或应用来适配安装指令。客户端设备可以是正在提供自动化助理接口的同一客户端设备，或附加客户端设备。例如，自动化助理可访问与用户相关联的账户数据并且确定用户拥有在蜂窝设备上安装有相机应用的蜂窝设备。自动化助理然后可适配安装指令以并入相机应用的使用。
作为一个特定示例，可利用助理接口来提示用户捕获要耦合到智能设备的布线的图像。可分析所捕获的图像以确定布线的特定配置，并且经由自动化助理接口提供的进一步指导适于该特定配置。例如，可分析所捕获的图像以确定电线的量和电线的颜色，以及被选择为对应于所述量和颜色的配置。另外，然后可提供特定于所选配置的附加指令。作为另一特定示例，可利用助理接口来提示用户捕获用于智能设备的安装区域的图像。可分析所捕获的图像以：确定安装区域是否是适当的并且/或者以根据安装区域来识别用于安装的一个或多个理想位置。进一步地然后可适当地适配自动化助理接口提供的指导。例如，如果智能设备是烟雾检测器，则可分析图像以识别离门、某些电器(例如，烤箱)等相距至少阈值距离的位置，并且经由接口(例如，经由与位置的注释一起呈现所捕获的图像)将该位置传达给用户。作为又一个特定示例，经由自动化助理接口提供的指导可取决于智能设备的模型，并且可以提示用户捕获智能设备的使得能够辨别模型的图像(例如，捕获使得能实现辨别的QR码、序列号、形状和/或其它特征的图像)。然后可基于智能设备的模型来适配进一步提供的指导。
在图像或其它内容被捕获并利用来确定用于适配提供的指导的(多个)特性的实施方式中，可以可选地基于将内容应用于经训练的机器学习模型来确定特性。例如，可训练经训练的机器学习模型以接受图像作为输入并且基于所应用的输入来生成指示(多个)特性的输出。例如，可训练机器学习模型以基于训练实例来确定布线特性，所述训练实例各自包括布线的图像(训练示例输入)和布线的标记特性(训练示例输出)。
在一些实施方式中，自动化助理可确定多个智能设备可一起工作来执行一些功能，并且提供有关将那些设备配置成一起工作的推荐和/或指导。在那些实施方式中的一些中，客户端设备可采用可识别客户端设备连接到的网络上的多个智能设备的分组嗅探或分组分析应用。在那些实施方式中的一些中，客户端设备可附加地或替换地连接到路由器，所述路由器可向客户端设备提供用于识别网络上的多个智能设备的信息。在那些实施方式中的一些中，多个智能设备可附加地或替换地基于它们全部都与用户的账户相关联和/或以其它方式与用户相关联被确定。在那些实施方式中的一些中，可附加地或替换地基于在一个或多个通信信道上来自多个智能设备的通信和/或利用诸如无线互连、WEAVE和/或BTLE这样的一种或多种通信协议来确定多个智能设备。这样的通信信道和/或通信协议可以可选地不利用(多个)路由器。例如，可以利用网状网络。来自多个智能设备的通信可由客户端设备和/或(多个)其它设备(例如，“云”中的远程设备)利用来识别多个智能设备。
自动化助理然后可向用户提供建议和/或指导以便使得智能设备能够彼此交互。例如，家庭照明设备可连接到网络并包括用于向家庭照明设备提供反馈的运动传感器。可识别家庭照明设备并且可确定家庭照明设备可与恒温器设备的安装和/或操作一起使用。例如，一旦自动化助理确定用户正想要安装恒温器设备，则自动化助理可访问用于安装恒温器设备的安装指令。自动化助理然后可确定是否有任何可用的设备用于协助安装过程。如果自动化助理识别网络上的家庭照明设备，则自动化助理可适配安装指令以在一个或多个步骤中包括家庭照明设备。例如，恒温器可包括允许恒温器跟踪家的占用的特征。为了增强此功能性，恒温器可使用来自家庭照明设备的运动传感器的数据来确定占用的更准确测量结果。在恒温器设备的安装期间，自动化助理可要求用户触发家庭照明设备的运动传感器以便测试恒温器设备与家庭照明设备之间的通信。通过以这种方式适配安装指令，自动化助理可包括用户可能另外不知道和/或用户事后才想到的步骤。
在智能设备的安装期间，如果用户具有任何疑问，则用户可在不中断安装过程的情况下向自动化助理查询附加信息。例如，用户可能在智能设备的安装期间对智能设备的某些功能好奇。例如，如果智能设备是安全相机，则用户可根据正被安全相机观察的房间的占用来向自动化助理问是否可将安全相机设置成打开和关闭。自动化助理可访问一个或多个资源(例如，搜索系统)以查找与用户的查询有关的信息并且在安装期间将该信息提供给用户。可经由自动化助理接口来提供信息，而无需用户接洽单独的应用。这可防止脱离安装过程。另外，可存储安装过程的状态，并且在完成提供有关查询的信息时，自动化助理接口可返回到该状态以继续被中断的安装过程。在一些实施方式中，如果查询对应于可在安装期间配置的特征，则自动化助理可问用户他们是否愿意在安装期间协助配置该特征。如果用户同意接收配置特征的协助，则自动化助理可适配安装指令以提供用于配置特征的步骤(例如，根据房间的占用对安全相机进行编程以打开和关闭以便在社交聚会期间提供隐私感)。
在一些实施方式中，用户可在智能设备的配置期间向自动化助理提交查询，并且在生成对查询的响应时，自动化助理可利用该查询和基于智能设备的上下文信息。作为一个示例，假定自动化助理已确定了用户正在配置智能设备(例如，基于捕获的图像和/或来自智能设备的反馈)。进一步假定用户尚未在配置中利用自动化助理，然后提交(例如，说出或者键入)“where do I put the blue wire(我将蓝色电线放在哪里)”的查询。自动化助理可基于查询它本身并基于智能设备上下文信息来生成对查询的响应。例如，如果智能设备是Acme恒温器，则智能设备上下文信息可以是“acme thermostat(acme恒温器)”并且自动化助理可基于将查询修改成包括智能设备上下文信息(例如，提交“where do I put theblue wire in installing the acme thermostat？(在安装acme恒温器时我将蓝色电线放在哪里？)”的查询)来生成响应。作为另一示例，假定自动化助理(例如，基于来自智能设备的反馈和/或用户与自动化助理它本身的交互)已确定了用户正在安装Acme恒温器并且确定了用户处于安装过程的状态F下。进一步假定用户提交“what button do I press(我按压什么按钮)”的查询。可在用户已在安装中以其它方式利用了自动化助理之前或者在安装中利用自动化助理期间提交查询。自动化助理可基于查询它本身并基于智能设备上下文信息来生成对查询的响应。例如，自动化助理可基于将查询修改成包括Acme恒温器的标识符和/或关于状态的信息来生成响应。例如，经修改的查询可以是“what button do youpress in State F of installing Acme thermostat？(你在安装Acme恒温器的状态F下按压了什么按钮？)”。以这些和其它方式，即使在用户尚未在查询之前使自动化助理参与配置智能设备的情形下，也可鉴于智能设备上下文信息来生成自动化助理对用户查询的响应。
在一些情形下，用户可以开始利用自动化助理接口来配置智能设备，但是不使用该接口来执行完整配置。在一些实施方式中，可以确定利用自动化助理接口来执行完整配置的这种失败，并且可以发生独立于与自动化助理接口的交互而监视以确定完整配置是否发生。例如，如果智能设备未被注册在用户的账户中，未在网络上被检测，并且/或者另外未在阈值时间量内被检测为“活动的”，则可确定完整配置未完成。响应于独立地确定完整配置没有完成，可以提供用于继续智能设备的配置的用户接口输出。例如，可以经由自动化助理接口和/或另一接口来提供另外的用户接口输出，并且，如果被用户肯定地响应，则可以经由自动化助理接口来提供与继续配置有关的指导(例如，在用户在接口中中断的地方接起—或者基于确定配置独立于接口进行而在其它处接起)。
在仍然其它的实施方式中，可基于在由其它用户对其它智能设备的先前安装期间获得的数据来适配针对智能设备的安装指令。例如，经适配的安装指令可基于用户在安装过程的某些步骤中寻求协助的频率。例如，如果在安装过程的指令C的提供之后，用户频繁地问“What is[thing]([东西]是什么)”，则可针对将来的安装修改指令C，以包括“What is[thing]([东西]是什么)”的说明(例如，以包括“By the way,[thing]is...(顺便说一下，[东西]是…)”)。作为另一示例，经适配的安装指令可附加地或替换地基于在先前安装期间收集的图像。作为又一个示例，可基于用户的位置和/或其它属性来提供经适配的安装指令。例如，某些地理区域中的用户可具有可在智能设备的原始安装指令的执行期间引起问题的类似的家布线布置。示例问题可以是如何使用家布线布置来将智能设备适当地接地。基于在某个地理区域中的大量过去的安装当中检测此问题，自动化助理可以针对该某个地理区域中的用户来适配安装指令以解决接地问题—而不是提供没有充分地解决接地问题的原始安装指令。作为又一个示例，可利用可以可选地在安装上下文之外发生的搜索查询和/或其它交互来确定安装指令的适配。例如，基于“can I install Smart Device A onthe wall？(我能在墙壁上安装智能设备A吗？)”的大量搜索查询，可适配针对智能设备A的安装指令以向用户通知在墙壁上安装这样的设备的可行性。以这些和其它方式，可利用来自先前安装的识别的问题来适配在将来的安装中提供的指令—并且这样的问题和/或适配可以特定于各种用户属性。
在一些实施方式中，如果用户将其家设置成包括多个连接的设备并且此后改变住所，则自动化助理可帮助用户在新家中重新安装其设备。自动化助理可基于客户端设备从一个网络的释放以及客户端设备在新网络中的连接来检测到用户已将客户端设备移动到新家。一旦在新网络上，自动化助理就可向用户提供有关在其新家中连接其设备、将设备指派给新家中的房间、基于来自先前家的排程表建立操作排程表并且/或者识别在新家中先前未连接到客户端设备的设备的指令。此外，由用户留在旧住所中的任何设备(例如，电器)可由自动化助理解除投用以不再与用户账户相关联。以这种方式，新用户可在无需来自设备的先前用户的账户信息的情况下在新住所中利用设备。
在一些实施方式中，提供了一种由一个或多个处理器执行的方法，并且所述方法包括基于接收到的输入，确定智能设备将由用户配置。所述方法进一步包括，基于确定所述智能设备将由所述用户配置，经由所述用户的客户端设备的自动化助理接口来提供用于配置所述智能设备的一个或多个初始指令。所述客户端设备与所述智能设备分开。所述方法进一步包括，继提供所述初始指令之后，接收由所述智能设备生成的硬件反馈通信。所述方法进一步包括，响应于接收到所述硬件反馈通信，确定用于配置所述智能设备的一个或多个另外的指令。所述另外的指令是为所述硬件反馈通信而定制的并且是基于所述硬件反馈通信来确定的。所述方法还包括经由所述客户端设备的自动化助理接口来提供所确定的另外的指令。
本文公开的技术的这些和其它实施方式可以可选地包括以下特征中的一个或多个。
在一些实施方式中，所述硬件反馈通信是由所述智能设备响应于由所述用户与所述智能设备进行的物理交互而生成的。在物理交互实施方式中的一些中，由所述用户与所述智能设备进行的所述物理交互是将至少一条电线连接到所述智能设备。在那些实施方式的一些版本中，所述硬件反馈通信是由所述智能设备基于所述连接的检测到的性质而生成的。在物理交互实施方式中的一些中，所述硬件反馈通信是基于由所述智能设备的一个或多个传感器生成的传感器数据而生成的。在那些实施方式的一些版本中，所述物理交互是将所述智能设备耦合到安装结构或者耦合到电源。在物理交互实施方式中的一些中，所述硬件反馈通信由所述智能设备经由一个或多个通信信道发送到所述客户端设备。在那些实施方式的一些版本中，所述硬件反馈通信由所述智能设备经由与所述智能设备和所述客户端设备通信的路由器发送到所述客户端设备。
在一些实施方式中，所述方法进一步包括：经由所述自动化助理接口来接收由所述用户提供的未请求的(unsolicited)用户接口输入；向搜索系统提交基于所述未请求的用户接口输入的搜索；以及经由所述自动化助理接口来提供另外的用户接口输出，所述另外的用户接口输出是基于由所述搜索系统响应于提交所述搜索而返回的响应内容。在那些实施方式的一些版本中，所述方法进一步包括：在接收到所述未请求的用户接口输入时存储配置所述智能设备的状态；以及继生成所述另外的用户接口输出之后，经由所述自动化助理接口来提供附加用户接口输出，其中，所述附加用户接口输出基于所存储的状态来提供。
在一些实施方式中，确定用于配置所述智能设备的所述另外的指令包括访问存储的历史模型。所述历史模型是基于与类似的智能设备的先前用户安装相关联的其它硬件反馈而生成的，并且所述另外的指令基于所述历史模型来定制。
在一些实施方式中，所述接收到的输入是由所述用户提供给所述客户端设备的自动化助理接口的口头或文本输入。在一些实施方式中，所述方法进一步包括：在所述客户端设备的自动化助理接口处，基于与所述智能设备的购买相对应的用户数据来提供助理输出，其中，所述助理输出是对用于安装所述智能设备的帮助的提供。在那些实施方式中的一些中，所述接收到的输入对应于响应于对安装所述智能设备的帮助的所述提供的肯定用户接口输入。所述肯定用户接口输入通过所述用户与所述客户端设备的一个或多个用户接口输入设备的交互来提供。
在一些实施方式中，提供了一种由一个或多个处理器执行的方法，并且所述方法包括基于接收到的输入，确定智能设备将由用户配置；以及通过所述用户的客户端设备或附加客户端设备的自动化助理接口来提供用于捕获与所述智能设备的配置相关联的图像的指令。所述方法进一步包括基于所述用户响应于所提供的指令而捕获所述图像来接收所述图像。所述图像经由所述用户的客户端设备或附加客户端设备的相机来捕获。所述方法进一步包括：基于接收到的图像来确定所述配置的特性；以及通过所述自动化助理接口来提供用于配置所述智能设备的配置指令。所提供的配置指令是基于所确定的所述配置的特性。
在一些实施方式中，确定所述智能设备将由所述用户配置包括确定所述智能设备的配置已开始，但是仍然尚未由所述用户完成。在那些实施方式中的一些中，所述方法进一步包括基于所述输入确定所述智能设备的配置的状态。在那些实施方式的一些版本中，所述初始指令是为所述智能设备的配置的状态而定制的。
本文公开的技术的这些和其它实施方式可以可选地包括以下特征中的一个或多个。
在一些实施方式中，所确定的特性是基于接收到的图像与其它配置图像的比较。所述其它配置图像与类似的智能设备的先前配置相关联。
在一些实施方式中，所确定的特性是基于接收到的图像到经训练的机器学习模型的应用。可基于训练实例来训练经训练的机器学习模型，所述训练实例各自包括对应图像的训练实例输入，以及指示所述特性和/或其它特性是否通过所述对应图像来指示的训练实例输出。
在一些实施方式中，所述方法进一步包括：访问账户信息以识别与所述用户相关联的应用；以及确定相机应用与所述用户相关联。在那些实施方式中的一些中，所述指令识别所述相机应用并且/或者是基于确定所述相机应用与所述用户相关联来提供的。
在一些实施方式中，接收到的所述图像对应于用于连接到所述智能设备的电线，并且所述配置的特性对应于在所述图像中识别出的布线问题。
在一些实施方式中，确定所述智能设备将由所述用户配置包括确定所述智能设备的配置已开始，但是仍然尚未由所述用户完成。在那些实施方式中的一些中，所述方法进一步包括，基于所述输入确定所述智能设备的配置的状态。在那些实施方式的一些版本中，基于所述智能设备的配置的状态来提供用于捕获所述图像的所述指令。
在一些实施方式中，提供了一种由一个或多个处理器执行的方法，并且所述方法包括：经由客户端设备的自动化助理接口来提供用于配置智能设备的一个或多个指令；以及确定所述用户未经由与所述自动化助理接口的交互而执行所述智能设备的完整配置。在那些实施方式中的一些中，所述方法进一步包括，响应于确定所述用户未经由与所述自动化助理接口的所述交互而完成所述智能设备的配置：独立于与所述自动化助理接口的交互而监视以确定所述完整配置是否发生。所述方法进一步包括，响应于独立于与所述自动化助理接口的交互而确定所述完整配置没有发生：经由所述客户端设备来提供用于执行所述完整配置的另外的用户接口输出。
本文公开的技术的这些和其它实施方式可以可选地包括以下特征中的一个或多个。
在一些实施方式中，确定所述用户未经由与所述自动化助理接口的所述交互而执行所述智能设备的完整配置包括：确定用户与所述自动化助理接口的交互在所述完整配置之前停止，所述完整配置经由从所述智能设备接收到的反馈来指示或者经由基于与所述自动化助理接口的交互所维护的配置状态来指示。
在一些实施方式中，所述完整配置是没有一个或多个配置问题的配置。在那些实施方式中的一些中，独立于与所述自动化助理接口的交互而确定所述完整配置没有发生包括：确定在所述配置问题之中存在特定配置问题。在那些实施方式的一些版本中，所述另外的用户接口输出对应于被定制来解决所述配置问题的指令。所述配置问题可以是例如所述智能设备的网络连接问题和/或所述智能设备的次优配置。
在一些实施方式中，提供了一种由一个或多个处理器实现的方法，并且所述方法包括基于接收到的输入，确定智能设备将由用户配置。所述方法进一步包括接收由所述用户经由所述用户的客户端设备的自动化助理接口提交的查询，所述客户端设备与所述智能设备分开。所述方法进一步包括，基于确定所述智能设备将由所述用户配置，生成对所述查询的基于所述查询并基于所述智能设备的上下文信息的响应。所述方法进一步包括经由所述客户端设备的自动化助理接口来提供对所述查询的基于所述查询并基于所述智能设备的上下文信息的响应。
本文公开的技术的这些和其它实施方式可以可选地包括以下特征中的一个或多个。
在一些实施方式中，在由所述用户在配置所述智能设备时对所述自动化助理接口的任何利用之前经由所述自动化助理接口提交所述查询。在那些实施方式中的一些中，确定所述智能设备将由所述用户配置是基于：由所述智能设备生成的一个或多个信号和/或所述智能设备在所述用户的环境中捕获的一个或多个图像。在一些附加或替代实施方式中，所述智能设备的上下文信息包括如下内容：识别所述智能设备并且/或者识别所述智能设备的配置的当前状态。
在一些实施方式中，生成对所述查询的基于所述查询并基于所述智能设备的上下文信息的响应包括：基于所述上下文信息来生成所述查询的修改；以及基于对所述查询的修改来生成所述响应。在那些实施方式中的一些中，基于对所述查询的修改来生成所述响应包括将对所述查询的修改提交给搜索系统，以及响应于提交对所述查询的修改而从所述搜索系统接收所述响应。在一些附加或替代实施方式中，生成对所述查询的修改包括向所述查询添加一个或多个上下文项，其中，所述上下文项基于所述智能设备的上下文信息。例如，所述上下文项可包括识别所述智能设备的品牌、型号和/或其它参考。另外，例如，所述上下文项可附加地或替换地识别所述智能设备的配置的当前状态。
在一些实施方式中，提供了一种由一个或多个处理器实现的方法，并且所述方法包括基于接收到的输入，确定智能设备将由用户配置。所述方法进一步包括，基于所述智能设备的配置的当前状态和/或基于所述用户的一个或多个属性，确定要提供给所述用户的指令。所述指令是基于多个用户的与配置所述智能设备有关的过去的计算动作来确定的。所述方法进一步包括，经由所述用户的客户端设备的自动化助理接口来提供所述指令以用于呈现给所述用户。所述客户端设备与所述智能设备分开。
本文公开的技术的这些和其它实施方式可以可选地包括以下特征中的一个或多个。
在一些实施方式中，提供所述指令以用于呈现独立于经由所述自动化助理接口提交的用户接口输入而发生。在那些实施方式中的一些中，提供所述指令以用于呈现在由所述用户在配置所述智能设备时对所述自动化助理接口的任何利用之前发生。
在一些实施方式中，在确定所述指令时利用的所述一个或多个过去的计算动作包括过去的搜索。所述过去的搜索可包括通过与自动化助理的交互在配置所述智能设备期间提交的过去的搜索和/或独立于与自动化助理的交互而提交的过去的搜索。
在一些实施方式中，所述指令是基于所述用户的一个或多个属性来确定的，并且是基于所述多个用户也具有所述一个或多个属性来确定的。
在一些实施方式中，确定所述智能设备将由所述用户配置是基于：由所述智能设备生成的一个或多个信号和/或所述智能设备在所述用户的环境中捕获的一个或多个图像。
此外，一些实施方式包括一个或多个计算设备的一个或多个处理器，其中所述一个或多个处理器可操作来执行存储在关联的存储器中的指令，并且其中所述指令被配置成引起前述方法中的任一种的执行。一些实施方式还包括一个或多个非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储计算机指令，所述计算机指令可由所述一个或多个处理器执行以执行前述方法中的任一种。
应该领会的是，在本文中更详细地描述的上述构思和附加构思的所有组合被设想为是本文公开的主题的一部分。例如，在本公开的结尾处出现的要求保护的主题的所有组合被设想为是本文公开的主题的一部分。
附图说明
图1图示用户根据响应于在配置期间接收到的反馈而定制的指令来配置智能设备的透视图。
图2图示用于定制用于配置智能设备的指令的系统。
图3图示用户使用由客户端设备的自动化助理应用提供的指令来配置智能设备的示意图，所述客户端设备的自动化助理应用还可以在用户正在接收指令的同时接收来自用户的搜索查询。
图4图示用户根据基于与类似的智能设备的先前安装相关联的历史安装数据而定制的指令来在家中配置智能设备的透视图。
图5图示用于基于在智能设备的配置期间接收到的反馈来适配用于配置智能设备的指令的方法。
图6图示用于基于在智能设备的配置期间从单独的设备提供的数据来适配用于配置智能设备的指令的方法。
图7图示用于根据配置先前完成的程度来适配用于配置智能设备的指令的方法。
图8是示例计算机系统的框图。
具体实施方式
图1图示用户104根据响应于在配置期间接收到的反馈而定制的指令来配置智能设备108的透视图100。智能设备108可以是能够与其它设备进行通信以执行任务的任何计算设备。例如，所图示的智能设备108可以是能够控制家102的温度的恒温器设备。然而，智能设备108可以是任何其它设备，诸如智能灯、智能风扇、智能电器(例如，冰箱、洗衣机、烤箱、微波炉等)和/或任何其它设备。
智能设备可以是包括一个或多个处理器、存储器和通信硬件(例如，用于通过Wi-Fi或其它通信信道来通信)的设备。在一些实施方式中，智能设备可同样地基于相对于其硬件和/或软件能力的其有限功能性来表征。例如，一些智能设备可以不包括触摸屏显示器和/或其它动态的直接用户界面。作为另一示例，一些智能设备可以包括固件但是不能够支持附加第三方应用。作为又一个示例，一些智能设备可以被配置用于从诸如硬连线源、灯具插口和/或任何其它非墙壁插座源这样的非墙壁插座源接收电力。此外，一些智能设备可以被安装在对个人计算设备来说不典型的地方(诸如墙壁、天花板和/或其它结构)中。然而，应该注意的是，尽管一些智能设备可具有前述特征中的一个或多个，但是其它智能设备可以不具有前述特征中的一个或多个，并且可能的确是相当鲁棒硬件和/或软件聪明的。
通常，为了安装或者配置智能设备108在家102中操作，用户104必须执行一定量的劳动。然而，为了给用户104提供用于配置智能设备108的最高效方法，自动化助理可向用户104提供定制指令。可根据从以下各项接收到的反馈来定制指令：智能设备108、家102中的联网设备114、个人计算设备112、包括自动化助理应用的客户端设备110、与客户端设备110通信的远程设备和/或与智能设备108的配置相关的数据的任何其它源。
自动化助理可确定用户104最近已获取了智能设备108并且作为响应提供配置智能设备108的协助。自动化助理可以各种方式确定用户104已获取了智能设备108。例如，智能设备108可经由蓝牙、Wi-Fi、局域网、广域网或适合于发送数据的任何其它连接来向客户端设备110提供直接或间接信号。这可以当智能设备108在客户端设备110的阈值距离内时发生，从而允许自动化助理确认智能设备108并且作为响应准备提供定制指令。替换地，自动化助理可使用可被自动化助理利用的用户的数据来知道用户104获取了智能设备108。数据可包括例如与由用户104进行的最近购买相对应的电子邮件收据。当收据包括识别智能设备108的信息时，可通知自动化助理该智能设备108已被用户104获取并且作为响应准备提供定制指令。在仍然其它的实施方式中，客户端设备110可包括相机，并且当用户104带着智能设备108回到家102时，客户端设备110可经由通过相机所捕获的图像来知道智能设备108。例如，相机可响应于由客户端设备110随着用户104正在进入家102而检测到的运动来捕获智能设备108的包装的图像。这些图像然后可由客户端设备110或单独的设备分析，以识别智能设备108。响应于识别到智能设备108，自动化助理可提供用于在家102中配置智能设备108的定制指令。
一旦用户104已将智能设备108带到家102，用户104就可要求自动化助理协助配置智能设备108，或者自动化助理可肯定地提示用户104以问用户104是否愿意协助配置智能设备108。用户104可通过在客户端设备110处可听见地说话以调用自动化助理(例如，“Could you help me configure my new device？(你能帮助我配置我的新设备吗？)”)或者使用个人计算设备112来远程地调用客户端设备110处的自动化助理来向自动化助理寻求协助。远程地调用自动化助理可能要求用户104对着个人计算设备112说话或者将命令键入到个人计算设备112中。替换地，自动化助理可响应于自动化助理确定智能设备108在家102中而提示用户104问用户是否愿意协助。自动化助理可提供可听的输出118，诸如“wouldyou like assistance configuring the smart device(你愿意协助配置智能设备)”或“would you like to schedule a time for configuring the smart device？(你愿意安排时间来配置智能设备吗？)”
在一些实施方式中，用户104可在没有来自自动化助理的协助的情况下开始配置智能设备108，并且自动化助理可确定由用户104采取的步骤不是最佳的或不正确的。在这样的情况下，自动化助理可提供诸如“Looks like you might need a hand setting upyour device(看起来你可能需要手动设置你的设备)”这样的输出以便通知用户自动化助理可用于帮助配置智能设备108。作为响应，用户104可同意开始配置过程或者将配置过程延迟到可由自动化助理排程的时间。作为另一示例，自动化助理可随着用户正在试图配置智能设备108而检测来自智能设备108的信号或反馈。自动化助理可基于反馈确定用户104正在错误地配置智能设备108(例如，连接不正确的电线)。作为响应，并且在没有用户104提示的情况下，自动化助理可提供用于配置智能设备108的指令，并且该指令可被定制以首先解决任何现有问题。例如，自动化助理可提供诸如“I see you've incorrectly connectedthe wires.Please disconnect the wires and let's start configuring your smartdevice(我看到你已错误地连接电线。请断开电线并让我们开始配置你的智能设备)”这样的输出。以这种方式，用户104不必稍后单独地排除配置尝试的故障，并且可无缝地过渡到执行来自自动化助理的指令。
如果用户104同意开始针对智能设备108的配置过程，则自动化助理可查找用于配置智能设备108的指令。用于配置智能设备108的初始指令可被存储在客户端设备110、诸如通过互联网连接到客户端设备110的服务器这样的远程设备和/或可与自动化助理进行通信的任何其它设备处。自动化助理可经由自动化助理接口向用户104提供第一指令，该自动化助理接口可以是客户端设备110或个人计算设备112的音频接口和/或经由客户端设备110或个人计算设备112的显示面板提供的图形接口。例如，初始指令可对应于将智能设备电线116附连到家电线106的步骤。智能设备电线116可以是智能设备108的连接到家电线106以使得智能设备108能够执行功能(例如，改变家102的温度)的电力电线或通信电线。在一些情况下，当智能设备电线116由用户104连接到家电线106时可发生问题，并且作为响应，智能设备108可将硬件相关反馈提供给客户端设备110。自动化助理可接收来自智能设备108的反馈(直接地和/或经由一个或多个中间网络组件)并且使用该反馈来定制用于用户104补救问题并完成配置的另外的指令。例如，反馈可对应于指示不适当的电线被附连到智能设备电线116的信号。自动化助理可相应地解释反馈并且适配另外的指令以包括用于拆卸不适当的电线并将适当的电线附连到智能设备108的一个或多个步骤。定制指令然后可作为可听的输出118被从客户端设备110提供，或者被从个人计算设备112提供，以便在配置智能设备108时促进用户104与自动化助理之间的协作。
在一些实施方式中，可基于来自与智能设备108分开的设备的反馈来定制指令。在这样的情况下，反馈可以来自家102中的诸如个人计算设备112这样的设备，其可以是蜂窝设备、平板设备和/或能够由用户104控制的任何其它计算设备。替换地，反馈可以来自联网设备114，诸如路由器、电器、电源和/或能够与客户端设备110进行通信的任何其它设备。例如，联网设备114可以是可向客户端设备110提供网络连接数据的路由器。作为智能设备108的配置过程的一部分，自动化助理可引导用户104将智能设备108连接到由路由器所提供的Wi-Fi连接。在一些情况下，路由器可指示智能设备108与联网设备114之间的连接问题。该问题可能由于在智能设备108上运行的过时软件而与智能设备108的安全问题有关。自动化助理可接收从联网设备114提供给客户端设备110的反馈，并且使用该反馈来定制另外的指令以解决问题。例如，在接收反馈之前，下一个指令可能已引导用户104通过互联网注册其智能设备108。然而，响应于反馈，自动化助理可定制下一个指令以引导用户104将智能设备108硬连线到联网设备114以执行更新，然后在仍硬连线到联网设备114的同时注册智能设备108。以这种方式，可减少用于解决问题的步骤，因为用户104不必关于该问题而查询自动化助理。此外，用户104可能在一些情况下尚不知道存在问题，因为与该问题相关联的反馈未被传送给用户104。
在一些实施方式中，自动化助理可定制指令以包括用于采用另一设备来协助智能设备108的配置的步骤。自动化助理可通过访问账户数据来确定与用户104相关联的设备，所述账户数据识别用户104已登录或者已以其它方式使用的每个设备。此外，自动化助理可确定在与用户相关联的每个设备处可用的应用。自动化助理然后可使用关于应用和设备的信息来定制用于配置智能设备108的指令。例如，智能设备108可以是包括不同颜色的智能设备电线116的恒温器，并且智能设备电线116中的每一条必须连接到具体颜色的具体家电线106。然而，因为一些家可包括不同的电线颜色布置，所以指令必须包括用于识别可用的电线和要连接的适当的电线的步骤。为了使这些步骤变得更高效，自动化助理可确定在个人计算设备112上存在相机应用。自动化助理可通过包括用于使用相机应用来捕获家电线106的图像并将该图像发送到自动化助理的步骤来定制用于配置智能设备108的指令。以这种方式，自动化助理可分析图像以确定家庭线106的电线颜色布置并且根据所确定的电线颜色布置来进一步定制用于给智能设备108布线的指令。这可减少步骤的数目以及用户104与自动化助理之间的交换的数目，从而简化配置过程。此外，如果用户104有缺陷，则定制要采用已经对用户104可用的其它应用和设备可帮助用户104的指令。
在图像或其它内容被捕获并利用来确定用于适配提供的指导的(多个)特性的实施方式中，可基于将内容应用于经训练的机器学习模型来可选地确定特性。例如，可训练经训练的机器学习模型以接受图像作为输入并且基于所应用的输入来生成指示(多个)特性的输出。例如，可基于使用标记训练实例的监督学习来训练机器学习模型以确定布线特性。每个训练实例可包括训练示例输入和训练示例输出，所述训练示例输入是包括布线的图像，所述训练示例输出指示布线的标记特性。例如，第一训练示例可包括第一图像和指示“配置A”的标签，第二训练示例可包括第二图像和指示“配置B”的标签，第三训练示例可包括第三图像和指示“配置C”的标签。通过基于这样的训练示例来训练，可学习参数，这些参数使得机器学习模型能够被利用来基于应用的图像来预测多个布线配置中的哪一个存在于图像中。
图2图示用于定制用于配置智能设备216的指令的系统200。智能设备216可以是用户的最近购买，因此用户可能需要在其家中配置智能设备216的协助。为了接收用于配置其智能设备216的协助，用户的家中的客户端设备218可由用户查询以提供用于配置智能设备216的协助。客户端设备218可包括可向用户提供协助并用来控制家中的设备的自动化助理应用220。自动化助理应用220可通过自动化助理接口222与用户接洽，所述自动化助理接口222可以是音频接口和/或显示接口。例如，在用户购买其智能设备216并将智能设备216带回家时，自动化助理应用220可通过音频或文本来问用户他们是否愿意协助配置智能设备216。如果用户同意接收协助，则自动化助理应用可访问用于提供给用户的设备指令206。此外，可在用于配置智能设备216的初始步骤之前、期间和/或之后定制设备指令206，以便处理可能在配置过程期间出现的任何问题。例如，自动化助理应用220可给用户提供用于配置智能设备216的第一指令。可从单独的设备202提供第一指令，所述单独的设备202可以是包括用于生成针对智能设备216的配置指令的指令引擎208的远程服务器204。
在根据第一指令来配置智能设备216期间，智能设备216可向客户端设备218提供指示智能设备216的问题的反馈。客户端设备216可将该反馈传送到远程服务器204，其可使用该反馈来适配解决与该反馈相对应的问题的指令。替换地，通过网络210连接到客户端设备218的联网设备212也可收集设备反馈数据214并将该设备反馈数据214提供给客户端设备218和/或远程服务器204。例如，联网设备212可以是可提供关于其中正在配置智能设备216的房间的细节的信息的运动感测相机。该信息可包括与智能设备216的配置相对应的图像，并且可将这些图像提供给自动化助理应用220或远程服务器204以进行分析。自动化助理应用220和/或远程服务器204可将所接收到的图像与和其它类似的智能设备的先前配置相对应的用户反馈数据224相比较。通过将图像与用户反馈数据224相比较，可预测与配置智能设备216相关联的问题并且可将其解决方案并入到通过自动化助理应用220提供给用户的指令中。
在一些实施方式中，自动化助理应用220可随着用户配置智能设备216而跟踪智能设备216的设备状态222。例如，在用户获取智能设备216时，智能设备216的设备状态222可被存储为未配置或卸载。一旦用户执行安装指令(诸如将智能设备216连接到电源)的步骤，就可根据完成了的步骤来更新智能设备216的设备状态222。以这种方式，如果用户未能完成智能设备216的配置，则自动化助理应用220可具有用于确定配置在何处中断的参考点。
在一些实施方式中，自动化助理应用220可在指令已中断的同时监视智能设备216和/或用户。例如，可监视智能设备216以识别在当指令已中断时的时间期间可能与智能设备216相关联的问题(例如，电源和连接问题)。此外，自动化助理应用220可确定用户何时可用于继续配置智能设备216。自动化助理应用220还可编译在当指令中断时的时段期间识别出的任何问题。自动化助理应用220可将问题传送到远程服务器204，以便远程服务器204的指令引擎208可定制另外的指令以解决在当指令中断时的时段期间识别出的问题。指令引擎208可生成用于完成智能设备216的配置并解决由自动化助理应用220识别出的问题的另外的指令，这些指令可以被提供给自动化助理应用220。此后某个时候，自动化助理应用220可继续经由自动化助理接口222将指令提供给用户。
图3图示用户316使用由客户端设备320的自动化助理应用提供的指令来配置智能设备314的图300，所述客户端设备320的自动化助理应用还可接收来自用户316的搜索查询，诸如在当自动化助理应用正在向用户316提供指导时的教学会话期间提交的搜索查询。例如，用户316可获取用于安装在其家322中的智能设备314并且查询用于协助安装智能设备314的自动化助理应用。指令可包括将家的电线312连接到智能设备314的电线的步骤。在试图将家的电线312连接到智能设备314的电线时，用户316可具有有关布线、智能设备314或与连接家322中的设备相关联的任何其它事项的疑问。用户316可通过声音或文本命令来将查询提供给自动化助理应用，所述声音或文本命令可被直接地提供给客户端设备320或可将查询路由到客户端设备320的个人计算设备318。响应于接收到查询，自动化助理应用可通过网络310访问单独的设备308(诸如远程服务器302)以便识别对查询的回答。例如，远程服务器302可以是响应于来自客户端设备320的查询而生成搜索结果304的搜索系统，并且搜索结果304可(例如，由搜索系统)被过滤以便识别对查询的适合响应(例如，可将单个响应作为对查询的“answer(回答)”来提供)。如果查询与指令有关，则远程服务器302的指令引擎306可定制另外的指令以既对查询又对配置过程做出响应。例如，查询可对应于与智能设备314到家322的接地有关的疑问。具体地，用户316可问自动化助理应用家电缆312的铜或黑色电线是否是可用于使智能设备314接地的地电线。作为响应，自动化助理应用可访问用于回答查询的搜索结果304并且修改指令，使得布线在指令中被说明(例如，“Thecopper wire is the ground wire and should be connected to the ground terminalof your smart device(铜电线是地电线并且应该被连接到你的智能设备的地端子)”)。以这种方式，从自动化助理应用提供指令的过程不受来自用户的查询干扰。
在一些实施方式中，用户可经由自动化助理接口提交查询，并且自动化助理可基于查询它本身并基于智能设备上下文信息来生成对该查询的响应。例如，可修改由用户提交的查询以包括与智能设备的品牌和/或型号有关的项和/或包括与智能设备的配置的当前状态有关的项。在那些实施方式中的一些中，用户可在利用自动化助理接口来接收用于配置智能设备的指导期间提交查询。在那些实施方式中的一些其它实施方式中，用户可提交查询而没有先前利用自动化助理接口接收用于配置智能设备的指导。以这些和其它方式，即使在用户尚未在查询之前使自动化助理参与配置智能设备的情形下，也可鉴于智能设备上下文信息来生成自动化助理对用户查询的响应。
在一些实施方式中，客户端设备320(或单独的设备)可使用由客户端设备320和/或远程服务器302存储的表324来跟踪位于家322中的每个设备的配置。表324可识别每个设备(例如安全灯、恒温器、平板等)以及每个设备的某些特征(例如，Wi-Fi被启用、被供电等)。如果作为用户316选择中断配置过程的结果未配置设备的特定功能，则客户端设备320(或单独的设备)可识别表中的特征并且指示特征未被配置(例如，可将特征标记为“false(假)”以指示它不工作)。例如，特征可以是Wi-Fi连接并且智能设备314可向客户端设备320传送Wi-Fi连接未设置。作为响应，自动化助理可更新表324以指示Wi-Fi连接未设置。作为另一示例，自动化助理可提示用户执行配置步骤(例如，“connect the wires and let meknow when you're done(连接电线并在你完成时让我知道)”)。用户可确认配置完成了(例如，“Ok,I'm done(好的，我完成了)”)，并且作为响应，自动化助理可更新表324以指示与配置步骤相关联的特征被配置。在稍后的时间，自动化助理应用可提示用户316继续配置过程以便设置智能设备314的某个特征(例如，将恒温器连接到Wi-Fi)和/或完成智能设备314的配置过程。提示可以是响应于用户316进入包括设备的房间、自动化助理确定用户316有时间完成配置过程和/或用户316问自动化助理关于设置智能设备314的特征。一旦用户316已完成与表324中识别出的特征相对应的配置步骤，就可更新表324以指示已为智能设备314配置了特征(例如，可将特征标记为“true(真)”)。此后，如果用户316选择继续配置过程或者中止配置过程，则自动化助理可以知道配置过程的进度。
在一些实施方式中，自动化助理可提供用于在用户316的新住所中重新配置设备的协助。自动化助理可基于由客户端设备320和/或个人计算设备318获得的位置数据和/或连接数据来确定用户316已搬了住所。例如，客户端设备320可在第一时间连接到第一局域网，在第二时间期间与任何网络断开，然后在第三时间连接到第二局域网。客户端设备320与网络断开的时间的长度以及网络中的变化可向客户端设备320指示用户316已改变了住所。
响应于确定用户316已改变了住所，自动化助理可向用户316提供协助以便在新住所中重新配置设备，并且与留在旧住所中的任何设备(例如，电器)解除关联。例如，旧住所中的一些设备可能已被指定到旧住所中的特定位置或区。自动化助理可将设备的区存储在表324中并且使用表324来在新住所中对设备重新分区。例如，自动化助理可用疑问“Inoticed you moved residences.Would you like me to re-zone your devicesaccording to the zoning of the previous residence？(我注意到你搬了住所。你是否愿意我根据先前住所的分区对你的设备重新分区？)”来提示用户。如果用户316同意，则自动化助理可继续对设备重新分区，使得取决于分区的任何设备(例如，恒温器)可再次开始操作，而用户316不必手动将设备重新分区到具体房间。此外，可能已由来自先前住所的设备遵循的任何排程表(例如，照明排程表、低功率模式排程表、安全警报排程表等)可通过来自用户316的显式请求或者由自动化助理自动地迁移到新住所。可将排程表的迁移定制成用于在新住所中配置一个或多个设备的指令。例如，可向指令引擎306通知用户316的住所变化并且指令引擎306使用与新住所有关的信息来适配用于配置智能设备314的步骤。自动化助理可接收到经适配的步骤并提供输出，诸如“while you're providing the Wi-Fipassword to the smart device,would you like me to use the same schedules fromyour previous residence for all the devices？(在你正在向智能设备提供Wi-Fi密码的同时，你是否愿意我对于所有设备使用来自你的先前住所的相同排程表？)”以这种方式，因为迁移可花费一定量的时间，所以自动化助理可保存在用户316正在执行不会干扰迁移的某个其它动作(例如，提供密码)的同时执行迁移的时间。以这种方式定制配置指令确保用户将利用其设备的每个特征，同时使指令合理以减轻用户316的负担。
图4图示用户404根据基于与类似的智能设备的先前安装相关联的历史安装数据420而定制的指令来在家424中配置智能设备402的透视图400。用户404可获取智能设备402并把它带回家424以安装。包括自动化助理应用的客户端设备410可检测到智能设备402的存在并且向用户404提供在家424中配置智能设备402的协助。自动化助理可识别智能设备402并且从单独的设备416(其可以是远程服务器418)获取用于配置智能设备402的指令。远程服务器418可包括用于生成用于基于关于智能设备402获得的信息来配置智能设备402的指令的指令引擎422。自动化助理可在自动化助理的接口处可听见地或以文本方式提供指令。然而，为了优化配置过程并且减少要由用户404执行的步骤的数目，家424中的客户端设备410和/或网络设备412可识别家424中的能够协助用户404的其它设备。例如，客户端设备410或联网设备412可采用能够检测位于与客户端设备410相同的网络上的其它设备(诸如智能灯408或个人计算设备406)的分组分析器。分组分析器可例如分析通过对家424中的设备而言可访问的网络414的一个或多个信道发送的分组的内容或分组的报头。网络414可以是局域网、广域网和/或在设备之间发送分组的任何其它网络。
一旦自动化助理已识别了可协助智能设备402的配置的一个或多个其它设备，自动化助理或远程服务器418就可相应地定制指令。例如，来自智能灯408的分组可由客户端设备410和/或网络设备412分析，并且智能灯408可被自动化助理识别。自动化助理可向远程服务器418指示智能灯408可用于协助智能设备402的配置。作为响应，指令引擎422可生成包括涉及智能灯408的步骤的定制指令。例如，可在智能设备402的配置过程期间定制指令，并且自动化助理可读取定制指令并提供诸如“Please step back so that the smartlight can see where the smart device is being installed(请后退以便智能灯可看到智能设备被安装在哪里)”这样的输出。智能设备402在家424中的位置可由智能灯408的相机捕获并且可将识别智能设备402的位置的图像从智能灯408发送到客户端设备410和/或远程服务器418。在一些实施方式中，智能设备402可包括可用于识别智能设备402的定向的加速度计。也可将由智能设备402的加速度计收集的数据发送到客户端设备410和/或远程服务器418以确定智能设备108的定向。
远程服务器418可将图像和/或加速度计数据与历史安装数据420相比较以确定智能设备402的位置和/或定向是否适合于智能设备402的操作。历史安装数据420可包括与比得上正在配置智能设备402的家424的家中的类似的智能设备相关联的图像或信息。远程服务器418可确定是否应该调整智能设备402的位置以优化性能。例如，如果智能设备402是恒温器，则远程服务器418可确定应该将该恒温器从窗户426移开以避免使智能设备402的温度测量结果偏倚。作为响应，指令引擎422可定制指令以包括用于建议用户404将智能设备402从窗户426移开的步骤。自动化助理可从远程服务器418接收经更新的指令并且向用户404宣布“Thanks for stepping back.The view from the smart light indicates thatthe smart device is too close to the window and should be moved laterallyaway from the window(谢谢你退后。来自智能灯的视图表明智能设备离窗户太近并且应该被从窗户横向地移开)”。一旦用户404根据定制指令横向地移动智能设备402，自动化助理就可基于家424中可用的设备来提供另外的指令。例如，指令中的下一个步骤可以是为智能设备402配置操作的排程表。自动化助理可确定用户404拥有带日历应用的个人计算设备406，所述日历应用可帮助排程智能设备402的操作，因此减少用于配置智能设备402的步骤的数目。例如，自动化助理可定制后续指令以包括有关使用来自日历应用的数据的查询。自动化助理会问：“would you like me to configure the operation of the smartdevice according to your calendar application？(你愿意我根据你的日历应用来配置智能设备的操作吗？)”如果用户404同意，则自动化助理可使个人计算设备406直接地向智能设备402提供数据，或者从个人计算设备406中检索信息以用于配置智能设备402。以这种方式，可利用已经对自动化助理可用的设备和数据来定制用于配置智能设备402的指令。
作为另一示例，远程服务器418可接收家424的电线的图像并将该图像与历史安装数据420中的图像相比较。例如，历史安装数据420可包含与类似的智能设备的先前安装相关联的查询和解决方案。这样的查询可包括来自用户的有关某些电线是什么的疑问(例如，“Assistant,is this bare copper wire a ground wire？(助理，这条裸铜电线是地电线吗？)”)。远程服务器418还可存储与先前安装有关的图像并加标签于这些图像以标记可能对将来的安装有用的特征。例如，可将来自家424的电线的图像与加标签的图像相比较以识别用于智能设备402的地电线。远程服务器418可基于比较确定用于根据家424的布线来配置智能设备402的另外的指令。自动化助理可使用另外的指令来提供输出，诸如“I seeyour home has a bare copper ground wire,please connect the bare copper wireto the ground terminal of the smart device(我看到你的家庭有裸铜地电线，请将该裸铜电线连接到智能设备的地端子)”。
图5图示用于基于在智能设备的配置期间接收到的反馈来适配用于配置智能设备的指令的方法500。方法500可由客户端设备、网络设备和/或能够向用户提供指令的任何其它计算设备执行。
方法500可包括基于接收到的输入来确定智能设备将由用户配置的块502。智能设备可以是能够使用反馈来执行任务(诸如监视家)的任何计算设备。所接收到的输入可以是从管理用户数据的服务器提供的信息，所述用户数据可包括由用户进行的购买。替换地，所接收到的输入可以是由智能设备经由诸如蓝牙或Wi-Fi这样的无线通信协议直接地或间接地提供的信号。在块504处，可经由客户端设备的自动化助理接口来提供用于配置智能设备的一个或多个初始指令。自动化助理接口可与存储在客户端设备上或者另外对客户端设备可访问的自动化助理应用相关联。自动化助理应用可协助用户安装并配置新设备，并且基于各种数据源针对用户具体地适配指令。
在块506处，可接收由智能设备生成的硬件反馈通信。硬件反馈通信可以是由通过用户或智能设备在执行一个或多个初始指令期间或之后执行的动作产生的信号。例如，当智能设备的电线连接到要安装智能设备的家的电线时硬件反馈通信可由智能设备传送。作为另一示例，当作为智能设备试图连接到本地网络的结果而发生连接问题时硬件反馈通信可由智能设备传送。在块508处，可基于硬件反馈通信来确定用于配置智能设备的一个或多个另外的指令。这些另外的指令可解决与硬件反馈通信相关联的问题，从而通过消除如果在配置期间未解决则可能以其它方式展示的问题来改进智能设备的配置过程。在块510处，经由客户端设备的自动化助理接口提供用于配置智能设备的另外的指令。
图6图示用于基于在智能设备的配置期间从单独的设备提供的传感器数据来适配用于配置智能设备的指令的方法600。方法600可由客户端设备、网络设备和/或能够向用户提供指令的任何其它计算设备执行。
方法600可以包括基于接收到的输入来确定智能设备将由用户配置的块602。所接收到的输入可以是由智能设备通过诸如局域网或广域网这样的网络提供的信号。替换地，所接收到的输入可以来自在客户端设备的自动化用户接口处提供口头或文本输入的用户。口头或文本输入可以是来自要求自动化助理应用协助设置其智能设备的用户的查询。在块604处，可在客户端设备的自动化助理接口处提供用于使用单独的设备来协助智能设备的配置的指令。单独的设备可以是包括传感器的计算设备，所述传感器能够收集与智能设备或将在其中配置智能设备的环境的特性有关的数据。例如，单独的设备可以是包括可捕获智能设备或环境的图像或视频的相机的便携式计算设备。
在块606处，可从单独的设备接收与配置相关联的数据。数据可以是智能设备的包装的图像、智能设备它本身的图像、与智能设备相关联的网络传输和/或可与智能设备相关联的任何其它数据。在块608处，可基于从单独的设备接收到的数据来确定智能设备的配置的特性。例如，配置的特性可以是智能设备的布线布置、智能设备的位置、智能设备的网络性质、智能设备的输出和/或与智能设备的配置有关的任何其它特征。在块610处，自动化助理接口可提供基于所确定的智能设备的配置的特性的配置指令。以这种方式，配置指令可解决可根据由单独的设备在智能设备的配置已开始之前、期间或之后收集的数据来识别的任何问题。
图7图示用于根据先前完成智能设备的配置的程度来适配用于配置智能设备的指令的方法700。方法700可由客户端设备、网络设备和/或能够向用户提供指令的任何其它计算设备执行。
方法700可以包括在客户端设备的自动化助理接口处提供用于配置智能设备的指令的块702。指令可通过音频接口(诸如客户端设备的声音系统)或客户端设备的可视接口(诸如触摸屏)。在块704处，确定了用户未经由与自动化助理接口的交互来执行智能设备的完整配置。换句话说，用户未接收到和/或执行来自自动化助理接口的用于配置智能设备的所有指令。在一些实施方式中，智能设备可向自动化助理提供用于指示配置完成了的信号，并且自动化助理可假设直到接收到信号配置才完成。
块706包括独立于与自动化助理接口的交互而监视以确定配置是否完成。可通过检测来自智能设备的信号来执行监视以确定智能设备是否是完全工作的而不管用户未从自动化助理接口接收到所有指令。替换地，可以通过检测来自存储智能设备的状态的单独的设备的信号来执行监视。状态可指示智能设备已被配置的程度，诸如例如部分工作配置或完全工作配置。每个状态可基于智能设备的哪些特征是工作的。在一些实施方式中，当自动化助理从智能设备接收到指示在智能设备处存在配置问题的信号时，自动化助理可独立于自动化助理接口而知道配置未完成。例如，用户可能尚未将智能设备连接到网络上的另一设备，或者未能为智能设备设置操作排程表。智能设备可向自动化助理指示这些遗漏，如此自动化助理可确定智能设备是否被完全配置。在块708处，独立于与自动化助理接口的交互而确定了配置没有完成。基于来自块708的确定，在块710处可从客户端设备提供来自自动化助理接口的另外的用户接口输出以用于进一步配置智能设备。该另一接口输出可对应于用于继续智能设备的配置的指令并且另一输出可以音频或文本格式从客户端设备或单独的设备提供。
图8是示例计算机系统810的框图800。计算机系统810通常包括经由总线子系统812与许多外围设备进行通信的至少一个处理器814。这些外围设备可以包括存储子系统824(包括例如存储器子系统825和文件存储子系统826)、用户接口输出设备820、用户接口输入设备822和网络接口子系统816。输入和输出设备允许用户与计算机系统810交互。网络接口子系统816提供到外部网络的接口并且耦合到其它计算机系统中的对应的接口设备。
用户接口输入设备822可以包括键盘、诸如鼠标、轨迹球、触摸板或图形平板这样的指点设备、扫描器、并入到显示器中的触摸屏、诸如话音识别系统、麦克风这样的音频输入设备和/或其它类型的输入设备。通常，术语“输入设备”的使用旨在包括用于将信息输入到计算机系统810或者到通信网络上的所有可能类型的设备和方式。
用户接口输出设备820可以包括显示子系统、打印机、传真机或诸如音频输出设备这样的非可视显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)这样的平板设备、投影设备或用于创建可见图像的某种其它机制。显示子系统还可以例如经由音频输出设备提供非可视显示。通常，术语“输出设备”的使用旨在包括用于将信息从计算机系统810输出给用户或者给另一机器或计算机系统的所有可能类型的设备和方式。
存储子系统824存储提供本文描述的模块中的一些或全部的功能性的编程和数据构造。例如，存储子系统824可包括用于执行方法500、600、700的所选方面并且/或者用于实现本文描述的服务器设备、客户端设备、数据库、引擎和/或模块中的一个或多个的逻辑。
这些软件模块通常由处理器814单独或与其它处理器相结合地执行。存储子系统824中使用的存储器825可包括许多存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)830以及存储有固定指令的只读存储器(ROM)832。文件存储子系统826可为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及关联的可移动介质、CD-ROM驱动器、光驱或可移动介质盒。实现某些实施方式的功能性的模块可以由文件存储子系统826存储在存储子系统824中，或者存储在可由处理器814访问的其它机器中。
总线子系统812提供用于让计算机系统810的各种组件和子系统如预期彼此通信的机制。尽管总线子系统812被示意性地示出为单条总线，但是总线子系统的替代实施方式可以使用多条总线。
计算机系统810可以是变化类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其它数据处理系统或计算设备。由于计算机和网络的不断变化的性质，对图8中描绘的计算机系统810的描述仅作为具体示例意在供图示一些实施方式的目的使用。与图8中描绘的计算机系统相比，计算机系统810的许多其它配置可以具有更多或更少的组件。
在本文描述的系统收集关于用户的个人信息或者可以利用个人信息的情形下，可以给用户提供用于控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前地理位置的信息)或者用于控制是否和/或如何从服务器接收可能与用户更相关的内容的机会。另外，某些数据可以在它被存储或者使用之前被以一种或多种方式处理，使得个人可识别的信息被去除。例如，可以处理用户的身份，使得对于该用户来说不能确定个人可识别的信息，或者可以在获得地理位置信息的情况下使用户的地理位置一般化(诸如到城市、邮政编码或州级别)，使得不能确定用户的特定地理位置。因此，用户可以控制信息如何关于用户被收集和/或使用。
虽然已在本文中描述并图示了若干实施方式，但是可以利用用于执行功能并且/或者获得结果和/或本文描述的优点中的一个或多个的各种其它手段和/或结构，并且这样的变化和/或修改中的每一个均被视为在本文描述的实施方式的范围内。更一般地，本文描述的所有参数、尺寸、材料和配置意在为示例性的，并且实际的参数、尺寸、材料和/或配置将取决于教导被用于的一个或多个具体应用。本领域的技术人员将认识到或者能够使用不超过一个例行实验来探知本文描述的具体实施方式的许多等同物。因此，应当理解的是，上述实施方式仅通过示例来呈现，并且在所附权利要求及其等同物的范围内，可以不像具体地描述和要求保护的那样实践这些实施方式。本公开的实施方式致力于本文描述的每个单独的特征、系统、物品、材料、套件和/或方法。此外，如果这样的特征、系统、物品、材料、套件和/或方法不是相互不一致的，则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合被包括在本公开的范围内。

Claims (13)

1.一种由一个或多个处理器实现的方法，所述方法包括：
基于在经由客户端设备可接入的自动化助理应用处接收到的输入，确定智能设备将由用户配置；
基于确定所述智能设备将由所述用户配置：
经由所述客户端设备的所述自动化助理应用来提供用于配置所述智能设备的一个或多个初始指令，所述客户端设备与所述智能设备分开；
继提供所述一个或多个初始指令之后接收由所述智能设备生成的硬件反馈通信；
响应于接收到所述硬件反馈通信：
访问存储的历史模型，所述存储的历史模型是基于当多个其他用户将电线连接到附加智能设备时，在所述附加智能设备的先前安装期间，所述附加智能设备向其他自动化助理应用提供的其他硬件反馈而生成的，
确定用于配置所述智能设备的一个或多个不同指令，其中，所述一个或多个不同指令是基于所述存储的历史模型和所述硬件反馈通信，以及
经由所述客户端设备的所述自动化助理应用来提供包括自然语言内容的输出，所述自然语言内容表征用于进一步配置所述智能设备的所述一个或多个不同指令。
2.根据权利要求1所述的方法，其中，所述硬件反馈通信是由所述智能设备响应于由所述用户与所述智能设备进行的物理交互而生成的；
其中，由所述用户与所述智能设备进行的所述物理交互包括将至少一条电线连接到所述智能设备，并且所述硬件反馈通信是由所述智能设备基于所述连接的检测到的性质而生成的；或者
其中，所述硬件反馈通信是基于由所述智能设备的一个或多个传感器生成的传感器数据而生成的，并且所述物理交互是所述至少一条电线从安装结构或者从电源到所述智能设备的直接耦合。
3.根据权利要求1所述的方法，其中，所述硬件反馈通信由所述智能设备经由一个或多个通信信道发送到所述客户端设备。
4.根据权利要求1所述的方法，进一步包括：
经由所述自动化助理应用来接收由所述用户提供的未请求的用户接口输入；
向搜索系统提交基于所述未请求的用户接口输入的搜索，所述搜索被定向到用于配置所述智能设备的信息；以及
经由所述自动化助理应用来提供另外的用户接口输出，所述另外的用户接口输出基于由所述搜索系统响应于提交所述搜索而返回的响应内容；
在接收到所述未请求的用户接口输入时存储所述智能设备的配置的状态；以及
继生成所述另外的用户接口输出之后，经由所述自动化助理应用来提供附加用户接口输出，其中，所述附加用户接口输出基于所存储的状态来提供。
5.根据权利要求1所述的方法，其中，所述接收到的输入是由所述用户提供给所述客户端设备的所述自动化助理应用的口头或文本输入。
6.根据权利要求1所述的方法，进一步包括：
在所述客户端设备的所述自动化助理应用处，基于与所述智能设备的购买相对应的用户数据来提供助理输出，其中，所述助理输出是对用于安装所述智能设备的帮助的提供；并且
其中，所述接收到的输入与响应于对安装所述智能设备的帮助的提供的肯定用户接口输入相对应，所述肯定用户接口输入通过所述用户与所述客户端设备的一个或多个用户接口输入设备的交互来提供。
7.根据权利要求1所述的方法，其中，提供所述一个或多个初始指令包括：
通过所述用户的所述客户端设备或附加客户端设备的所述自动化助理应用来提供用于捕获与所述智能设备的配置相关联的图像的指令；
基于所述用户响应于所提供的指令而捕获所述图像来接收所述图像，所述图像经由所述用户的所述客户端设备或附加客户端设备的相机来捕获；
基于接收到的图像来确定所述配置的特性；以及
通过所述自动化助理应用来提供用于配置所述智能设备的所述一个或多个初始指令，其中，所述一个或多个初始指令是基于所述配置的所确定的特性。
8.根据权利要求7所述的方法，其中，所确定的特性是基于接收到的图像与其它配置图像的比较，所述其它配置图像与类似的智能设备的先前配置相关联。
9.根据权利要求7所述的方法，进一步包括：
访问账户信息以识别与所述用户相关联的应用；以及
确定相机应用与所述用户相关联，其中，所述指令识别所述相机应用。
10.根据权利要求7所述的方法，其中，接收到的图像对应于用于连接到所述智能设备的电线，并且所述配置的特性对应于在所述图像中识别出的布线问题。
11.根据权利要求1-10中任一项所述的方法，进一步包括：
确定所述用户未经由与所述自动化助理应用的交互而执行所述智能设备的完整配置；
响应于确定所述用户未经由与所述自动化助理应用的所述交互而完成所述智能设备的配置：
独立于与所述自动化助理应用的交互而监视以确定所述完整配置是否发生；以及
响应于独立于与所述自动化助理应用的交互而确定所述完整配置没有发生：
经由所述客户端设备提供用于执行所述完整配置的另外的用户接口输出。
12.根据权利要求11所述的方法，其中，确定所述用户未经由与所述自动化助理应用的所述交互而执行所述智能设备的完整配置包括：
确定用户与所述自动化助理应用的交互在所述完整配置之前停止，所述完整配置经由从所述智能设备接收到的反馈来指示或者经由基于与所述自动化助理应用的交互所维护的配置状态来指示；以及
其中，所述完整配置是没有一个或多个配置问题的配置，并且其中，独立于与所述自动化助理应用的交互而确定所述完整配置没有发生包括：
确定在所述配置问题之中存在特定配置问题。
13.根据权利要求11所述的方法，其中，所述另外的用户接口输出对应于被定制来解决所述配置问题的指令，并且可选地，其中，所述配置问题是所述智能设备的网络连接问题或所述智能设备的次优配置。
CN201880030420.0A 2017-05-08 2018-05-07 经由单独的客户端设备的自动化助理接口的智能设备配置指导 Active CN110612521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410167762.4A CN118069271A (zh) 2017-05-08 2018-05-07 经由单独的客户端设备的自动化助理接口的智能设备配置指导

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/589,639 US10754673B2 (en) 2017-05-08 2017-05-08 Smart device configuration guidance via automated assistant interface of separate client device
US15/589,639 2017-05-08
PCT/US2018/031447 WO2018208693A1 (en) 2017-05-08 2018-05-07 Smart device configuration guidance via automated assistant interface of separate client device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410167762.4A Division CN118069271A (zh) 2017-05-08 2018-05-07 经由单独的客户端设备的自动化助理接口的智能设备配置指导

Publications (2)

Publication Number Publication Date
CN110612521A CN110612521A (zh) 2019-12-24
CN110612521B true CN110612521B (zh) 2024-03-01

Family

ID=62555179

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880030420.0A Active CN110612521B (zh) 2017-05-08 2018-05-07 经由单独的客户端设备的自动化助理接口的智能设备配置指导
CN202410167762.4A Pending CN118069271A (zh) 2017-05-08 2018-05-07 经由单独的客户端设备的自动化助理接口的智能设备配置指导

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410167762.4A Pending CN118069271A (zh) 2017-05-08 2018-05-07 经由单独的客户端设备的自动化助理接口的智能设备配置指导

Country Status (4)

Country Link
US (3) US10754673B2 (zh)
EP (1) EP3485387A1 (zh)
CN (2) CN110612521B (zh)
WO (1) WO2018208693A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755294B1 (en) 2015-04-28 2020-08-25 Intuit Inc. Method and system for increasing use of mobile devices to provide answer content in a question and answer based customer support system
US10475044B1 (en) 2015-07-29 2019-11-12 Intuit Inc. Method and system for question prioritization based on analysis of the question content and predicted asker engagement before answer content is generated
US10733677B2 (en) 2016-10-18 2020-08-04 Intuit Inc. Method and system for providing domain-specific and dynamic type ahead suggestions for search query terms with a customer self-service system for a tax return preparation system
US10552843B1 (en) 2016-12-05 2020-02-04 Intuit Inc. Method and system for improving search results by recency boosting customer support content for a customer self-help system associated with one or more financial management systems
US10748157B1 (en) 2017-01-12 2020-08-18 Intuit Inc. Method and system for determining levels of search sophistication for users of a customer self-help system to personalize a content search user experience provided to the users and to increase a likelihood of user satisfaction with the search experience
US10922367B2 (en) 2017-07-14 2021-02-16 Intuit Inc. Method and system for providing real time search preview personalization in data management systems
US20190068526A1 (en) * 2017-08-25 2019-02-28 Facebook, Inc. Methods and systems for helper bot platform assistance
KR102402513B1 (ko) * 2017-09-15 2022-05-27 삼성전자주식회사 컨텐트를 실행하는 방법 및 장치
US11093951B1 (en) 2017-09-25 2021-08-17 Intuit Inc. System and method for responding to search queries using customer self-help systems associated with a plurality of data management systems
US11165866B2 (en) * 2018-01-09 2021-11-02 Stel Life, Inc. Secure wireless communication platform
US11436642B1 (en) 2018-01-29 2022-09-06 Intuit Inc. Method and system for generating real-time personalized advertisements in data management self-help systems
US11269665B1 (en) * 2018-03-28 2022-03-08 Intuit Inc. Method and system for user experience personalization in data management systems using machine learning
JP7212500B2 (ja) * 2018-10-31 2023-01-25 ダイキン工業株式会社 遠隔管理装置及び遠隔管理システム
US11562227B2 (en) * 2019-03-13 2023-01-24 Accenture Global Solutions Limited Interactive assistant
US10884762B1 (en) * 2019-07-15 2021-01-05 Capital One Services, Llc Methods and systems for comparing computer configuration information
US11210108B2 (en) 2020-02-10 2021-12-28 International Business Machines Corporation Guiding the installation process of sensor-based devices
US11055195B1 (en) 2020-02-10 2021-07-06 International Business Machines Corporation Orchestrating an interruption during installation of sensor-based devices
EP4143679A1 (en) * 2020-04-29 2023-03-08 KONE Corporation A solution for generating at least one installation operation for at least one ongoing installation process at an installation site
CN112578976A (zh) * 2020-12-25 2021-03-30 珠海格力电器股份有限公司 一种显示面板定制系统及具有其的衣物处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058230B1 (en) * 2008-05-27 2015-06-16 Symantec Operating Corporation Online expert system guided application installation
EP3010015A1 (en) * 2014-10-14 2016-04-20 Samsung Electronics Co., Ltd. Electronic device and method for spoken interaction thereof
WO2016205213A1 (en) * 2015-06-14 2016-12-22 Google Inc. Systems and methods for smart home automation using a multifunction status and entry point icon

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8161386B1 (en) * 2002-09-04 2012-04-17 Cisco Technology, Inc. Method and apparatus for remote web-based technical support
US7509324B2 (en) * 2004-09-07 2009-03-24 General Electric Company Apparatus and method for sharing configuration data among a plurality of devices
US20060224778A1 (en) * 2005-04-04 2006-10-05 Microsoft Corporation Linked wizards
US8082123B2 (en) * 2005-09-30 2011-12-20 Rockwell Automated Technologies, Inc. Interactive diagnostics having graphical playback and solution implementation capabilities
US7533339B2 (en) * 2005-12-29 2009-05-12 Sap Ag System and method for providing user help
US7743328B2 (en) * 2006-10-12 2010-06-22 Microsoft Corporation Preserving a process instance for use by different user interfaces
US20080183852A1 (en) 2007-01-26 2008-07-31 Pramer David M Virtual information technology assistant
US20090007097A1 (en) * 2007-06-29 2009-01-01 Hinton Heather M Product install and configuration providing choice of new installation and re-use of existing installation
WO2009111386A2 (en) * 2008-03-04 2009-09-11 Power Monitors, Inc. Method and apparatus for a voice-prompted electrical hookup
US20100174599A1 (en) * 2009-01-05 2010-07-08 Apple Inc. System and method for providing content associated with a product or service
US9426278B2 (en) * 2010-09-01 2016-08-23 Plantronics, Inc. Location based mobile communications device auto-configuration
US8918219B2 (en) * 2010-11-19 2014-12-23 Google Inc. User friendly interface for control unit
US9092039B2 (en) * 2010-11-19 2015-07-28 Google Inc. HVAC controller with user-friendly installation features with wire insertion detection
US9003816B2 (en) * 2010-11-19 2015-04-14 Google Inc. HVAC controller with user-friendly installation features facilitating both do-it-yourself and professional installation scenarios
US20130015968A1 (en) * 2011-07-13 2013-01-17 Honeywell International Inc. System and method of alarm installation and configuration
US20130198762A1 (en) * 2012-01-26 2013-08-01 Ronald Charles Thorpe System and Method for Providing Customized Feedback to a User
US9418658B1 (en) 2012-02-08 2016-08-16 Amazon Technologies, Inc. Configuration of voice controlled assistant
US20130241734A1 (en) * 2012-03-15 2013-09-19 General Electric Company System and method for detecting improper wiring or configuration in a monitoring system
US8953764B2 (en) 2012-08-06 2015-02-10 Angel.Com Incorporated Dynamic adjustment of recommendations using a conversation assistant
US8984186B2 (en) * 2012-08-29 2015-03-17 Google Inc. Augmenting capabilities of a host device
US9286397B1 (en) * 2012-09-28 2016-03-15 Google Inc. Generating customized content
US9742872B2 (en) * 2012-10-10 2017-08-22 Fortinet, Inc. Configuring initial settings of a network security device via a hand-held computing device
US9683753B2 (en) * 2013-05-24 2017-06-20 Emerson Electric Co. Facilitating installation of a controller and/or maintenance of a climate control system
GB201312398D0 (en) * 2013-07-10 2013-08-21 Powa Technologies Ltd Electronic transaction validation
CN105659179B (zh) * 2013-08-21 2018-07-17 霍尼韦尔国际公司 用于与hvac控制器相交互的设备和方法
WO2015051142A1 (en) * 2013-10-02 2015-04-09 Assurant, Inc. Mobile computing device instructional graphical overlay
CN105981082B (zh) * 2013-10-07 2018-08-31 谷歌有限责任公司 提供针对检测事件的有用的跟踪通信的智能住家危险检测器
US9885492B2 (en) * 2013-11-22 2018-02-06 Honeywell International Inc. Methods systems and tools for determining a wiring configuration for an HVAC controller
US10563876B2 (en) * 2013-11-22 2020-02-18 Ademco Inc. Setup routine to facilitate user setup of an HVAC controller
US9698999B2 (en) * 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US9479931B2 (en) * 2013-12-16 2016-10-25 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9354958B2 (en) * 2014-01-14 2016-05-31 International Business Machines Corporation Personalizing error messages based on user learning styles
US9514114B2 (en) * 2014-03-04 2016-12-06 International Business Machines Corporation Managing product configuration
US9955560B2 (en) * 2014-03-28 2018-04-24 Robert Bosch Gmbh Configuring lighting electronics using database and mobile device
US9704113B2 (en) * 2014-05-02 2017-07-11 Qualcomm Incorporated Method and apparatus for setting user preferences or device configuration
US10063625B2 (en) * 2014-05-15 2018-08-28 Universal Electronics Inc. System and method for appliance detection and app configuration
EP3146349B1 (en) * 2014-05-19 2022-05-11 ABB Schweiz AG Method for allowing a configuration change of an intelligent electronic device of a power system
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP3152650B1 (en) 2014-06-03 2019-09-11 Samsung Electronics Co., Ltd. High-speed application for installation on mobile devices for permitting remote configuration of such mobile devices
US20160004521A1 (en) * 2014-07-02 2016-01-07 Honeywell International Inc. System and method of providing context sensitive help for alarm system installation
US20160065653A1 (en) * 2014-08-26 2016-03-03 Fujitsu Limited Internet of things (iot) device configuration construction
US9547419B2 (en) * 2014-09-02 2017-01-17 Apple Inc. Reduced size configuration interface
US10111030B2 (en) * 2014-09-29 2018-10-23 Apple Inc. Beacon applications for content discovery and interaction
US10250712B2 (en) * 2014-10-29 2019-04-02 Xiaomi Inc. Method and server of configuring scenario mode for smart devices
CN104483865B (zh) * 2014-12-26 2017-11-10 小米科技有限责任公司 智能硬件设备的安装实现方法及装置
US9578443B2 (en) * 2014-12-19 2017-02-21 Smartlabs, Inc. Smart home device adaptive configuration systems and methods
US20160182247A1 (en) * 2014-12-19 2016-06-23 Smartlabs, Inc. Smart home device adaptive configuration systems and methods using cloud data
US10509829B2 (en) * 2015-01-21 2019-12-17 Microsoft Technology Licensing, Llc Contextual search using natural language
WO2016185283A1 (en) * 2015-05-20 2016-11-24 Assa Abloy Ab Use of mobile device to configure a lock
US10331321B2 (en) * 2015-06-07 2019-06-25 Apple Inc. Multiple device configuration application
CN104967524A (zh) * 2015-06-29 2015-10-07 益网科技股份有限公司 智能型网络设备
US9977415B2 (en) * 2015-07-03 2018-05-22 Afero, Inc. System and method for virtual internet of things (IOT) devices and hubs
US20170118591A1 (en) * 2015-08-02 2017-04-27 Aegex Technologies, Llc Configuring and Managing Mobile Devices in Predefined Geographic Locations
US20170126525A1 (en) * 2015-11-02 2017-05-04 Thington, Inc. Systems and methods for controlling devices
US9870215B2 (en) * 2015-11-30 2018-01-16 International Business Machines Corporation Tracking an application installation state
US10223426B2 (en) * 2016-05-25 2019-03-05 Bank Of America Corporation System for providing contextualized search results of help topics
US10440122B2 (en) * 2016-07-01 2019-10-08 Intel Corporation Efficient provisioning of devices
US10089610B2 (en) * 2016-09-26 2018-10-02 The Toronto-Dominion Bank Automatic provisioning of services to network-connected devices
US11314846B1 (en) * 2016-09-29 2022-04-26 OR Link, Inc. Surgical communication and computerization infrastructure
US10735220B2 (en) * 2016-12-23 2020-08-04 Centurylink Intellectual Property Llc Shared devices with private and public instances
US10169884B2 (en) * 2017-01-03 2019-01-01 International Business Machines Corporation Image-based device configuration
US10601591B2 (en) * 2017-01-25 2020-03-24 Microsoft Technology Licensing, Llc Close proximity inner circle discovery
US10458669B2 (en) * 2017-03-29 2019-10-29 Johnson Controls Technology Company Thermostat with interactive installation features
US10355931B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
US10353480B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058230B1 (en) * 2008-05-27 2015-06-16 Symantec Operating Corporation Online expert system guided application installation
EP3010015A1 (en) * 2014-10-14 2016-04-20 Samsung Electronics Co., Ltd. Electronic device and method for spoken interaction thereof
WO2016205213A1 (en) * 2015-06-14 2016-12-22 Google Inc. Systems and methods for smart home automation using a multifunction status and entry point icon

Also Published As

Publication number Publication date
US10754673B2 (en) 2020-08-25
EP3485387A1 (en) 2019-05-22
US20200387391A1 (en) 2020-12-10
US20180321951A1 (en) 2018-11-08
US11972279B2 (en) 2024-04-30
WO2018208693A1 (en) 2018-11-15
CN118069271A (zh) 2024-05-24
US20240241739A1 (en) 2024-07-18
CN110612521A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN110612521B (zh) 经由单独的客户端设备的自动化助理接口的智能设备配置指导
EP3016318B1 (en) Method and apparatus for customizing scene mode of intelligent device
US10353480B2 (en) Connecting assistant device to devices
US10978046B2 (en) System and method for customizing portable natural language processing interface for appliances
US10560279B2 (en) Method and server for controlling smart devices based on predefined scenario mode
WO2019091171A1 (zh) 语音控制智能家电的方法、装置、系统和电子设备
CN105723652B (zh) 用于控制智能家庭系统的方法和电子设备
US10650819B2 (en) System and method for providing portable natural language processing interface across multiple appliances
US9270478B2 (en) Systems and methods for controlling and monitoring multiple electronic devices
CN110618614A (zh) 一种智能家居的控制方法、装置、存储介质及机器人
US20170013064A1 (en) Automated opc connectivity
US20240058955A1 (en) System using natural conversation for monitoring a facility
KR101834066B1 (ko) 공유기를 이용한 머신 소셜라이제이션 기반 기기간 협업 관리 시스템 및 방법
US20160124403A1 (en) Method and server of customizing scenario mode for smart devices
CN111338951A (zh) 无线智能家电检测方法及系统
TWI482461B (zh) 設備管理系統及方法
US20160170729A1 (en) Method and device for installing smart appliance
US11792269B2 (en) Method for generating application for controlling external electronic device and electronic apparatus for supporting the same
US11262711B2 (en) Home automation (HA) system including virtual assistant audible notification based upon learned device operational pattern and related methods
CN113453376A (zh) 网络配置方法、相关装置、设备及存储介质
US11830500B2 (en) System and method for digital assistant management
CN110726208A (zh) 一种多台空调器的控制方法、装置、终端及可读存储介质
US20220319507A1 (en) Electronic device for identifying electronic device to perform speech recognition and method of operating same
CN115604046B (zh) 电子设备控制方法、装置及系统、设备及介质
US20240111645A1 (en) Utterance test method for utterance device, utterance test server, utterance test system, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment