CN107735752A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN107735752A
CN107735752A CN201780002086.3A CN201780002086A CN107735752A CN 107735752 A CN107735752 A CN 107735752A CN 201780002086 A CN201780002086 A CN 201780002086A CN 107735752 A CN107735752 A CN 107735752A
Authority
CN
China
Prior art keywords
program
information
user
relevant
automation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780002086.3A
Other languages
English (en)
Inventor
长坂英夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107735752A publication Critical patent/CN107735752A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)

Abstract

[目的]期望提供一种能够在对用户来说方便的定时提议程序的执行的自动化的技术。[解决方案]提供了一种信息处理设备，其包括：信息获取单元，其被配置成获取用户的输入信息；以及提议控制单元，其被配置成在输入信息的获取定时提议与输入信息有关的控制的自动化。提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与包括在根据输入信息识别的第一程序中的输入要素有关的第一相关要素；以及用与输入要素有关的第二相关要素替换输入要素。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
近年来，关于向用户推荐应用的技术已经公开了各种技术。例如，公开了在应用的执行时向用户推荐另一应用的技术(例如，参见专利文献1)。另一应用对应于该应用的相关信息。此外，公开了向用户推荐功能或另一应用的技术(例如，参见专利文献2)。该功能对应于应用当前执行的功能。
除了向用户推荐应用之外，还存在向用户提议应用的执行的自动化的技术。
引用列表
专利文献
专利文献1：JP 2010-157207A
专利文献2：JP 2011-90391A
发明内容
技术问题
然而，期望提供能够在对用户来说方便的定时提议程序的执行的自动化的技术。
解决问题的技术方案
根据本公开内容，提供了一种信息处理设备，其包括：信息获取单元，其被配置成获取用户的输入信息；以及提议控制单元，其被配置成在输入信息的获取定时来提议与输入信息有关的控制的自动化。提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与包括在根据输入信息识别的第一程序中的输入要素有关的第一相关要素，以及用与输入要素有关的第二相关元素替换输入要素。
根据本公开内容，提供了一种信息处理方法，其包括：获取用户的输入信息；以及由处理器在输入信息的获取定时来提议与输入信息有关的控制的自动化。信息处理方法还包括提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与包括在根据输入信息识别的第一程序中的输入要素有关的第一相关要素，以及用与输入要素有关的第二相关元素替换输入要素。
根据本公开内容，提供了一种使计算机用作信息处理设备的程序，该信息处理设备包括：信息获取单元，其被配置成获取用户的输入信息；以及提议控制单元，其被配置成在输入信息的获取定时来提议与输入信息有关的控制的自动化。提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与包括在根据输入信息识别的第一程序中的输入要素有关的第一相关要素，以及用与输入要素有关的第二相关元素替换输入要素。
本发明的有益效果
如上所述，本公开内容提供了能够在对用户来说方便的定时提议程序的执行的自动化的技术。注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中所描述的效果或根据本说明书可以领悟到的其他效果中的任一效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理设备的概况的图。
图2是示出信息处理设备的功能配置示例的图。
图3是示出控制单元的详细配置示例的图。
图4是示出第二程序的自动执行的图像的图。
图5是用于用户的自动化的提议的模式的分类表。
图6是示出第一模式的具体示例的图。
图7是示出关于第一模式的自动化的设置的图像的图。
图8是示出第二模式的具体示例的图。
图9是示出关于第二模式的自动化的设置的图像的图。
图10是示出第三模式的具体示例的图。
图11是示出关于第三模式的自动化的设置的图像的图。
图12是示出第四模式的具体示例的图。
图13是示出关于第四模式的自动化的设置的图像的图。
图14是示出第五模式的具体示例的图。
图15是示出关于第五模式的自动化的设置的图像的图。
图16是示出第六模式的具体示例的图。
图17是示出关于第六模式的自动化的设置的图像的图。
图18是示出第七模式的具体示例的图。
图19是示出关于第七模式的自动化的设置的图像的图。
图20是示出第八模式的具体示例的图。
图21是示出关于第八模式的自动化的设置的图像的图。
图22是示出第九模式的具体示例的图。
图23是示出关于第九模式的自动化的设置的图像的图。
图24是示出第十模式的具体示例的图。
图25是示出第11模式的具体示例的图。
图26是示出第12模式的具体示例的图。
图27是示出与提议有关的信息的显示示例的图。
图28是示出基于日志分析结果(用户U的行为的分析结果)来识别事件与处理之间的对应关系的示例的图。
图29是示出事件发生时的提议生成操作的第一示例的图。
图30是示出事件发生时的操作的第二示例的图。
图31是示出程序注册时的提议生成操作的示例的图。
图32是示出信息处理设备的硬件配置示例的框图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构要素，并且省略对这些结构要素的重复说明。
注意，在本说明书和附图中，有时使用相同的附图标记之后的不同数字将具有基本上相同的功能和结构的结构要素彼此区分开。然而，当不需要特别区分具有基本上相同的功能和结构的结构要素时，仅附上相同的附图标记。
注意，按照以下顺序给出描述。
1.本公开内容的实施方式
1.1概况
1.2.功能配置示例
1.3.功能细节
1.4.硬件配置示例
2.结论
<1.本公开内容的实施方式>
[1.1概况]
首先，将参照附图来描述根据本公开内容的实施方式的信息处理设备的概况。图1是示出根据本公开内容的实施方式的信息处理设备的概况的图。如图1所示，信息处理设备10和用户U在本公开内容的实施方式中。
注意，在本说明书中，主要假设信息处理设备10用作代理。此处，代理是以下设备，所述设备被配置成通过解读用户U的输入信息来自主地确定用户U的意图，以及基于用户U的意图来控制处理的执行。在本说明书中，假设信息处理设备10是机器人，有时将信息处理设备10称为代理。
存在用户U的各种输入信息。例如，输入信息包括关于用户U的情况的信息。关于用户U的情况的信息的示例包括用户U具有的问题。然而，关于用户U的情况的信息不限于用户U具有的问题。例如，关于用户U的情况的信息可以是来自用户U的请求，或者可以是来自用户U的问题。可替选地，关于用户U的情况的信息可以是关于用户U的情况的其他信息。
参照图1描述了信息处理设备10的概况。
[1.2.功能配置示例]
接下来，将描述信息处理设备10的功能配置示例。图2是示出信息处理设备10的功能配置示例的图。如图2所示，信息处理设备10包括：声音输出单元111、声音采集单元113、成像单元114、距离检测单元115、控制单元120、存储单元130、通信单元140以及显示单元150。信息处理设备10和控制目标装置20能够经由网络(例如无线局域网(LAN))彼此通信。此外，信息处理设备10经由通信网络931与服务器设备30连接。例如，通信网络931由因特网实现。
控制目标装置20是能够从信息处理设备10接受命令并且执行命令的设备。此处，控制目标装置20的类型未被具体限制。例如，控制目标装置20可以是电视设备、记录器、空调设备(在下文中，还被称为空调)、咖啡机或灯。
声音输出单元111具有输出声音的功能。例如，声音输出单元111包括扬声器，声音通过扬声器输出。包括在声音输出单元111中的扬声器的数目未被具体限制，只要扬声器的数目是一个或更多个即可。此外，包括在声音输出单元111中的一个或更多个扬声器的位置未被具体限制。注意，声音输出单元111可以包括不同于扬声器的声音输出设备(例如耳机或头戴式受话器)，只要该设备具有声音输出功能即可。
声音采集单元113具有通过声音采集获取声音的功能。例如，声音采集单元113包括麦克风，并且通过麦克风采集声音。包括在声音采集单元113中的麦克风的数目未被具体限制，只要麦克风的数目是一个或更多个即可。此外，包括在声音采集单元113中的一个或更多个麦克风的位置未被具体限制。注意，声音采集单元113可以包括不同于麦克风的声音采集设备，只要该设备具有声音信息采集功能。
成像单元114具有通过图像捕获输入图像的功能。例如，成像单元114包括摄像机，并且输入由摄像机捕获的图像。包括在成像单元114中的摄像机的数目未被具体限制，只要摄像机的数目是一个或更多个即可。此外，包括在成像单元114中的一个或更多个摄像机的位置未被具体限制。此外，一个或更多个摄像机可以包括单目摄像机，或者可以包括立体摄像机。
距离检测单元115具有检测距用户的距离的功能。例如，距离检测单元115包括测距传感器，并且获取由测距传感器检测的距用户的距离。测距传感器的位置未被具体限制。此外，测距传感器的类型未被具体限制。例如，距离传感器可以是红外线距离传感器，或者可以是超声波距离传感器。
通信单元140具有从与通信网络931连接的服务器设备30获取数据和经由通信网络931向服务器提供数据的功能。例如，通信单元140由通信接口实现。注意，与通信网络931连接的服务器设备30的数目可以是一个或更多个。
存储单元130是被配置成存储要由控制单元120执行的程序并且存储执行程序所需的数据的存储介质。此外，存储单元130暂时存储用于要由控制单元120执行的计算的数据。存储设备130可以由磁存储单元设备、半导体存储设备、光存储设备、磁光存储设备等实现。
显示单元150具有显示各种屏幕的功能。在本实施方式中，主要假设显示单元150是投影仪。然而，显示单元150的类型不受限制。例如，显示单元150可以是液晶显示器或有机电致发光(EL)显示器，只要显示单元150是能够显示用户可见的屏幕的显示器即可。此外，在本说明书中，主要假设显示单元150在相对较高的位置(例如墙壁)处或相对较低的位置(例如代理的身体或用户的手的附近的地方)处显示屏幕。然而，显示单元150显示屏幕的位置不受限制。
控制单元120控制信息处理设备10中的各个单元。图3是示出控制单元120的详细配置示例的图。如图3所示，控制单元120包括信息获取单元121、识别单元122、程序生成单元123、提议控制单元124、自动化处理单元125、推荐控制单元126、事件检测单元127以及执行控制单元128。稍后将描述这些功能块的细节。注意，例如，控制单元120可以由中央处理单元(CPU)等实现。在控制单元120由诸如CPU的处理设备实现的情况下，该处理设备可以由电子电路实现。
注意，在下文中，措辞“语音”(或“话音”)和措辞“声音”被有区别地使用。具体地，关于由声音采集单元113采集的声音，“语音”和“话音”主要意指来自用户的话音，“声音”意指来自用户的话音和由物品产生的声音二者。
上面描述了根据实施方式的信息处理设备10的功能配置示例。
[1.3.功能细节]
接下来，将描述信息处理设备10的功能的细节。近年来，关于向用户推荐应用的技术已经公开了各种技术。例如，公开了在应用的执行时向用户推荐另一应用的技术。另一应用对应于该应用的相关信息。此外，公开了向用户推荐功能或另一应用的技术。该功能对应于应用当前执行的功能。
除了向用户推荐应用之外，还存在向用户提议应用的执行的自动化的技术。然而，有时用户期望的应用的自动化的定时不同于提议的应用的自动化的定时。因此，通常，即使用户觉得自动化具有益处，也难以使用户配置用于自动化的设置。
此外，在用户认为自动化价值不大的定时向用户呈现要自动执行的应用的组合的情况下，预期用户想象不到通过应用的组合发生了什么。另一方面，在向用户呈现关于通过应用的组合发生了什么的说明的情况下，用户需要阅读冗长的说明。因此，难以从组合中选择用户想要执行的组合。
因此，在本说明书中，本公开内容主要提供能够在对用户来说方便的定时提议程序的执行的自动化的技术。具体地，信息获取单元121被配置成获取用户的输入信息。此外，识别单元122被配置成根据输入信息识别第一程序。
输入信息可以是用户U的语音。此时，识别单元122根据通过声音采集单元113采集的声音信息将用户U的语音识别为文本数据。可替选地，输入信息可以是由成像单元114捕获的图像。图像与用户U的行为有关。此处，与用户U的行为有关的图像可以包括用户U的姿势或控制目标装置20的操作信息。控制目标装置20的操作信息可以被视为控制目标装置的图像的变化。此时，识别单元122根据由成像单元114捕获的图像将用户U的行为识别为文本数据。可替选地，控制目标装置20的操作信息可以是基于操作通过由用户U操作的控制目标装置20输入的信息。此时，识别单元122根据基于操作输入的信息将由用户U执行的操作识别为文本数据。此处，用作输入信息的用户U的姿势可以是操作控制目标装置20的控制器的用户U的操作，或者可以是用户U的手或手臂的移动。根据用户U的手或手臂的移动，可以识别姿势控制设备的操作。姿势控制设备接收用户U的姿势作为输入信息。例如，姿势控制设备是被配置成识别用户的姿势并且输出视频等的接触型或非接触型设备。
识别单元122基于识别的文本数据来识别第一程序。注意，第一程序被以任何方式识别。例如，可以预先将文本数据和第一程序彼此相关联地注册在数据库中。随后，识别单元122仅需要从数据库获取与识别的文本数据对应的第一程序(例如与和识别的文本数据相同或相似的文本数据相关联的第一程序)。
存储单元130存储以这样的方式识别的第一程序。第一程序包括至少处理。执行控制单元128控制处理的执行。换言之，信息处理设备10用作用于替代地(例如立即)执行由用户U输入的信息的代理。在第一程序包括事件和处理的情况下，执行控制单元128在事件检测单元127检测到事件时控制处理的执行。换言之，信息处理设备10用作用于今后替代地执行由用户U输入的信息的代理。
此外，程序生成单元123被配置成根据第一程序生成第二程序。提议控制单元124被配置成在输入信息的获取定时提议与输入信息有关的控制的自动化。在这种情况下，提议控制单元124被配置成提议第二程序的执行的控制的自动化。根据这样的配置，可以在对用户U来说方便的定时提议程序的执行的自动化。
此处，输入信息的获取定时不限于输入信息被获取的瞬时定时。换言之，输入信息的获取定时可以是具有一定持续时间的长度的概念。例如，输入信息的获取定时可以是基于以下中的至少一个的定时：获取输入信息期间的情境、获取输入信息之前的情境以及获取输入信息之后的情境。
具体地，输入信息的获取定时可以是信息处理设备10获取输入信息时的定时，或从获取输入信息开始经过了预时时间之后的定时(例如，信息处理设备10与用户U之间的、与输入信息关联地生成的其他对话之间的间隔的定时，或者其他对话结束的定时)。可替选地，输入信息的获取定时可以是输入信息的替代执行期间的定时或者输入信息的替代执行结束的定时。输入信息的获取的这样的情况中的至少一种情况可以被视为获取输入信息期间的情境或获取输入信息之后的情境。可替选地，由信息处理设备10在获取输入信息之前获取的环境信息可以被视为获取输入信息之前的情境。可以在基于这样的情境中的至少一个情境的定时适当地提议与输入信息有关的控制的自动化。
可以以任何方式提议自动化。自动化可以由控制提议内容的语音的输出的声音输出单元111或由控制提议内容的显示的显示单元150提议。
在从用户U获得自动化的提议被接受的答复的情况下，自动化处理单元125使第二程序的执行的控制自动化。来自用户U的答复可以被获取为根据通过声音采集单元113采集的声音信息识别的用户U的语音，或者可以被获取为根据由成像单元114捕获的图像识别的用户U的姿势。
例如，在第二程序包括事件和处理的情况下，第二程序的执行的控制的自动化意指存储单元130记录第二程序，使得在检测到事件时执行处理。执行控制单元128根据自动化来控制第二程序的执行。
每当输入信息被获取时可以提议自动化。然而，用户U可能不想要每当输入信息被获取时提供的自动化提议。因此，提议控制单元124可以在不满足预定条件的情况下在输入信息的获取定时提议程序的暂时执行，并且在满足预定条件的情况下提议自动化。此外，在用户U接受自动化的提议之后，提议控制单元124可以不提议自动化。可替选地，在用户U拒绝自动化的提议的情况下，可以不提议自动化。此处，暂时执行可以被视为当满足预定条件时基于用户U的接受执行的替代处理。
例如，当用户U在一定程度上接受暂时执行的提议时，即使从下一次提议自动化而不是暂时执行，也认为用户较少地感到不方便。因此，用于避免自动化的提议的预定条件可以是以下条件，从用户U获得暂时执行的提议被接受的答复多于一定次数(第一次数)，并且用户U接受自动化的提议。
作为具体示例，将描述当室内温度变为29℃时使打开空调的操作自动化的情况。首先，当室内温度变为29℃时，提议控制单元124向用户U询问“你想要打开空调吗？”，并且检查用户U是否想要在室内温度变为29℃时打开空调(暂时执行的提议)。在暂时执行的提议被接连多次接受的情况下，或者以预定频率或更大频率接受提议的情况下，每当室内温度变为29℃时提议控制单元124向用户U提议用于打开空调的自动化处理。
通常，用户感觉到热的温度(例如29℃)取决于每个用户。此外，在用户感觉到热的温度下是否打开空调的确定也取决于每个用户。例如，即使当用户在29℃下感觉到热并且用户被询问“你想要打开空调吗？”时，有时用户还想要在室内温度变为28℃时打开空调，有时用户还想要在室内温度变为30℃时打开空调。
下面将描述基于这样的情况向用户U提议自动化的方式的详细示例。首先，在第一步骤中，提议控制单元124提议暂时执行，使得“我将从室内温度达到29℃时打开空调”。换言之，例如，提议控制单元124不是突然提议自动化，而是提议若干次暂时执行。因此，提议控制单元124可以检查用户U是否已经反复接受暂时执行的提议。此处，暂时执行的提议的次数可以是仅一次。在暂时执行的提议被接受之后，提议控制单元124针对自动化的提议确认用户U的接受，使得“我将在室内温度达到29℃时打开空调”。根据这些提议步骤，根据暂时执行的提议可以理解：当在室内温度达到29℃的情况下打开空调时，用户U感到舒适。
作为另一具体示例，将描述当满足自动化的提议的条件时突然提出自动化的情况。例如，与试图理解当室内温度达到29℃时用户U是否想要打开空调的情况相比，在打开空调之后打开空气循环风扇的情况下，容易理解用户U想要一起使用空气循环风扇和空调的用户的意图。在这样的情况下，例如，当满足用户打开空调的条件时，提议控制单元124可以不提议暂时执行，而是提议打开空气循环风扇。在这样的情况下，作为自动化的提议的原因，例如在使用空调期间使用空气循环风扇可以节约能源的原因，将自动化的提议的原因作为知识(信息)提供给用户U。例如，这样的知识可以从服务器获取。
可替选地，当向用户U提议一定次数的暂时执行或自动化时，认为用户可能会觉得下一暂时执行的提议和自动化的提议是累赘的。因此，用于避免暂时执行或自动化的提议的预定条件可以是暂时执行的条件被向用户U提议多于一定次数(第二次数)，并且自动化被向用户U提议至少一次。在这种情况下，用于避免暂时执行的提议或自动化的提议的预定条件可以独立于用户U对自动化的提议的答复。
注意，第一程序与第二程序之间的关系未被具体限制。例如，第一程序和第二程序可以包括与彼此独立的软件有关的程序。可替选地，第一程序和第二程序可以包括与同一软件有关的程序。此处，软件不限于应用。软件可以是包括系统软件和应用软件中的至少任一个的概念。
例如，在第一程序和第二程序包括与彼此独立的软件有关的程序的情况下，假设第一程序控制空调的系统软件并且第二程序控制空气循环风扇的系统软件。另一方面，在第一程序和第二程序包括与同一软件有关的程序的情况下，假设第一程序和第二程序二者控制用于鸣响闹钟的应用。
用于由程序生成单元123根据第一程序生成第二程序的方法不受限制。例如，程序生成单元123可以通过向第一程序添加第一相关要素来生成第二程序。第一相关要素与包括在第一程序中的输入要素有关。输入要素可以是包括在第一程序中的处理，或者可以是包括在第一程序中的处理对象。
可替选地，程序生成单元123可以通过用与第一程序中的输入要素有关的第二相关要素替换第一程序中的输入要素来生成第二程序。
与输入要素有关的相关要素的候选的数目可以是一个或更多个。在这种情况下，可以基于任何优先级(例如，按提议顺序)向用户U提议多个候选。例如，在存在与输入要素有关的相关要素的多个候选的情况下，提议控制单元124基于与多个候选中的每个候选有关的软件的启动次数来提议自动化。例如，可以优先向用户U提议与被启动很多次的软件协作的候选。
此外，可能存在与尚未安装的软件协作的候选。例如，提议控制单元124可以降低该候选的优先级，使得该候选的优先级变得低于与已经安装的软件协作的候选的优先级。此外，提议控制单元124可以向与尚未安装的软件协作的候选添加标记。标记指示安装是必要的。在下文中，有时可以将包括在第一程序中的输入要素称为“关联关键”。
接下来，将描述第二程序的自动执行的图像。图4是示出第二程序的自动执行的图像的图。如图4所示，假设第二程序包括“在29℃下”的触发、“是否有人在房间”的处理、“打开被设置为25℃的空调”的处理、“是否燃气炉未打开”的处理以及“打开空气循环风扇”的处理。
首先，事件检测单元127周期性地执行“温度采集”。当检测到温度“超过29℃”的事件时，执行控制单元128控制“有人存在的确认”的处理的执行。当事件检测单元127周期性地执行“从运动检测器获取数据”并且有人在房间的事件被检测到时，执行控制单元128控制“打开被设置为25℃的空调”的处理的执行。
接下来，执行控制单元128将“打开被设置为25℃的空调”的处理的完成看作事件的发生，并且控制“获取燃气炉信息”的处理的执行。当事件检测单元127周期性地执行“从气体传感器获取数据”并且燃气炉未打开的事件被检测到时，执行控制单元128控制“打开空气循环风扇”的处理的执行。“打开空气循环风扇”的处理的完成也可以被看作事件的发生。
此处，对用于用户U的自动化的提议的模式进行分类。图5是用于用户U的自动化的提议的模式的分类表。在图5中，“U”指示用户U，“A”指示信息处理设备10。首先，自动化提议的定时被大致分为四个定时。第一定时是用户U请求信息处理设备10执行输入信息的定时(信息处理设备10替代地执行第一程序的定时)((1)至(3))。
第二定时是针对今后由信息处理设备10替代地执行的第一程序设置自动化的定时((4)至(6))。第三定时是用户U自己执行处理的定时((7)至(9))。第四定时是信息处理设备10与用户U对话的定时((10)至(12))。
四个定时中的每个定时可以存在三个提议内容。第一提议内容是通过以下方式生成的第二程序的自动化的提议：将包括在第一程序中的处理设置为关联关键并且向该处理添加条件。第二提议内容是通过以下方式生成的第二程序的自动化的提议：将包括在第一程序中的处理设置为关联关键并且向该处理添加另一处理。第三提议内容是通过以下方式生成的第二程序的自动化的提议：将包括在第一程序中的处理的对象设置为关联关键并且利用该对象。
因此，总共假设12个自动化提议模式。接下来，将描述12个自动化提议模式中的每个模式。图6是示出第一模式的具体示例的图。此外，图7是示出关于第一模式的自动化的设置的图像的图。如图6所示，当用户U输入输入信息“天气如何？”时，信息处理设备10响应于输入信息“天气如何？”来执行“获取天气信息”的处理和“通知天气信息”的处理”。
此外，如图6所示，信息处理设备10在天气信息的获取定时提议诸如“我可以告诉你是否下雨吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“告诉用户是否下雨”的处理自动化。随后，信息处理设备10周期性地获取天气信息，并且自动向用户通知是否将会下雨。
将参照图7来描述其细节。当用户U输入输入信息“天气如何？”时，信息获取单元121获取输入信息“天气如何？”，识别单元122通过使用上述方法根据输入信息“天气如何？”来识别第一程序(“获取天气信息”的处理和“通知天气信息”的处理)。执行控制单元128控制第一程序的执行。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的第一处理“获取天气信息”作为输入要素并且获取与输入要素有关的条件“是否下雨”作为第一相关要素。程序生成单元123通过将条件“是否下雨”添加到“通知天气信息”的处理来生成第二程序。
在这种情况下，程序生成单元123可以向第二程序(“获取天气信息”的处理、条件“是否下雨”以及“通知天气信息”的处理)添加自动化处理例程，使得第二程序被自动执行。自动化处理例程周期性地触发事件以执行“获取天气信息”的处理。在图7所示的示例中，每10分钟触发一次事件。然而，触发事件的间隔不限于10分钟。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制自动化。随后，执行控制单元128获取天气信息。如果天气信息指示会下雨，则向用户U通知天气信息。
图8是示出第二模式的具体示例的图。此外，图9是示出关于第二模式的自动化的设置的图像的图。如图8所示，当用户U输入输入信息“请打开空调”时，信息处理设备10响应于输入信息“请打开空调”来执行“打开空调”的处理。
此外，如图8所示，信息处理设备10在打开空调的处理的定时提议诸如“我可以在空调被打开时打开空气循环风扇吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“在空调被打开时打开空气循环风扇”的处理自动化。随后，信息处理设备10在空调被打开时打开空气循环风扇(自动地或通过用户操作)。
将参照图9来描述其细节。当用户输入输入信息“请打开空调”时，信息获取单元121获取输入信息“请打开空调”，识别单元122通过使用上述方法根据输入信息“请打开空调”来识别第一程序(“打开空调”的处理)。执行控制单元128控制第一程序的执行。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的处理“打开空调”作为输入要素，获取与输入要素有关的处理“打开空气循环风扇”作为第一相关要素。程序生成单元123使用“打开空调”的处理的完成作为事件，并且通过将“打开空气循环风扇”的处理作为要在检测到事件时执行的处理添加来生成第二程序。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制自动化。随后，执行控制单元128在空调被打开时打开空气循环风扇。
图10是示出第三模式的具体示例的图。此外，图11是示出关于第三模式的自动化的设置的图像的图。如图10所示，当用户U输入输入信息“我想看艺术家M1的视频”时，信息处理设备10响应于输入信息“我想看艺术家M1的视频”来执行“提议告诉用户U是否存在艺术家M1的视频”的处理。
此外，如图10所示，信息处理设备10在下述的提议的定时提议诸如“我可以告诉你是否存在与艺术家M1有关的节目或新闻吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“告诉用户是否存在与艺术家M1有关的节目或新闻”的处理自动化。随后，如果存在与艺术家M1有关的节目或新闻，则自动向用户U通知与艺术家M1有关的节目或新闻。
将参照图11来描述其细节。当用户输入输入信息“我想看艺术家M1的视频”时，信息获取单元121获取输入信息“我想看艺术家M1的视频”，并且识别单元122通过使用上述方法根据输入信息“我想看艺术家M1的视频”来识别第一程序(对象“艺术家M1”和“播放视频”的处理)。执行控制单元128控制第一程序的执行。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的“播放视频”的处理的对象“艺术家M1”作为输入要素，并且获取与输入要素有关的处理“获取新闻”作为第二相关要素。程序生成单元123通过以下方式来生成第二程序：用处理“获取新闻”来替换处理“播放视频”，使用“获取新闻”的处理的完成作为事件以及将处理“通知”作为要在检测到事件时执行的处理添加。
在这种情况下，程序生成单元123可以向第二程序(“获取新闻”的处理和“通知”的处理)添加自动化处理例程，使得第二程序被自动执行。自动化处理例程周期性地触发事件以执行“获取新闻”的处理。在图11所示的示例中，每10分钟触发一次事件。然而，触发事件的间隔不限于10分钟。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，当获取到艺术家M1的新闻时，执行控制单元128通知该新闻。
图12是示出第四模式的具体示例的图。此外，图13是示出关于第四模式的自动化的设置的图像的图。如图12所示，当用户U输入输入信息“请每天早晨八点叫醒我”时，信息处理设备10响应于输入信息“请每天早晨八点叫醒我”来提取处理“每天早晨八点触发事件”和处理“鸣响闹钟”。自动化处理单元125配置用于第一程序的执行的控制的自动化的设置，第一程序包括处理“每天早晨八点触发事件”和处理“鸣响闹钟”。
此外，如图12所示，信息处理设备10在配置用于自动化的设置的定时提议诸如“但是我将不在周末叫醒你”的自动化。当用户输入指示用户接受自动化的提议的答复“可以”时，信息处理设备10使“仅在工作日的八点叫醒用户”的处理自动化。随后，闹钟仅在工作日的八点自动鸣响。
将参照图13来描述其细节。当用户U输入输入信息“请每天早晨八点叫醒我”时，信息获取单元121获取输入信息“请每天早晨八点叫醒我”，识别单元122通过使用上述方法根据输入信息“请每天早晨八点叫醒我”来识别第一程序(条件“在八点”、“触发事件”的处理和“鸣响闹钟”的处理)。自动化处理单元125配置用于第一程序的执行的控制的自动化的设置。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的第一处理“触发事件”作为输入要素，并且获取与输入要素有关的条件“在工作日”作为第一相关要素。程序生成单元123通过将条件“在工作日”添加到处理“触发事件”来生成第二程序。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，执行控制单元128使闹钟仅在工作日的八点自动鸣响。
图14是示出第五模式的具体示例的图。此外，图15是示出关于第五模式的自动化的设置的图像的图。如图14所示，当用户U输入输入信息“请每天早晨八点打开空调”时，信息处理设备10响应于输入信息“请每天早晨八点打开空调”来提取“每天早晨八点触发事件”的处理和“打开空调”的处理。自动化处理单元125配置用于第一程序的执行的控制的自动化的设置，第一程序包括“每天早晨八点触发事件”的处理和“打开空调”的处理。
此外，如图14所示，信息处理设备10在配置用于自动化的设置的定时提议诸如“我可以在空调被打开时打开空气循环风扇吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“在空调被打开时打开空气循环风扇”的处理自动化。随后，信息处理设备10在空调被打开时打开空气循环风扇(自动地或通过用户操作)。
将参照图15来描述其细节。当用户输入输入信息“请每天早晨八点打开空调”时，信息获取单元121获取输入信息“请每天早晨八点打开空调”，识别单元122通过使用上述方法根据输入信息“请每天早晨八点打开空调”来识别第一程序(条件“在八点”、“触发事件”的处理以及“鸣响闹钟”的处理)。自动化处理单元125配置用于第一程序的执行的控制的自动化的设置。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的处理“打开空调”作为输入要素，并且获取与输入要素有关的处理“打开空气循环风扇”作为第一相关要素。程序生成单元123使用“打开空调”的处理的完成作为事件，并且通过将“打开空气循环风扇”的处理作为要在检测到事件时执行的处理添加来生成第二程序。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制自动化。随后，执行控制单元128在空调被打开时打开空气循环风扇。
图16是示出第六模式的具体示例的图。此外，图17是示出关于第六模式的自动化的设置的图像的图。如图16所示，当用户U输入输入信息“请告诉我是否存在艺术家M1的视频”时，信息处理设备10响应于输入信息“请告诉我是否存在艺术家M1的视频”来执行“提议告诉用户U是否存在艺术家M1的视频”的处理。
此外，如图16所示，信息处理设备10在下述的提议的定时提议诸如“我可以告诉你是否存在与艺术家M1有关的节目或新闻吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“告诉用户是否存在与艺术家M1有关的节目或新闻”的处理自动化。随后，如果存在与艺术家M1有关的节目或新闻，则向用户U自动通知与艺术家M1有关的节目或新闻。
将参照图17来描述其细节。当用户U输入输入信息“请告诉我是否存在艺术家M1的视频”时，信息获取单元121获取输入信息“请告诉我是否存在艺术家M1的视频”，识别单元122通过使用上述方法根据输入信息“请告诉我是否存在艺术家M1的视频”来识别第一程序(“获取视频信息”的处理、对象“艺术家M1”以及“通知视频信息”的处理)。自动化处理单元125配置用于第一程序的执行的控制的自动化的设置。
在这种情况下，程序生成单元123可以向第一程序(“获取视频信息”的处理、对象“艺术家M1”以及“通知视频信息”的处理)添加自动化处理例程，使得第一程序被自动执行。自动化处理例程周期性地触发事件以执行“获取视频信息”的处理。在图17所示的示例中，每10分钟触发一次事件。然而，触发事件的间隔不限于10分钟。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的“获取视频信息”的处理的对象“艺术家M1”作为输入要素，并且获取与输入要素有关的“获取新闻”的处理作为第二相关要素。程序生成单元123通过用“获取新闻”的处理替换“播放视频”的处理来生成第二程序。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，当获取到艺术家M1的新闻时，执行控制单元128通知该新闻。
图18是示出第七模式的具体示例的图。此外，图19是示出关于第七模式的自动化的设置的图像的图。如图18所示，当用户U使用了(开始或结束使用)天气应用时，信息处理设备10响应于输入信息“天气应用的使用”来执行“获取天气信息”的处理和“通知天气信息”的处理。
此外，如图18所示，信息处理设备10在天气信息的获取定时提议诸如“我可以告诉你是否下雨吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“告诉用户是否下雨”的处理自动化。随后，信息处理设备10周期性地获取天气信息并且如果将会下雨则自动通知给用户。
将参照图19来描述其细节。当用户使用了(开始或结束使用)天气应用时，信息获取单元121获取输入信息“天气应用的使用”，识别单元122根据输入信息“天气应用的使用”来识别第一程序(“获取天气信息”的处理和“通知天气信息”的处理)。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的第一处理“获取天气信息”作为输入要素，并且获取与输入要素有关的条件“是否下雨”作为第一相关要素。程序生成单元123通过将条件“是否下雨”添加到“通知天气信息”的处理来生成第二程序。
在这种情况下，程序生成单元123可以向第二程序(“获取天气信息”的处理、条件“是否下雨”以及“通知天气信息”的处理)添加自动化处理例程，使得第二程序被自动执行。自动化处理例程周期性地触发事件以执行“获取天气信息”的处理。在图19所示的示例中，每10分钟触发一次事件。然而，触发事件的间隔不限于10分钟。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，执行控制单元128获取天气信息。如果天气信息指示会下雨，则向用户U通知天气信息。
图20是示出第八模式的具体示例的图。此外，图21是示出关于第八模式的自动化的设置的图像的图。如图20所示，当用户U“打开空调”时，信息处理设备10响应于输入信息“打开空调”来执行“打开空调”的处理。
此外，如图20所示，信息处理设备10在打开空调的处理的定时提议诸如“我可以在空调被打开的情况下打开空气循环风扇吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“在空调被打开时打开空气循环风扇”的处理自动化。随后，信息处理设备10在空调被打开时打开空气循环风扇(自动或通过用户操作)。
将参照图21来描述其细节。当用户输入输入信息“打开空调”时，信息获取单元121获取输入信息“打开空调”，识别单元122根据输入信息“打开空调”来识别第一程序(“打开空调”的处理)。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的处理“打开空调”作为输入要素，并且获取与输入要素有关的处理“打开空气循环风扇”作为第一相关要素。程序生成单元123使用“打开空调”的处理的完成作为事件，并且通过将“打开空气循环风扇”的处理作为要在检测到事件时执行的处理添加来生成第二程序。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，执行控制单元128在空调被打开时打开空气循环风扇。
图22是示出第九模式的具体示例的图。此外，图23是示出关于第九模式的自动化的设置的图像的图。如图22所示，当用户U“观看艺术家M1的视频”时，信息处理设备10响应于输入信息“观看艺术家M1的视频”来执行“提议告诉用户U是否存在艺术家M1的视频”的处理。
此外，如图22所示，信息处理设备10在下述的提议的定时提议诸如“我可以告诉你是否存在与艺术家M1有关的节目或新闻吗？”的自动化。当用户输入指示用户接受自动化的提议的答复“是的，请”时，信息处理设备10使“告诉用户是否存在与艺术家M1有关的节目或新闻”的处理自动化。随后，如果存在与艺术家M1有关的节目或新闻，则自动向用户U通知与艺术家M1有关的节目或新闻。
将参照图23来描述其细节。当用户U输入输入信息“观看艺术家M1的视频”时，信息获取单元121获取输入信息“观看艺术家M1的视频”，识别单元122通过使用上述方法根据输入信息“观看艺术家M1的视频”来识别第一程序(“播放视频”的处理、对象“艺术家M1”)。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的“播放视频”的处理的对象“艺术家M1”作为输入要素，并且获取与输入要素有关的处理“获取新闻”作为第二相关要素。程序生成单元123通过以下方式来生成第二程序：用“获取新闻”的处理来替换“播放视频”的处理、使用“获取新闻”的处理的完成作为事件以及将处理“通知”作为要在检测到事件时执行的处理添加。
在这种情况下，程序生成单元123可以向第二程序(处理“获取新闻”和处理“通知”)添加自动化处理例程，使得第二程序被自动执行。自动化处理例程周期性地触发事件以执行“获取新闻”的处理。在图11所示的示例中，每10分钟触发一次事件。然而，触发事件的间隔不限于10分钟。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，当获取到艺术家M1的新闻时，执行控制单元128通知该新闻。
图24是示出第10模式的具体示例的图。如图24所示，信息获取单元121根据日志信息等获取“在八点频繁使用空调”作为输入信息。识别单元122根据输入信息“在八点频繁使用空调”来识别第一程序(“打开空调”的处理)和条件“每天早晨八点”。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的第一处理“打开空调”作为输入要素，并且获取与输入要素有关的识别条件“每天早晨八点”作为第一相关要素。程序生成单元123通过将条件“每天早晨八点”添加到“打开空调”的处理来生成第二程序。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，执行控制单元128使空调在每天早晨八点打开。
图25是示出第11模式的具体示例的图。如图25所示，信息获取单元121根据日志信息等获取“经常在用户U使用空调时一起使用空气循环风扇”作为输入信息。识别单元122根据输入信息“经常在用户U使用空调时一起使用空气循环风扇”来识别第一程序(“打开空调”的处理)、条件“当空调被打开时”以及“打开空气循环风扇”的处理。
另一方面，程序生成单元123根据第一程序生成第二程序。例如，程序生成单元123获取包括在第一程序中的第一处理“打开空调”作为输入要素，并且获取与输入要素有关的处理“打开空气循环风扇”作为第一相关要素。程序生成单元123使用“打开空调”的处理的完成作为事件，并且通过将“打开空气循环风扇”的处理作为要在检测到事件时执行的处理添加来生成第二程序。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，执行控制单元128在空调被打开时打开空气循环风扇。
图26是示出第12模式的具体示例的图。如图26所示，信息获取单元121获取用户U与信息处理设备10之间的对话等，识别单元122根据对话等将“艺术家M1”识别为用户U的偏好。
另一方面，程序生成单元123生成第二程序。例如，程序生成单元123获取对象“艺术家M1”作为输入要素，并且获取与输入要素有关的处理“获取新闻”作为第一相关要素。程序生成单元123通过以下方式来生成第二程序：添加处理“获取新闻”、使用“获取新闻”的处理的完成作为事件以及将处理“通知”作为要在检测到事件时执行的处理添加。
在这种情况下，程序生成单元123可以向第二程序(处理“获取新闻”和处理“通知”)添加自动化处理例程，使得第二程序被自动执行。自动化处理例程周期性地触发事件以执行“获取新闻”的处理。触发事件之间的间隔不受限制。
随后，提议控制单元124向用户U提议生成的第二程序的执行的控制的自动化。在从用户U获得提议被接受的答复的情况下，自动化处理单元125使生成的第二程序的执行的控制的自动化。随后，当获取到艺术家M1的新闻时，执行控制单元128通知该新闻。注意，在第12模式的具体示例中，第一程序可以被视为“新闻的获取的通知”。仅需要将这样的第一程序与可以由用户使用和可以被信息处理设备10识别的应用或系统相关联。
如上所述，向用户U提议第二程序的执行的控制的自动化。如上所述，在当满足预定条件时不提议自动化的情况下，可以将与自动化有关的信息而不是自动化的提议推荐给用户U。例如，在用户U执行了预定输入操作(例如按下预定推荐按钮的操作)的情况下，推荐控制单元126可以向用户U推荐与提议有关的信息。
图27是示出与提议有关的信息的显示示例的图。参照图27，显示单元150显示包括与提议有关的信息的自动化推荐屏幕。参照图27，作为与提议有关的信息，“提议的内容”、“获取定时出现的次数”和“程序的生成次数”被显示。注意，与提议有关的信息可以包括以下中的至少任一个：“提议的内容”、“获取定时出现的次数”和“生成程序的次数”。可以通过对每个操作要素151执行的操作来开启/关闭每个提议的自动化。
此处，“获取定时出现的次数”是输入信息的获取定时出现的次数。在“提议的内容”是“请告诉我是否下雨”的情况下，“获取定时出现的次数”对应于用户U向信息处理设备10输入输入信息“请告诉我是否下雨”的次数。“程序的生成次数”是根据来自用户U的话音或用户U的手的移动来生成第二程序的次数。用户U使第二程序的执行的控制自动化的必要性随着程序的生成次数的增加而增加。
在存在多个提议的情况下，可以决定每个提议的优先级(例如提议顺序)。例如，推荐控制单元126基于以下中的至少任一个来推荐与多个提议中的每个提议有关的信息：多个提议中的相应的获取定时的次数和与相应的相关要素有关的软件的启动次数。例如，推荐控制单元126可以向出现较大的相应的获取定时的次数的提议给予高的优先级，或者可以向出现较大(或较小)的与相应的相关要素有关的软件的启动次数的提议给予高的优先级。
图28是示出基于日志分析结果(用户U的行为的分析结果)来识别事件与处理之间的对应关系的示例的图。图28示出了在用户关闭窗帘之后在预时时间内打开灯的情况。在这种情况下，识别单元122可以将事件“关闭窗帘”与处理“打开灯”之间的对应关系作为程序记录在存储单元130上。因此，当事件“关闭窗帘”发生时，自动打开灯。
除了是否在预定时间内执行处理之外或代替是否在预定时间内执行处理，还可以考虑用户的行为的频率。换言之，在检测到在事件发生之后执行的处理的预定频率或更大频率的情况下，识别单元122可以将事件与处理之间的对应关系作为程序记录在存储单元130上。在这种情况下，还可以减少用户注册程序的负担。
此时，优选的是，识别单元122基于记录的程序针对事件的发生让用户核对是否执行处理。让用户核对可以以任何方式进行。例如，可以通过语音输出或显示向用户询问问题，并且通过语音输入或图像捕获从用户获取答复。
注意，在存储单元130上记录程序的任何情况下，针对事件的发生可以询问用户关于是否执行处理的问题。此处，关于让用户核对，可以通过语音输出或显示以任何方式向用户询问问题。例如，在存储单元130将关闭窗帘的事件与打开灯的处理之间的对应关系作为程序记录的情况下，识别单元122可以使文本“我可以在窗帘被关闭之后打开灯吗？”被显示或以语音输出。
此外，“窗帘关闭”是“关闭窗帘”的释义，“开启灯”和“点灯”是“打开灯”的释义。因此，在记录用户的过去的话音内容的情况下，识别单元122可以选择用户最频繁讲话的表达。可替选地，在记录用户的过去的话音内容的情况下，识别单元122可以选择用户讲话的表达。
在识别单元122将事件与处理之间的对应关系作为程序记录在存储单元130上的情况下，可以根据处理的完成来检测事件的发生，所述处理的执行由执行控制单元128控制。例如，当由执行控制单元128控制基于来自用户的“请关闭窗帘”的话音的关闭窗帘的处理的执行并且关闭窗帘的事件发生时，例如，执行控制单元128可以响应于事件的发生来控制打开灯的处理的执行。
可替选地，可以根据通过用户的手部运动直接执行的处理的完成来检测事件的发生。例如，当直接通过用户的手部运动关闭窗帘并且发生关闭窗帘的事件时，执行控制单元128可以响应于事件的发生来控制打开灯的处理的执行。如上所述，各种模式被假设为事件发生模式。因此，可以说存在很高的事件发生的自由度。
接下来，将描述当事件发生时的提议生成操作的示例。图29是示出事件发生时的提议生成操作的第一示例的图。如图29所示，执行各种输入(例如语音输入、由传感器执行的检测、按下按钮和文本输入)(S11)。在这种情况下，事件ID与事件内容彼此相关联的数据被记录在事件DB(保留)131上(由公司提供的事件)。另一方面，事件ID与事件内容彼此相关联的数据还被记录在事件DB(用户)132上(由用户提供的事件)。
当检测到事件发生时(S12)，控制目标装置20根据事件来提取信息(例如，在语音“我想看狗的视频”的情况下，控制目标装置20根据语音来提取对象“狗”)(S13)，并且从事件DB(保留)131或事件DB(用户)132获取与事件内容对应的事件ID。在这种情况下，情景ID、动作内容和事件ID彼此相关联的数据被记录在情景DB(保留)133上(由公司开发的情景)。另一方面，动作ID、动作内容和事件ID彼此相关联的数据被记录在情景DB(用户)134上(由用户开发的情景)。
接下来，控制目标装置20从情景DB(保留)133或情景DB(用户)134获取与获取的事件ID对应的动作内容。控制目标装置20执行处理(例如，播放视频)(S14)。
具体地，动作内容与处理彼此相关联的数据被记录在处理DB 135上。控制目标装置20从处理DB 135获取与获取的动作内容对应的处理，并且基于获取的处理来执行处理(S17)。此外，当接收到处理的执行的通知时，控制目标装置20基于处理(例如视频的播放)和对象“狗”来生成自动化的提议的内容(S18)。为了生成自动化的提议的内容，可以参考用户的行为日志(LOG136)。
虽然图29示出了控制目标装置20执行处理的示例，但是信息处理设备10(代理)还可以具有控制处理的执行的功能。图30是示出事件发生时的操作的第二示例的图。如图30所示，代理的事件检测单元127可以执行事件检测(S12)，代理的执行控制单元128可以执行处理控制(S14)和处理(S17)，并且代理的程序生成单元123可以执行提议生成(S18)。在这种情况下，由代理控制其执行的处理可以由控制目标装置20(例如控制目标装置20-1至20-3中的任一个)执行。
接下来，将描述在程序注册时的提议生成操作的示例。图31是示出程序注册时的提议生成操作的示例的图。如图31所示，语音(例如“请八点叫醒我”)被输入(S20)。接下来，识别单元122对输入语音执行魔法词识别和语音识别处理，并且生成文本数据。在这种情况下，可以输入文字(例如“请八点叫醒我”)，而不是输入语音。
在这种情况下，事件ID与讲话风格彼此相关联的数据被记录在事件模板DB(保留)136上(由公司提供的事件模板)。识别单元122从事件模板DB(保留)136获取与文本数据对应的讲话风格，并且从事件DB(保留)131获取与讲话风格的事件ID对应的事件内容(S24)。识别单元122根据事件内容来获取条件“在八点”(S25)。
在不从事件DB(保留)131获取事件内容的情况下，识别单元122从事件DB(用户)132获取与根据文本数据提取的事件对应的事件ID(S26)。此外，识别单元122从情景DB(保留)133或情景DB(用户)134提取与根据文本数据提取的处理对应的动作内容(S27)。识别单元122根据动作内容来获取对象(我)(S32)。
接下来，识别单元122通过将所获取的事件ID与动作内容相关联来生成情景(程序)(S28)，并且针对情景让用户核对(S29)。接下来，在用户输入用于注册情景的指示的情况下，识别单元122将情景记录在情景DB(用户)134上。当情景的注册完成时，程序生成单元123基于条件“在八点”和对象“我”来生成自动化的提议的内容(S33)。对象“我”不必用于提议的内容的生成。
上面描述了根据实施方式的信息处理设备10的功能的细节。
[1.4.硬件配置示例]
接下来，将参照图32来描述根据本公开内容的实施方式的信息处理设备10的硬件配置。图32是示出根据本公开内容的实施方式的信息处理设备10的硬件配置示例的框图。
如图32所示，信息处理设备10包括中央处理单元(CPU)901、只读存储器(ROM)903以及随机存取存储器(RAM)905。此外，信息处理设备10可以包括主总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923以及通信设备925。另外，信息处理设备10可以根据需要包括成像设备933和传感器935。可替选地或者除了CPU 901之外，信息处理设备10可以包括诸如数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路。
CPU 901用作算术处理设备和控制设备，并且根据记录在ROM 903、RAM905、存储设备919或可移除记录介质927中的各种程序来控制信息处理设备10的全部操作或部分操作。ROM 903存储由CPU 901使用的程序、操作参数等。RAM905暂时存储CPU 901执行时使用的程序和执行这样的程序时视情况改变的参数。CPU 901、ROM903和RAM905经由由诸如CPU总线的内部总线配置的主总线907相互连接。此外，主总线907经由桥接器909连接至诸如外围部件互连/接口(PCI)总线的外部总线911。
输入设备915是由用户操作的设备如鼠标、键盘、触摸屏、按钮、开关和控制杆。输入设备915可以包括被配置成检测用户的语音的麦克风。输入设备915可以是使用例如红外线辐射和另一类型的无线电波的遥控设备。可替选地，输入设备915可以是对应于信息处理设备10的操作的外部连接装置929如移动电话。输入设备915包括输入控制电路，输入控制电路基于由用户输入的信息生成输入信号以将生成的输入信号输出至CPU 901。用户通过操作输入设备915输入各种类型的数据并且向信息处理设备10指示处理操作。此外，成像设备933(稍后将描述)可以通过捕获用户的手的移动的图像或捕获用户的手指用作输入设备。在这种情况下，可以根据手的移动或手指的方向来决定指向位置。
输出设备917包括可以将获取的信息在视觉上或听觉上报告给用户的设备。输出设备917可以是例如诸如液晶显示器(LCD)、等离子显示面板(PDP)、有机电致发光(EL)显示器、投影仪或全息显示设备的显示设备、诸如扬声器或耳机的音频输出设备或打印机。输出设备917以文本或视频如图像或声音如语音和音频声音的形式输出通过由信息处理设备10执行的处理所获得的结果。此外，输出设备917可以包括用于照亮周围环境的灯等。
存储设备919是用于数据存储的作为信息处理设备10的存储单元的示例的设备。存储设备919包括例如磁存储单元设备如硬盘驱动器(HDD)、半导体存储设备、光存储设备或磁光存储设备。存储单元919中存储有各种数据和由CPU 901执行的程序以及从外部获取的各种数据。
驱动器921是用于诸如磁盘、光盘、磁光盘和半导体存储器的可移除记录介质927的读写器，并且驱动器921被内置在信息处理设备10中或者在外部附接至信息处理设备10。驱动器921读出记录在安装的可移除记录介质927上的信息，并且将信息输出至RAM 905。驱动器921将记录写入安装的可移除记录介质927中。
连接端口923是用于将装置直接连接至信息处理设备10的端口。连接端口923可以是USB(通用串行总线)端口、IEEE 1394端口和小型计算机系统接口(SCSI)端口等。此外，连接端口923可以是RS-232C端口、光学音频终端、HDMI(注册商标)(高清晰度多媒体接口)端口等。外部连接装置929与连接端口923的连接使得可以在信息处理设备10与外部连接装置929之间交换各种数据。
通信设备925是包括例如用于连接至通信网络931的通信设备的通信接口。通信设备925可以是例如有线或无线局域网(LAN)、蓝牙(注册商标)或用于无线USB(WUSB)的通信卡。通信设备925还可以是例如用于光学通信的路由器、用于非对称数字用户线路(ADSL)的路由器或用于各种类型的通信的调制解调器。例如，通信设备925在因特网中发送和接收信号，或者通过使用诸如TCP/IP的预定协议向另一通信设备发送信号并且从另一通信设备接收信号。通信设备925连接至的通信网络931是通过有线连接或无线连接建立的网络。通信网络931是例如因特网、家庭LAN、红外线通信、无线电通信或卫星通信。
成像设备933是以下设备：通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器和诸如透镜的各种构件来捕获真实空间的图像，并且生成捕获图像，所述透镜用于控制图像传感器上的对象图像的图像形成。成像设备933可以捕获静止图像或移动图像。
传感器935是诸如测距传感器、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器以及声音传感器的各种传感器。传感器935获取关于信息处理设备10的状态的信息如信息处理设备10的壳体的姿势以及关于信息处理设备10周围的环境的信息如信息处理设备10周围的光强度和噪音。传感器935可以包括接收GPS信号以测量设备的纬度、经度和高度的全球定位系统(GPS)传感器。
<2.结论>
如上所述，根据本公开内容的实施方式，提供了信息处理设备，其包括：信息获取单元，其被配置成获取用户的输入信息；以及提议控制单元，其被配置成在输入信息的获取定时提议与输入信息有关的控制的自动化。此处，提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与包括在根据输入信息识别的第一程序中的输入要素有关的第一相关要素，以及用与输入要素有关的第二相关元素替换输入要素。
根据这样的配置，可以提供能够在对用户来说方便的定时提议程序的执行的自动化的技术。
虽然上面参照附图描述了本公开内容的优选实施方式，然而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种变型和修改，并且应当理解，各种变型和修改将自然地落入本公开内容的技术范围内。
此外，还可以创建用于使硬件如嵌入在计算机中的CPU、ROM和RAM执行与控制单元120的功能等同的功能的程序。此外，可以提供其上记录有程序的计算机可读记录介质。
注意，各个结构要素的位置未被具体限制，只要实现信息处理设备10的操作即可。作为具体示例，识别单元122、程序生成单元123等可以设置在经由通信网络931连接的服务器(未示出)中。换言之，可以通过使用所谓的云计算来实现信息处理设备10。在这种情况下，信息处理设备10对应于经由通信网络931与服务器连接的客户端。
识别单元122、程序生成单元123等可以安装在不同的服务器中。可替选地，识别单元122和程序生成单元123中之一可以安装在服务器中，并且识别单元122和程序生成单元123中的另一个可以安装在客户端的硬件中。可替选地，信息处理设备10可以由安装在服务器中的识别单元122和程序生成单元123实现，并且信息处理设备10不必包括其他结构元件。
注意，实施方式还包括信息处理设备10，从信息处理设备10省略除了提议控制单元124之外的结构元件。换言之，提议控制单元124仅需要在输入信息的获取定时提议与输入信息有关的控制的自动化。
用户的输入信息不限于与用户直接有关的信息。由与用户有关的对象间接输入的信息也可以被视为用户的输入信息。具体地，假设在指示用户拥有的猫的猫食用完的环境信息被获取为输入信息的情况下，向用户提议猫食的补充的自动化。可替选地，假设在指示用户栽种的室内植物濒死的环境信息被获取为输入信息的情况下，向用户提议植物的浇水的自动化。毋庸赘言，还可以将与用户相关联的人假设为对象。人的示例包括住在同一房屋内的家庭成员和朋友。换言之，在本公开内容中，用户的数目可以是两个或更多个。还可以将不同于人的对象假设为用户的一部分。
此外，本说明书中所描述的效果仅是说明性或示例性的效果，并且不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本公开内容的技术可以实现基于本说明书的描述对于本领域技术人员而言清楚的其他效果。
另外，本技术还可以被配置成如下。
(1)一种信息处理设备，包括：
信息获取单元，其被配置成获取用户的输入信息；以及
提议控制单元，其被配置成在所述输入信息的获取定时提议与所述输入信息有关的控制的自动化，
其中，所述提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与根据所述输入信息识别的所述第一程序中包括的输入要素有关的第一相关要素；以及用与所述输入要素有关的第二相关要素替换所述输入要素。
(2)根据(1)所述的信息处理设备，
其中，所述获取定时是基于以下情境中的至少一个的定时：获取所述输入信息期间的情境、获取所述输入信息之前的情境以及获取所述输入信息之后的情境。
(3)根据(1)或(2)所述的信息处理设备，
其中，所述输入要素包括所述第一程序中所包括的第一处理。
(4)根据(3)所述的信息处理设备，
其中，所述第一相关要素包括与所述第一处理有关的条件以及与所述第一处理有关的第二处理中的至少之一。
(5)根据(1)至(4)中任一项所述的信息处理设备，
其中，所述输入要素包括所述第一程序中所包括的第三处理的对象。
(6)根据(5)所述的信息处理设备，
其中，所述第二相关要素包括与所述第三处理的对象有关的第四处理。
(7)根据(1)至(6)中任一项所述的信息处理设备，包括：
自动化处理单元，其被配置成在从所述用户获得所述自动化的提议被接受的答复的情况下，使所述第二程序的执行的控制自动化。
(8)根据(7)所述的信息处理设备，包括：
执行控制单元，其被配置成根据所述自动化来控制所述第二程序的执行。
(9)根据(7)或(8)所述的信息处理设备，
其中，所述提议控制单元在预定条件被满足的情况下不提议所述自动化。
(10)根据(9)所述的信息处理设备，
其中，所述预定条件包括以下条件中的至少一个：从所述用户获得与所述输入信息有关的控制的暂时执行的提议被接受的答复多于第一次数；以及与所述输入信息有关的控制的暂时执行被提议多于第二次数。
(11)根据(1)至(10)中任一项所述的信息处理设备，
其中，在与所述输入要素有关的相关要素存在多个候选的情况下，所述提议控制单元基于与所述多个候选中的每个候选有关的软件的启动次数来提议所述自动化。
(12)根据(1)至(11)中任一项所述的信息处理设备，包括：
推荐控制单元，其被配置成在所述用户执行了预定输入操作的情况下向所述用户推荐与提议有关的信息。
(13)根据(12)所述的信息处理设备，
其中，与提议有关的信息包括以下信息中的至少任一个：所述提议的内容、所述获取定时的出现次数以及所述第二程序的生成次数。
(14)根据(12)或(13)所述的信息处理设备，
其中，在存在多个提议的情况下，所述推荐控制单元基于以下信息中的至少任一个来推荐与所述多个提议中的每个提议有关的信息：所述多个提议中的相应获取定时的次数和与相应的相关要素有关的软件的启动次数。
(15)根据(1)至(14)中任一项所述的信息处理设备，
其中，所述输入信息包括以下信息中的至少任一个：来自应用软件的输入信息、来自系统软件的输入信息、用户的语音、与所述用户的行为有关的图像、通过由所述用户操作的装置输入的信息以及由所述用户操作的装置的操作。
(16)根据(1)至(15)中任一项所述的信息处理设备，
其中，所述第一程序和所述第二程序包括与彼此独立的软件有关的程序。
(17)根据(1)至(15)中任一项所述的信息处理设备，
其中，所述第一程序和所述第二程序包括与同一软件有关的程序。
(18)根据(16)或(17)所述的信息处理设备，
其中，所述软件包括系统软件和应用软件中的至少任一个。
(19)一种信息处理方法，包括：
获取用户的输入信息；以及
由处理器在所述输入信息的获取定时提议与所述输入信息有关的控制的自动化，
其中，所述信息处理方法还包括提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与根据所述输入信息识别的所述第一程序中包括的输入要素有关的第一相关要素；以及用与所述输入要素有关的第二相关要素替换所述输入要素。
(20)一种使计算机用作信息处理设备的程序，所述信息处理设备包括：
信息获取单元，其被配置成获取用户的输入信息；以及
提议控制单元，其被配置成在所述输入信息的获取定时提议与所述输入信息有关的控制的自动化，
其中，所述提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与根据所述输入信息识别的所述第一程序中包括的输入要素有关的第一相关要素；以及用与所述输入要素有关的第二相关要素替换所述输入要素。
附图标记列表
10 信息处理设备
20 控制目标装置
30 服务器设备
111 声音输出单元
113 声音采集单元
114 成像单元
115 距离检测单元
121 信息获取单元
122 识别单元
123 程序生成单元
124 提议控制单元
125 自动化处理单元
126 推荐控制单元
127 事件检测单元
128 执行控制单元
120 控制单元
130 存储单元
140 通信单元
150 显示单元

Claims (20)

1.一种信息处理设备，包括：
信息获取单元，其被配置成获取用户的输入信息；以及
提议控制单元，其被配置成在所述输入信息的获取定时提议与所述输入信息有关的控制的自动化，
其中，所述提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与根据所述输入信息识别的所述第一程序中包括的输入要素有关的第一相关要素；以及用与所述输入要素有关的第二相关要素替换所述输入要素。
2.根据权利要求1所述的信息处理设备，
其中，所述获取定时是基于以下情境中的至少一个的定时：获取所述输入信息期间的情境、获取所述输入信息之前的情境以及获取所述输入信息之后的情境。
3.根据权利要求1所述的信息处理设备，
其中，所述输入要素包括所述第一程序中所包括的第一处理。
4.根据权利要求3所述的信息处理设备，
其中，所述第一相关要素包括与所述第一处理有关的条件以及与所述第一处理有关的第二处理中的至少之一。
5.根据权利要求1所述的信息处理设备，
其中，所述输入要素包括所述第一程序中所包括的第三处理的对象。
6.根据权利要求5所述的信息处理设备，
其中，所述第二相关要素包括与所述第三处理的对象有关的第四处理。
7.根据权利要求1所述的信息处理设备，包括：
自动化处理单元，其被配置成在从所述用户获得所述自动化的提议被接受的答复的情况下，使所述第二程序的执行的控制自动化。
8.根据权利要求7所述的信息处理设备，包括：
执行控制单元，其被配置成根据所述自动化来控制所述第二程序的执行。
9.根据权利要求7所述的信息处理设备，
其中，所述提议控制单元在预定条件被满足的情况下不提议所述自动化。
10.根据权利要求9所述的信息处理设备，
其中，所述预定条件包括以下条件中的至少一个：从所述用户获得与所述输入信息有关的控制的暂时执行的提议被接受的答复多于第一次数；以及与所述输入信息有关的控制的暂时执行被提议多于第二次数。
11.根据权利要求1所述的信息处理设备，
其中，在与所述输入要素有关的相关要素存在多个候选的情况下，所述提议控制单元基于与所述多个候选中的每个候选有关的软件的启动次数来提议所述自动化。
12.根据权利要求1所述的信息处理设备，包括：
推荐控制单元，其被配置成在所述用户执行了预定输入操作的情况下向所述用户推荐与提议有关的信息。
13.根据权利要求12所述的信息处理设备，
其中，与提议有关的信息包括以下信息中的至少任一个：所述提议的内容、所述获取定时的出现次数以及所述第二程序的生成次数。
14.根据权利要求12所述的信息处理设备，
其中，在存在多个提议的情况下，所述推荐控制单元基于以下信息中的至少任一个来推荐与所述多个提议中的每个提议有关的信息：所述多个提议中的相应获取定时的次数和与相应的相关要素有关的软件的启动次数。
15.根据权利要求1所述的信息处理设备，
其中，所述输入信息包括以下信息中的至少任一个：来自应用软件的输入信息、来自系统软件的输入信息、用户的语音、与所述用户的行为有关的图像、通过由所述用户操作的装置输入的信息以及由所述用户操作的装置的操作。
16.根据权利要求1所述的信息处理设备，
其中，所述第一程序和所述第二程序包括与彼此独立的软件有关的程序。
17.根据权利要求1所述的信息处理设备，
其中，所述第一程序和所述第二程序包括与同一软件有关的程序。
18.根据权利要求16所述的信息处理设备，
其中，所述软件包括系统软件和应用软件中的至少任一个。
19.一种信息处理方法，包括：
获取用户的输入信息；以及
由处理器在所述输入信息的获取定时提议与所述输入信息有关的控制的自动化，
其中，所述信息处理方法还包括提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与根据所述输入信息识别的所述第一程序中包括的输入要素有关的第一相关要素；以及用与所述输入要素有关的第二相关要素替换所述输入要素。
20.一种使计算机用作信息处理设备的程序，所述信息处理设备包括：
信息获取单元，其被配置成获取用户的输入信息；以及
提议控制单元，其被配置成在所述输入信息的获取定时提议与所述输入信息有关的控制的自动化，
其中，所述提议控制单元被配置成提议通过对第一程序执行以下操作中的至少一个而获得的第二程序的执行的控制的自动化：添加与根据所述输入信息识别的所述第一程序中包括的输入要素有关的第一相关要素；以及用与所述输入要素有关的第二相关要素替换所述输入要素。
CN201780002086.3A 2016-04-26 2017-01-24 信息处理设备、信息处理方法和程序 Pending CN107735752A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016088022 2016-04-26
JP2016-088022 2016-04-26
PCT/JP2017/002215 WO2017187677A1 (ja) 2016-04-26 2017-01-24 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN107735752A true CN107735752A (zh) 2018-02-23

Family

ID=60161467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002086.3A Pending CN107735752A (zh) 2016-04-26 2017-01-24 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (1) US10838741B2 (zh)
EP (1) EP3451167A4 (zh)
JP (1) JP6720983B2 (zh)
CN (1) CN107735752A (zh)
WO (1) WO2017187677A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
CN109785845B (zh) * 2019-01-28 2021-08-03 百度在线网络技术（北京）有限公司 语音处理方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090183178A1 (en) * 2008-01-15 2009-07-16 Mitsubishi Electric Corporation Application execution terminal
CN102770860A (zh) * 2009-12-30 2012-11-07 西班牙电信公司 用于在语义数据与微件的运行之间建立联系的方法
CN102985894A (zh) * 2010-07-15 2013-03-20 惠普发展公司，有限责任合伙企业 第一响应和第二响应
US20150161708A1 (en) * 2010-09-09 2015-06-11 Ebay Inc. Mining product recommendation from query reformulations
JP2015195035A (ja) * 2015-05-07 2015-11-05 シャープ株式会社 制御装置、および制御方法
US20150382047A1 (en) * 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions
US20160091871A1 (en) * 2013-11-15 2016-03-31 Apple Inc. Automated environment providing feedback based on user routine

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP2011113401A (ja) * 2009-11-27 2011-06-09 Sony Corp 情報処理装置、情報処理方法、コンピュータプログラム及び情報処理サーバ
US8806483B2 (en) * 2011-04-13 2014-08-12 International Business Machines Corporation Determining starting values for virtual machine attributes in a networked computing environment
JP6014568B2 (ja) * 2013-09-27 2016-10-25 シャープ株式会社 制御装置、制御方法、制御システム、制御プログラム、および報知機器
US10416625B2 (en) * 2013-11-15 2019-09-17 Apple Inc. Aggregating user routines in an automated environment
US20170097743A1 (en) * 2015-10-05 2017-04-06 Quixey, Inc. Recommending Applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090183178A1 (en) * 2008-01-15 2009-07-16 Mitsubishi Electric Corporation Application execution terminal
CN102770860A (zh) * 2009-12-30 2012-11-07 西班牙电信公司 用于在语义数据与微件的运行之间建立联系的方法
CN102985894A (zh) * 2010-07-15 2013-03-20 惠普发展公司，有限责任合伙企业 第一响应和第二响应
US20150161708A1 (en) * 2010-09-09 2015-06-11 Ebay Inc. Mining product recommendation from query reformulations
US20160091871A1 (en) * 2013-11-15 2016-03-31 Apple Inc. Automated environment providing feedback based on user routine
US20150382047A1 (en) * 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions
JP2015195035A (ja) * 2015-05-07 2015-11-05 シャープ株式会社 制御装置、および制御方法

Also Published As

Publication number Publication date
EP3451167A1 (en) 2019-03-06
US10838741B2 (en) 2020-11-17
JP6720983B2 (ja) 2020-07-08
JPWO2017187677A1 (ja) 2019-02-28
EP3451167A4 (en) 2019-11-27
WO2017187677A1 (ja) 2017-11-02
US20180165099A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
US10514881B2 (en) Information processing device, information processing method, and program
US10068130B2 (en) Methods and devices for querying and obtaining user identification
CN105320404B (zh) 用于执行功能的设备和方法
CN102708120B (zh) 生活流式传输
CN104092936B (zh) 自动对焦方法及装置
JP6275706B2 (ja) テキスト認識駆動の機能性
JP6773037B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN104919396B (zh) 在头戴式显示器中利用身体握手
CN108965954A (zh) 使用用于减少视频的回放时间的智能分析的终端
CN108833262B (zh) 会话处理方法、装置、终端及存储介质
US20190012347A1 (en) Information processing device, method of processing information, and method of providing information
CN107666536A (zh) 一种寻找终端的方法和装置、一种用于寻找终端的装置
CN109257490A (zh) 音频处理方法、装置、穿戴式设备及存储介质
CN107735752A (zh) 信息处理设备、信息处理方法和程序
US10650832B2 (en) Information processing device and information processing method
JP2019114272A (ja) 端末装置、システム、情報提示方法およびプログラム
CN115086094B (zh) 设备选择方法及相关装置
US20210225381A1 (en) Information processing device, information processing method, and program
CN109272549A (zh) 一种红外热点的位置确定方法及终端设备
JP2022070805A (ja) プログラム、情報処理装置及び方法
CN111479060B (zh) 图像采集方法、装置、存储介质及电子设备
CN115065747A (zh) 提醒方法、智能终端及存储介质
CN118555369A (zh) 一种智能门锁的回复方法、装置、计算机设备及存储介质
CN108830917A (zh) 一种信息生成方法、终端及计算机可读存储介质
JPWO2016199463A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180223

WD01 Invention patent application deemed withdrawn after publication