CN109739469B - 用户装置的情景感知服务提供方法和设备 - Google Patents

Abstract

提供了一种用户装置的情景感知服务提供方法和设备，所述情景感知服务提供方法和设备根据用户定义的规则识别用户情景并执行与用户情景相应的动作，并且将执行结果交互地反馈给用户。用于提供情景感知服务的方法包括：接收用户输入，用户输入为文本输入和语音输入中的至少一个；基于接收的用户输入识别包括条件和与所述条件相应的动作的规则；激活规则以检测与所述规则的条件相应的情景；当检测到所述情景时执行与所述条件相应的动作。

Description

用户装置的情景感知服务提供方法和设备

本申请是申请日为2013年9月22日，申请号为“201310432058.9”，标题为“用户装置的情景感知服务提供方法和设备”的发明专利申请的分案申请。

技术领域

本发明涉及情景感知服务(Context Aware Service)提供方法和装置。更具体地讲，本发明涉及用于识别用户情景并根据用户定义的规则执行与所述用户情景相应的动作并且将执行结果交互式地反馈给用户的情景感知服务提供方法和装置。

背景技术

随着数字技术的进步，出现了各种类型的能够通信和处理数据的用户装置(例如，蜂窝通信终端、个人数字助理(PDA)、电子记事本、智能电话和平板个人计算机(PC))。近来，本着移动融合趋势，用户装置逐渐演变为集成有各种功能的多功能装置。例如，最新的用户装置集成了包括语音和视频电话功能、消息传送功能(包括短消息服务/多媒体消息服务(SMS/MMS)和电子邮件)、导航功能、图片捕获功能、广播播放功能、多媒体(例如，音频和视频)播放功能、互联网访问功能、即时消息功能、社交网络服务(SMS)功能等的各种功能。

同时，在利用被研发成以数字信息的形式记录个人的日常生活的各种生活日志技术的情景感知服务(CAS)方面存在日益增长的兴趣。CAS的特点在于：根据由服务对象定义的情景的变化来实现关于是否提供服务的确定以及关于将被提供的服务内容的确定。术语“情景”指的是在确定服务对象定义的服务行为时使用的信息，所述信息包括服务提供时序、是否提供服务、服务的目标、服务提供位置等。这种技术能够记录描绘个人行为的各种类型的信息并基于记录的信息提供CAS。

然而，根据现有技术的CAS方法是在假设基于用于收集关于个人信息的领域的各种传感器装置的繁琐安装的情况下实现的。根据现有技术的CAS系统由用户装置和服务器构成，其中，所述用户装置用于借助于传感器收集数据，所述服务器用于分析从所述用户装置获取的数据以建立情景并基于所述情景执行服务。例如，由于用户装置必须配备各种传感器并且必须与服务器交互操作以向用户提供基于情景的服务，所以为了实现根据现有技术的CAS系统，存在高的系统实现成本和设计复杂度的障碍。

根据现有技术的CAS系统具有与以下方面相关联的缺点：由于受限于经由用户设备收集的信息并缺乏有效的学习过程而难以有效地提供基于情景的服务。例如，根据现有技术的CAS系统可以仅利用由设备制造商定义的规则向用户提供基于情景的服务，从而没有满足所有用户的需求。因为用户需要执行额外的程序和/或执行复杂的操作以使用基于情景的服务，所以根据现有技术的CAS系统具有用户访问性低的缺点。此外，根据现有技术的CAS系统局限于单一情景感知方案，从而在通过注意到各种情景设定条件时不具有灵活性。

因此，需要能够支持具有用户定义的一个或多个规则的CAS的CAS方法和装置。

上述信息仅呈现为用于帮助本公开的理解的背景技术信息。至于上述任何内容是否可用作对于本发明的现有技术，没有确定且没有断言。

发明内容

本发明的多个方面将至少解决上述问题和/或缺点并将至少提供以下描述的优点。因此，本发明的一方面提供了一种能够支持具有由用户定义的一个或多个规则的情景感知服务(CAS)的CAS方法和设备。

本发明的另一方面提供了一种能够按照在终端感知根据由用户定义的规则所确定的用户的情形的方式将基于一个或多个规则所收集的情景信息反馈给用户并执行与所述用户的情形相应的动作的CAS方法和设备。

根据本发明的另一方面提供了一种能够允许用户通过将基于自然语言的文本和/或语音输入到用户装置来定义规则(或情形)、用于执行规则的命令和将基于规则执行的动作的CAS方法和设备。

本发明的另一方面提供一种能够按以下方式扩展CAS支持性的CAS方法和设备：在用户装置上使用基于自然语言的文本或语音来定义规则、命令和动作，识别基于自然语言的文本或语音，并执行根据用户装置的运动而被选择的规则。

本发明的另一方面提供了一种的能够配置规则的多个条件、感知与各个条件相应的多个情景以及执行与各个情景相应的多个动作的CAS方法和设备。

本发明的另一方面提供了一种能够在定义规则时根据用户的喜好配置一个或多个条件的CAS方法和设备。

本发明的另一方面提供了一种能够通过实现优化的CAS环境来提高用户的便利性和装置的可用性的CAS方法和装置。

根据本发明的一方面，提供了一种用于提供用户装置的情景感知服务的方法。情景感知服务提供方法包括：接收用户输入，所述用户输入为文本输入和语音输入中的至少一个；基于接收的用户输入识别包括条件和与所述条件相应的动作的规则，所述用户输入为文本输入和语音输入中的一个；激活规则以检测与所述规则的条件相应的情景；当检测到所述情景时执行与所述条件相应的动作。

根据本发明的另一方面，提供了一种用于提供用户装置的情景感知服务的方法。情景感知服务提供方法包括：提供用于配置规则的用户接口；通过用户接口接收基于自然语言的语音输入和基于自然语言的文本输入中的至少一个；使用从用户输入识别的条件和动作来配置规则；激活规则以检测与所述规则的条件相应的事件；和当检测到所述事件时，执行与所述条件相应的动作。

根据本发明的另一方面，提供了一种用于提供用户装置的情景感知服务的方法。所述方法包括：接收用于使用基于自然语言的语音或文本配置规则的用户输入；根据用户输入配置规则；接收用于激活规则的命令，所述命令为基于自然语言的语音、基于自然语言的文本、用户装置的运动检测事件、呼入声音的接收和呼入消息的接收中的一个；执行与所述命令相应的规则；检查在所述规则中指定的在内部和外部发生的至少一个条件；当规则中指定的至少一个条件被达到时执行与至少一个被达到的条件中的至少一个相应的至少一个动作。

根据本发明的另一方面，提供了一种用于提供用户装置的情景感知服务的方法。情景感知服务提供方法包括：定义规则；接收为执行所述规则而输入的命令；响应于所述命令来执行规则；检查与所述规则相应的条件；当检测到与所述规则相应的条件时执行至少一个动作。

根据本发明的另一方面，提供了一种用户装置的情景感知服务提供方法。所述情景感知服务提供方法包括：监视以检测在规则被执行的状态下是否发生事件；当检测到事件时提取被指定用于执行动作的功能；根据所述功能来执行所述动作；反馈与所述动作的执行相关的信息；当没有检测到事件时确定当前情形是否达到规则解除条件；当当前情形达到规则解除条件时解除所述规则。

根据本发明的另一方面，一种非瞬时计算机可读存储介质存储通过处理器执行以上方法的程序。

根据本发明的另一方面，提供了一种用户装置。所述用户装置包括：存储单元，存储包括条件和与所述条件相应的动作的规则；显示单元，显示用于接收在规则被激活的状态下的用户输入和执行信息的用户界面以及动作的执行结果；控制单元，控制基于用户输入识别包括条件和动作的规则，控制激活规则以检测与所述规则的条件相应的情景，并且当所述情景被检测到时执行与所述条件相应的动作，其中，用户输入为文本输入和语音输入中的至少一个。

根据本发明的另一方面，提供了一种用户装置。所述用户装置包括：规则配置模块，被计算机实现，用于接收用户输入并用于基于用户输入识别包括条件和与所述条件相应的动作的规则，用户输入为基于自然语言的语音输入和基于自然语言的文本输入中的至少一个；规则执行模块，被计算机实现，用于接收用来激活规则的命令并用于执行与所述命令相应的规则，其中，所述命令为基于自然语言的语音、基于自然语言的文本、用户装置的运动检测事件、呼入声音的接收和呼入消息的接收中的一个；条件检查模块，被计算机实现，用于检测与规则中指定的条件相应的情景；动作执行模块，计算机实现，用于当所述情景被检测到时执行与所述条件相应的动作。

根据本发明的另一方面，提供了一种非瞬时计算机可读存储介质。非瞬时计算机可读存储介质包括一种程序，当该程序被执行时促使至少一个处理器执行包括以下处理的方法：根据用户输入定义用于情景感知服务的规则；当接收到用于执行规则的命令时执行与所述命令相应的规则；当规则中指定的条件被达到时执行与所述条件相应的动作。

根据本发明的又一方面，提供了一种非瞬时计算机可读存储介质。所述计算机可读存储介质包括一种程序，当该程序被执行时促使至少一个处理器执行包括以下处理的方法：接收用户输入，所述用户输入为文本输入和语音输入中的至少一个；基于接收的用户输入识别包括条件和与所述条件相应的动作的规则；激活规则以检测与所述规则的条件相应的情景；当检测到所述情景时执行与所述条件相应的动作。

通过下面结合附图进行的公开了本发明的示例性实施例的详细描述，本发明的其它方面、优点和显着特征对本领域技术人员来说将变得清楚。

附图说明

通过以下结合附图进行的描述，本发明的特定示例性实施例的以上合其它方面、特征和优点将更清楚，其中：

图1是示出根据本发明的示例性实施例的用户装置的配置的框图；

图2是示出根据本发明的示例性实施例的用户装置的情景感知服务(CAS)提供方法的流程图；

图3A至图3K是示出根据本发明的示例性实施例的用于解释在用户装置中产生规则的操作的示例性屏幕的示图；

图4A至图4J是示出根据本发明的示例性实施例的用于解释在用户装置中产生规则的操作的示例性屏幕的示图；

图5A至图5E是示出根据本发明的示例性实施例的用于解释在用户装置中执行预定义规则的操作的示例性屏幕的示图；

图6是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图7是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图8是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图9是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图10是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图11是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图12是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图13是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图；

图14A和图14B是示出根据本发明的示例性实施例的用于解释在用户装置中暂时停止当前运行的规则的操作的示例性屏幕的示图；

图15A和图15B是示出根据本发明的示例性实施例的用于解释在用户装置中暂时停止当前运行的规则的操作的示例性屏幕的示图；

图16A至图16C是示出根据本发明的示例性实施例的用于解释在用户装置中暂时停止当前运行的规则的操作的示例性屏幕的示图；

图17是示出了根据本发明的示例性实施例的具有用户装置中的执行规则的指示的示例性屏幕的示图；

图18A和图18B是示出了根据本发明的示例性实施例的具有通知在用户装置中执行的规则的项的示例性屏幕的示图；

图19A和图19B是示出了根据本发明的示例性实施例的具有通知在用户装置中执行的规则的项的示例性屏幕的示图；

图20A至图20C是示出了根据本发明的示例性实施例的具有通知在用户装置中执行的规则的项的示例性屏幕的示图；

图21A和图21B是示出了根据本发明的示例性实施例的与在用户装置中通知执行规则的操作相关联的示例性屏幕的示图；

图22A至图22C是示出了根据本发明的示例性实施例的与在用户装置中终止当前运行的规则的操作相关联的示例性屏幕的示图；

图23A和图23B是示出了根据本发明的示例性实施例的与在用户装置中终止当前运行的规则的操作相关联的示例性屏幕的示图；

图24和图25是示出根据本发明的示例性实施例的在用户装置中终止CAS服务的情形的示图；

图26A和图26B是示出根据本发明的示例性实施例的与在用户装置中删除规则的操作相关联的示例性屏幕的示图；

图27是示出了根据本发明的示例性实施例的在用户装置中产生规则的过程的流程图；

图28是示出了根据本发明的示例性实施例的在用户装置中提供CAS的过程的流程图；

图29是示出了根据本发明的示例性实施例的在用户装置中提供CAS的过程的流程图；

图30是示出了根据本发明的示例性实施例的在用户装置中提供CAS的过程的流程图；

图31A至图31N是示出了根据本发明的示例性实施例的与在用户装置中产生规则的操作相关联的示例性屏幕的示图；

图32A至图32E是示出了根据本发明的示例性实施例的与在用户装置中执行规则的操作相关联的示例性屏幕的示图；

图33A至图33D是示出了根据本发明的示例性实施例的与在用户装置中暂停当前运行的规则的操作相关联的示例性屏幕的示图；

图34A至图34D是示出了根据本发明的示例性实施例的与在用户装置中终止当前运行的规则的操作相关联的示例性屏幕的示图。

在整个附图中，应该注意的是，相同的参考标号被用来描述相同或相似的元件、特征和结构。

具体实施方式

参照附图的以下描述被提供用于帮助由权利要求限定的本发明的示例性实施例及其等同物的全面理解。它包括各种帮助理解的具体细节，但是这些仅被认为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下可以对在此描述的实施例做出各种改变和修改。另外，为了清晰和简洁，可省略对公知功能和结构的描述。

在下面的描述和权利要求书中使用的术语和词语不限于书面含义，而是仅由发明人使用来实现本发明的清楚和简洁的理解。因此，本领域技术人员应该清楚的是，下面提供的本发明的示例性实施例的描述仅用于说明目的，而并不是用于限制由权利要求及其等同物限定的本发明的目的。

将理解的是，除非上下文另外明确指出，否则单数形式包括复数指代。因此，例如，参照“组件表面”包括参照这些表面中的一个或多个。

本发明的示例性实施例涉及用户装置的情景感知服务(CAS)提供方法和设备。

根据本发明的示例性实施例，用户装置能够根据由用户定义的一条或多条规则感知用户的不同情景。

根据本发明的示例性实施例，用户装置能够根据情景感知执行一个或多个动作，并且将情景信息作为执行动作的结果反馈给用户或预定的人。

根据本发明的示例性实施例，CAS提供方法和装置能够借助外部设备(例如，电视、电灯等)将情景信息反馈给用户和/或通过消息将情景信息发送到另一用户。

在本发明的各种示例性实施例中，可通过文本(例如，手写)或利用自然语言输入的语音定义规则。在本发明的各种示例性实施例中，与出于特定目的而发明的人工语言(或机器语言)相比，自然语言相应于人类使用的语言。

在本发明的各种实施例中，规则可响应于与规则相关联的命令的输入(或接收)而被激活。

在本发明的各种实施例中，可基于接收的用户输入识别或选择规则。被识别的规则可被激活以检测与所述规则的条件相应的情景。当检测到所述情景时，可执行与所述条件相应的动作。

在本发明的各种示例性实施例中，当规则被激活时，用户装置可监视或检测用户设备进行操作所在的情景。基于用户装置进行操作所在的监视或检测的情景，用户装置可确定或识别用户装置在与激活的规则相应的情景中进行操作。

在本发明的各种示例性实施例中，规则可由至少一个条件和至少一个动作组成，并且在下文描述产生规则的方法或处理。

在本发明的各种示例性实施例中，可响应于与规则相应的指令的接收执行预定规则。

在本发明的各种示例性实施例中，指令可包括借助各种输入装置(例如，触摸屏、键盘、麦克风等)输入的语音命令或命令语句或基于自然语言的文本。指令还可以包括用户装置中的变化(例如，手势、朝向等的变化)，其中，通过用户装置的各种传感器(例如，接近传感器、照度传感器、加速度传感器、陀螺传感器、语音传感器等)根据预定规则来检测所述变化。指令还可包括与预定规则相应的呼入消息或呼入声音的接收。指令还可包括与预定规则相应的用户(或用户装置)的地理位置的变化。

在本发明的各种示例性实施例中，用于执行规则的指令(例如，关于命令的定义、命令语句、用户装置的可感测行为、用于感测所述行为的传感器等)可按照输入基于自然语言的语音或文本的方式进行配置。

在本发明的各种示例性实施例中，作为执行规则的指令的一种类型的命令或命令句可以以在定义规则中包括的自然语言的部分(例如，词语)、部分语句或完整语句的形式被输入。

在本发明的各种示例性实施例中，语句可以是表达思想或情感的完整内容的最小表达单元，尽管它包括主语和谓语会是至关重要的，但是可省略主语和谓语中的任何一个。

在本发明的各种示例性实施例中，作为指令的一种类型用户装置的行为的检测可通过按定义的规则配置的一个或多个传感器的操作而被输入。

在本发明的各种示例性实施例中，动作能够包括当感知到当前运行的规则中指定的情形时用户装置执行的操作。

在本发明的各种示例性实施例中，动作能够包括通过控制内部组件(例如，显示单元、通信模块、扬声器)反馈关于相应规则中指定的情形的信息的操作控制(例如，内部操作控制)、通过控制外部组件(例如，电视机、电灯、外部扬声器)反馈关于相应规则中指定的情形的信息的操作控制(例如，外部操作控制)以及用于控制用户装置的内部组件和用户装置的外部组件两者的操作控制。

在本发明的各种示例性实施例中，CAS表示这样一种服务，在该服务中，用户装置感知在由用户定义的规则中指定的情形，执行与所述情形相应的动作，并向用户(或预定的人)提供作为动作执行的结果的关于所述情形的信息。情形信息包括在用户交互时可用的全部信息，诸如用户(或用户装置)位置、标识符、活动、状态和用户装置的应用。

在下文中参照附图描述根据本发明的示例性实施例的用户装置的配置和操作控制方法。需要注意的是，本发明的示例性实施例不限于根据下面的描述的用户装置的配置和操作控制方法，但本发明的示例性实施例可在不脱离本发明的范围的情况下用各种变化和改变来实现。

图1是示出根据本发明的示例性实施例的用户装置的配置的框图。

参照图1，用户装置100包括无线电通信单元110、输入单元120、触摸屏130、音频处理单元140、存储单元150、接口单元160、控制单元170和电源180。根据本发明的示例性实施例的用户装置100可利用或不利用图1中描述的和未描述的组件中的至少一个来实现。例如，如果根据本发明的示例性实施例的用户装置100支持图片捕获功能，则可包括相机模块(未示出)。类似地，如果用户装置100不具有广播接收和播放功能，则可省略一些功能模块(例如，无线电通信单元110的广播接收模块119)。

无线电通信单元110可包括能够使用户装置100与另一装置进行无线电通信的至少一个模块。例如，无线电通信单元110可包括蜂窝通信模块111、无线局域网(WLAN)模块113、短距离通信模块115、位置定位模块117和广播接收模块119。

蜂窝通信模块111能够与蜂窝通信网络的基站、外部装置和各种服务器(例如，集成服务器、提供商服务器、内容服务器、互联网服务器、云服务器)中的至少一个进行无线电信号的通信。所述无线电信号可携带语音电话数据、视频电话数据、文本/多媒体消息数据等。在控制单元170的控制下，蜂窝通信模块111能够连接到提供商服务器或内容服务器以下载关于CAS的各种规则。在控制单元170的控制下，蜂窝通信模块111能够将动作执行结果(例如，情形信息)发送到至少一个目标用户装置100。在控制单元170的控制下，蜂窝通信模块111还能够接收当在当前运行的规则中定义的条件或与当前运行的规则相关联的另外的条件被达到(例如，被满足)时所产生的消息。

WLAN模块113负责与接入点(AP)或另一用户装置100建立WLAN链接，并能够嵌入在用户装置100中或被实现为外部装置。存在各种可用的无线电互联网接入技术，诸如Wi-Fi、无线宽带(WiBro)、全球微波互联接入(WiMAX)、高速下行分组接入(HSDPA)等。WLAN模块113能够在连接到服务器的状态下接收关于CAS的各种类型的数据(例如，包括规则)。在已经与另一用户装置建立了WLAN链接的状态下，WLAN模块113能够根据用户的意图将各种数据(例如，包括规则)发送到所述另一用户装置并且从所述另一用户装置接收各种数据(例如，包括规则)。WLAN模块113还能够通过WLAN链接将关于CAS的各种数据(例如，包括规则)发送到云服务器并且从云服务器接收关于CAS的各种数据(例如，包括规则)。WLAN模块113还能够在控制单元170的控制下将动作执行结果(例如，情形信息)发送到至少一个目标用户装置。WLAN模块113还能够在控制单元170的控制下接收当在当前运行的规则中指定的条件被达到时所产生的消息。

短距离通信模块115负责用户装置100的短距离通信。存在各种可用的短距离通信技术，诸如蓝牙、低功耗蓝牙(BLE)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee和近场通信(NFC)等。当用户装置100连接到另一用户装置时，短距离通信模块115能够根据用户的意图将关于CAS的各种数据(包括规则)发送到所述另一用户装置并且从所述另一用户装置接收关于CAS的各种数据(包括规则)。

位置定位模块117负责对用户装置100的位置进行定位。位置定位模块117可包括全球定位系统(GPS)模块等。位置定位模块117从至少三个基站收集准确的距离信息和时间信息，并基于获取的信息执行三角测量以获取具有纬度、经度和高度的3维(3D)位置信息。位置定位模块117还能够基于来自三个或更多卫星的信号实时计算位置信息。可使用各种方法获取用户装置100的位置信息。

广播接收模块119通过广播信道(例如，卫星广播信道和地面广播信道)从外部广播管理服务器接收广播信号(例如，TV广播信号、无线电广播信号和数据广播信号)和/或关于广播的信息(例如，广播信道信息、广播节目信息和广播服务提供商信息)。

输入单元120响应用户输入产生用于控制用户装置100的操作的输入信号。输入单元120可包括键盘、圆顶(dome)开关、触摸板(例如，使用电容技术、电阻技术等)、旋钮(jogwheel)、滚轮开关(jog switch)、传感器(例如，语音传感器、接近传感器、照度传感器、加速度传感器和陀螺传感器)等。输入单元120可实现为外部按钮和/或触摸面板上的虚拟按钮。输入单元120能够响应于用于定义或执行规则(例如，指令)的用户输入(例如，文本输入、语音输入、用户装置运动输入等)产生输入信号。

触摸屏130是同时负责输入功能和输出功能的输入/输出装置，并包括显示面板131和触摸面板133。根据本发明的示例性实施例，如果在用户装置100的执行屏幕(例如，规则(条件和动作)配置屏幕、呼出电话拨叫屏幕、消息传送屏幕、游戏屏幕、图库屏幕等)被显示在显示面板131上的状态下触摸面板检测到用户的触摸手势(例如，一次或多次触摸、轻敲、拖动、轻扫、轻弹等)，则触摸屏130对控制单元170产生与触摸手势相应的输入信号。控制单元170识别触摸手势并根据触摸手势执行操作。例如，如果在规则配置屏幕被显示在显示面板131上的情况下在触摸面板133上检测到基于自然语言的文本写入的触摸手势，则控制单元170响应于所述触摸手势产生规则。

显示面板131显示(输出)由用户装置100处理的信息。例如，如果用户装置在电话模式下运行，则显示面板131显示电话用户界面(UI)或图形UI(GUI)。如果用户装置100在视频电话模式或图片捕获模式下运行，则显示面板131显示UI或GUI，其中，UI或GUI显示相机捕获的图片或通过通信信道接收的图片。根据本发明的示例性实施例，显示面板131能够显示与CAS操作相关的UI或GUI。例如，显示面板131能够响应于用户输入、动作执行状态和动作执行结果(例如，情形信息)提供显示规则配置和规则执行状态的各种UI或GUI。显示面板131还能够支持用于根据用户装置100的旋转方向(或朝向)在纵向模式和横向模式之间进行切换的显示模式切换功能。随后参照示例性屏幕描述显示面板131的操作。

显示面板131可实现为液晶显示器(LCD)、薄膜晶体管LCD(TFT LCD)、发光二极管(LED)、有机LED(OLED)、有源矩阵OLED(AMOLED)、柔性显示器、弯曲(banded)显示器、3维(3D)显示器等中的任何一种。显示面板131可实现为被光穿透的透明显示面板或半透明显示面板。

触摸面板133能够放置在显示面板131上，以检测在触摸屏130的表面上做出的用户触摸手势(例如，单点触摸手势和多点触摸手势)。如果在触摸屏130的表面上检测到用户触摸手势，则触摸面板133提取在触摸手势的位置处的坐标，并将坐标传送到控制单元170。触摸面板133检测由用户做出的触摸手势并对控制单元170产生与触摸手势相应的信号。控制单元170能够根据由触摸面板133发送的与检测到触摸手势的位置相关联的信号执行功能。

触摸面板133可被配置为将在显示面板131的特定位置施加的压力或显示面板131的特定位置处的电容变化转换成电输入信号。触摸面板133能够测量触摸输入的压力以及触摸的位置和大小。如果检测到触摸输入，则触摸面板133对触摸控制器(未示出)产生相应信号。触摸控制器(未示出)能够处理信号并将相应数据传输到控制单元170。按照这种方式，控制单元170能够确定显示面板131上的触摸区域。

音频处理单元140将从控制单元170接收的音频信号发送到扬声器(SPK)141并将音频信号(诸如通过麦克风(MIC)143输入的语音)发送到控制单元170。音频处理单元140能够处理语音/声音数据以通过扬声器141输出可听声波，并且能够处理包括语音的音频信号以对控制单元170产生数字信号。

扬声器141能够在电话模式、音频(视频)记录模式、语音识别模式、广播接收模式、拍照模式和CAS模式下输出由无线电通信单元110接收的或者存储在存储单元150中的音频。扬声器141还能够输出与在用户装置100中执行的功能(例如，规则执行、动作执行、情景信息反馈、呼入电话接收、呼出拨叫、拍照和媒体内容(例如，音频和视频)播放)相关联的音效。

麦克风143能够处理输入的声学信号，以在电话模式、音频(视频)记录模式、语音识别模式、广播接收模式、拍照模式和CAS模式等下产生语音数据。处理后的语音数据可被处理成将通过在电话模式下的蜂窝通信模块111被发送到基站的信号。可用各种噪声消除算法来实现麦克风143以消除在音频信号输入过程中出现的噪声。麦克风143能够处理用于规则定义和执行(指令)的用户输入(例如，基于自然语言的文本或语音输入)，以对控制单元170产生相应输入信号。

存储单元150能够存储与控制单元170的处理和控制操作相关联的程序并暂时保存输入/输出数据(例如，规则信息、指令信息、动作信息、情景信息、联系人信息、消息、媒体内容(例如，音频、视频和电子书)等)。存储单元150还能够存储用户装置功能的使用频率(例如，规则使用频率、指令使用频率、应用使用频率、数据(例如，电话号码、消息和媒体内容)、重要性率、优先级等)。存储单元150还能够存储与振动模式相关的数据和响应于通过输入单元120和/或触摸屏130做出的用户输入而输出的音效。根据本发明的示例性实施例，存储单元150能够存储映射表，所述映射表包括每个用户定义的规则的指令和每个规则的动作(例如，功能和应用)之间的映射以及规则终止条件。

存储单元150存储下述内容：用户装置100的操作系统(OS)；与触摸屏130的输入和显示控制操作、取决于规则(例如，条件)的情景感知的CAS控制操作(例如，包括条件和动作的规则)、根据规则的动作执行以及情景信息反馈相关联的程序；由程序半持久地或暂时地产生的数据。根据本发明的示例性实施例，存储单元150还能够存储用于支持CAS的设置信息。所述设置信息能够包括关于是支持基于语音的CAS还是支持基于文本的CAS的信息。设置信息还能够包括每个规则的至少一个条件和指定与条件相应的动作的规则。

可用闪速存储器类型、硬盘类型、micro类型、卡类型(例如，安全数字(SD)类型和极限数字(XD)卡类型)存储器、随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦除PROM(EEPROM)、磁性RAM(MRAM)、磁盘和光盘类型存储器等中的至少一种的存储介质来实现存储单元150。用户装置100可与互联网上的用作存储单元150的网页存储器交互操作。

接口单元160为可连接到用户装置100的外部设备提供接口。接口单元160能够将数据或功率从外部装置传输到用户装置100的内部组件，并能够将内部数据传输到外部装置。例如，接口单元106可设置为有线/无线头戴式耳机端口、外部充电端口、有线/无线数据端口、存储卡插槽、识别模块插槽、音频输入/输出端口、视频输入/输出端口、耳机插孔等。

控制单元170控制用户装置100的全部操作。例如，控制单元170能够控制语音电话、数据电话和视频电话功能。在本发明的各种示例性实施例中，控制单元170还能够控制与CAS相关联的操作。在本发明的各种示例性实施例中，控制单元170可包括数据处理模块171，其中，数据处理模块171具有规则配置模块173、规则执行模块175、条件检查模块177和动作执行模块179。随后参照附图描述规则配置模块173、规则执行模块175、条件检查模块177和动作执行模块179的操作。控制单元170可包括用于支持CAS的CAS框架(未示出)和用于多媒体播放的多媒体模块(未示出)。在本发明的示例性实施例中，CAS框架(未示出)和多媒体模块(未示出)可嵌入在控制单元170中或者被实现为独立的模块。

根据本发明的示例性实施例，控制单元170能够控制与CAS相关的操作，诸如用户定义的规则配置、基于规则的情景感知、基于规则的动作执行以及作为动作执行的结果的情景信息反馈。控制单元170(例如，规则配置模块173)能够根据用户输入(例如，基于自然语言的语音或文本输入)定义用于提供CAS的规则。控制单元170能够可操作地(operatively)接收用户输入，并基于接收的用户输入识别包括条件和与所述条件相应的动作的规则。控制单元170能够激活规则以检测与所述规则的条件相应的情景。如果检测到用于执行在配置规则中指定的规则的指令，则控制单元170(例如，规则执行模块175)能够执行一条或多条规则。控制单元170(例如，条件检查模块177)能够检查(例如，确定)并识别条件(或情景)作为规则执行的结果。如果相应规则中指定的条件被识别，则控制单元170(例如，动作执行模块179)执行当所述条件被达到时所触发的动作。例如，当情景被检测到时，控制单元170执行与所述条件相应的动作。控制单元170(例如，动作执行模块179)执行至少一个功能(应用程序)以执行与所述功能(或应用程序)相应的操作。

如果在规则执行模块175响应于用户请求执行至少一个规则的状态下，条件检测模块177检测到事件(达到规则中指定的条件的动作)，则控制单元170通过动作执行模块179提取用于执行与当前运行的规则中的事件相应的动作而定义的功能。控制单元170能够控制与通过动作执行模块179提取的功能相应的动作的执行。如果未检测到用户请求事件，则控制单元170确定当前情形是否达到用于终止至少一个当前运行的规则的条件。如果当前情形达到条件，则控制单元170控制规则执行模块175以终止当前运行的规则。

当在规则执行模块175执行至少一个规则的状态下执行与由条件检查模块177检查的(例如，确定的)条件相应的动作时，控制单元170还能够控制作为动作执行模块179的动作执行的结果的情景信息的反馈的操作。当在规则执行模块175执行至少一个规则的状态下终止根据由条件检查模块177检查的(例如，确定的)条件执行的规则时，控制单元还能够控制相应于动作执行模块179的动作终止的反馈操作。

在本发明的各种示例性实施例中，根据动作执行的反馈操作可包括通过显示面板131向用户呈现动作执行结果(例如，情景信息)和通过无线电通信单元110将动作执行结果(例如，情景信息)发送到另一用户。根据动作执行的反馈操作可包括将与动作执行相应的用于控制外部装置(例如，电灯、电视等)的操作(例如，打开/关闭)的控制信号发送到相应的外部设备。

在本发明的各种示例性实施例中，反馈操作可包括向装置用户提供音频效果(例如，通过扬声器141的预定音效)、视觉效果(例如，通过显示面板131的预定屏幕)和触觉效果(例如，通过振动模块(未示出)的预定振动模式)中的至少一个。

在关于随后参照附图进行的关于用户装置100的操作和控制方法的描述中将使控制单元170的详细控制操作变得更加清楚。

在本发明的各种示例性实施例中，控制单元170能够控制与用户装置100的正常功能相关的操作以及上述操作。例如，控制单元170能够控制应用程序的执行和执行屏幕的显示。控制单元170还能够控制接收由基于触摸的输入接口(例如，触摸屏130)响应于触摸手势而产生的输入信号和根据所述输入信号执行功能的操作。控制单元170还能够通过有线或无线信道对各种数据进行通信。

电源180将功率从外部电源或内部电源提供给用户装置100的内部组件。

如上所述，根据本发明的示例性实施例，用户装置100包括：规则配置模块173，响应于用于配置规则的基于自然语言的用户语音或文本输入来配置计算机可执行的规则；规则执行模块175，响应于基于自然语音的语音或文本指令或用户装置的运动响应指令或来自外部的消息指令的形式的用于执行规则的指令来执行计算机可执行规则；条件检查模块177，检查(例如，识别和/或确定)规则中指定的至少一个条件(例如，情形)是否被达到；动作执行模块179，根据规则中指定的条件是否被达到来执行至少一个动作。

在本发明的各种示例性实施例中，规则配置模块173能够操作为在规则配置模式下感知用户做出的基于自然语言的语音或文本输入。在本发明的各种示例性实施例中，规则执行模块175能够对每个规则配置多个条件并将多个动作与条件进行映射。在本发明的各种示例性实施例中，条件检查模块177能够执行用于检查与为每个规则配置的条件相应的多个情景的多情景感知功能。在本发明的各种示例性实施例中，动作执行模块179能够响应于规则的多个情景的感知同时地或顺序地执行多个动作。

根据本发明的各种示例性实施例中的一个实施例的CAS提供方法可以以软件、硬件或二者的组合来实现，或被存储在非瞬时计算机可读存储介质中。在硬件实现的情况下，可使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及执行特定任务的其它电气单元中的至少一个来实现根据本发明的示例性实施例的CAS提供方法。

可通过控制单元170本身来实现本发明的示例性实施例。在以软件实现的情况下，可用软件模块(例如，规则配置模块173、规则执行模块175、条件检查模块177和动作执行模块179等)来实现本发明的示例性实施例中描述的过程和功能。软件模块能够执行上述功能和操作中的至少一个。

存储介质可以是存储以下程序指令的任何非瞬时计算机可读存储介质：存储响应于用户输入定义关于CAS的规则的程序命令；响应于程序执行指令执行至少一个规则的程序指令；当在规则中指定的条件(情形)被达到时执行与在执行规则中指定的条件相应的至少一个动作的程序指令。存储介质还可以是存储以下程序指令的非瞬时计算机可读存储介质：响应于用户做出的基于自然语言的语音或文本输入来配置包括条件和与所述条件相应的动作的规则的程序指令；响应于指示规则的指令来激活所述规则的程序指令；确定在执行的规则中指定的条件是否被达到的程序指令；执行与被达到的条件相应的工作。

在本发明的各种示例性实施例中，用户装置100可以是信息通信装置、多媒体装置和(具有应用程序处理器(AP)、图形处理单元(GPU)和中央处理单元(CPU)中的任何一个的)它们的等同物中的任何类型。例如，用户装置100可以是使用与通信系统相应的各种通信协议进行操作的蜂窝式通信终端、平板个人计算机(PC)、智能手机、数字相机、便携式多媒体播放器(PMP)、媒体播放器(例如，MP3播放器)、便携式游戏控制台、个人数字助理(PDA)等中的任何一种。根据本发明的各种示例性实施例中的任何一个实施例的CAS提供方法还可被应用于诸如数字电视(TV)、数字标牌(DS)、大型显示器(LFD)、膝上型计算机、桌上型计算机等的各种显示装置。

图2是示出根据本发明示例性实施例的用户装置的CAS提供方法的流程图。

参照图2，在步骤201，控制单元170(例如，规则配置模块173)响应于借助于输入单元120、麦克风143和触摸屏130中的一个的用于定义关于CAS的规则的用户输入来定义(例如，配置和产生)规则。

例如，用户能够在规则配置模式下通过麦克风143输入用于配置规则的基于自然语言的语音。用户还能够在规则配置模式下通过触摸屏130输入用于配置规则的基于自然语言的文本。控制单元170(例如，规则配置模块173)识别并解析用户输入(例如，语音识别和文本识别)来定义(例如，识别)将执行的规则。控制单元170(例如，规则执行模块175)可响应于用户输入(例如，用于执行规则的指令)控制用户装置100进入激活状态并等待配置的规则的执行。参照附图(例如，图3A至图3K以及图31A至图31N)描述根据本发明的各种示例性实施例的规则配置和产生操作。

如果在响应于用户输入定义至少一个规则的状态下接收到用于执行特定规则的指令，则控制单元170(例如，规则执行模块175)控制执行相应规则(步骤203)。

例如，用户能够通过输入单元120、麦克风143和触摸屏130中的一个输入用于执行预定义规则的基于自然语言的命令或命令语句。用户能够使用功能键输入、语音输入、触摸输入(例如，文本写入和选择窗口小部件(widget))和基于手势的输入(例如，改变用户装置100的姿势，诸如倾斜和加速运动)来输入针对用于激活CAS的至少一个规则的特定指令。根据本发明的示例性实施例，可在各种用户的输入行为达到规则中指定的条件时产生用于执行相应规则的指令。根据本发明的示例性实施例，可以以接收达到规则中指定的条件的特定消息或声音的形式来产生用于执行规则的指令。控制单元170(例如，规则执行模块175)能够识别达到用于执行规则的条件的指令并响应月识别的指令执行相应规则以激活CAS。

在步骤205，控制单元170(例如，条件检查模块177)触发与当前运行的规则相应的条件(情形)。

如果与当前运行的规则相应的条件被触发，则控制单元170(例如，动作执行模块179)能够控制与所述条件相应的至少一个动作的执行(步骤207)。

例如，如果执行至少一个规则，则控制单元170(例如，条件检查模块177)能够进行监视以检测在规则中指定的用于触发动作的条件是否被达到。如果触发动作的条件或情形被达到，则控制单元170(例如，动作执行模块179)能够控制用于执行相应动作的内部和/或外部操作。动作执行能够包括根据预定义规则(例如，条件和动作)执行功能(或应用程序)、产生执行结果(例如，情景信息)和将执行结果反馈给用户或其他人的操作。

根据本发明的示例性实施例，在执行目标规则之前，在步骤201定义规则的操作可已经被执行或者可由用户另外执行。在前者的情况下，用户能够在步骤203立即输入用于执行规则的指令，在后者的情况下，用户能够执行用于既定义规则又输入用于执行所述规则的指令的步骤201和203。

图3A至图3K是示出根据本发明的示例性实施例的用于解释在用户装置中产生规则的操作的示例性屏幕的示图。

参照图3A至图3K，示出了控制单元170(例如，规则配置模块173)的用于接收用户做出的基于自然语言的语音输入和用于根据语音输入定义和/或识别规则(例如，条件和动作)的示例性操作。

图3A示出了根据本发明的示例性实施例的当设备用户执行用于CAS的应用时用户装置100的示例性屏幕。

参照图3A，CAS应用提供了包括以下菜单的用户界面(UI)或图形用户界面(GUI)(在下文中，称作“屏幕界面”)：第一菜单310(例如，我的菜单或图3A中的“我的规则”)，用于显示由用户定义的规则的列表；第二菜单320(例如，动作菜单或图3A中的“正运行的规则”)，用于显示定义的规则中的当前运行的规则的列表；第三菜单350(例如，添加菜单或图3A中的“添加规则”)，用于另外定义新规则。

屏幕界面能够提供与在第一菜单310和第二菜单320中选择的菜单项相应的列表。如图3A所示，如果选择了第一菜单310，显示与用户定义的规则相应的项(例如，“家”项330和“出租车”项340)的列表。

项330和340可设置为用于显示配置有相应项的详细信息的下拉(full-down)菜单项335。例如，如果用户选择下拉(例如，向下拉)菜单项335，则全的下拉窗口(full-fulldown window)出现在相应项的下面。

在图3A的状态下，用户能够选择(轻击)用于定义新规则的第三菜单(“添加规则”)350。然后，用户装置100的控制单元170(例如，规则配置模块173)确定是否开始用于定义规则的操作，并且切换到规则配置模式连同显示相应的屏幕界面。图3B示出了在这种情况下显示的示例性屏幕界面。

图3B示出了当装置用户执行用于定义规则的规则配置模式时用户装置100的示例性屏幕。在本发明的示例性实施例中，图3B中描述的操作是将关于定义规则的方法的教程提供给用户，并且可根据用户的意图省略这种教程提供步骤。

参照图3B，可以以弹出窗口351的形式提供教程。控制单元170能够控制按弹出窗口351的形式显示教程，其中，弹出窗口351呈现用于引导如何定义规则的指南(例如，图片和文本)。例如，所述指南可被设置为指示语音识别模式的激活的图像351c和引导如何定义规则的文本351d(例如，如何制定规则，像“如果说出“地铁”则播放音乐”、“如果说出“地铁”则进行下面的操作”)。

提供教程的弹出窗口351可包括用于确认定义规则的菜单项351a(例如，“开始”按钮)和用于取消定义规则的菜单项351b(例如，“结束”按钮)。用户能够通过选择如图3B所示的提供教程的弹出窗口351的菜单项351a和351b中的一个来继续或取消新规则的定义。

图3C至图3K示出了根据本发明的示例性实施例的在规则配置模式下定义新规则的操作。图3C至图3K示出了在接收用户的基于自然语言的语音并响应于用户的基于自然语言的语音配置相应规则的条件和动作时所显示的示例性屏幕。

如图3C至图3K所描述的，控制单元170显示提示用户在规则配置模式下进行语音输入(例如，“说出规则”)的弹出窗口353并等待用户语音输入。在图3C的状态下，用户能够基于将被定义的规则的类型(例如，单数结构或复数结构)针对至少一个条件和与条件相应的至少一个动作进行基于自然语言的语音输入。

例如，在图3D的状态下，用户可以进行“如果说出“地铁”则进行下面的操作”的语音输入。然后，控制单元170识别用户的语音输入并显示弹出窗口355作为语音识别的结果。根据本发明的示例性实施例，控制单元170可显示弹出窗口355然后等待用户的语音输入，其中，弹出窗口355用通知消息(例如，“我能做什么”)提示用户针对当条件“地铁”利用语音识别结果“命令[地铁]我能做什么？”被达到时将执行的动作进行语音输入。

在图3E的状态下，用户可以说出“打开Wi-Fi”。如图3E所示，控制单元170识别用户的语音输入并显示弹出窗口357，其中，弹出窗口357通知语音识别模式和对条件(例如，地铁)和动作(例如，打开Wi-Fi)进行映射的操作的进程(例如，“识别进行中”)。在本发明的各种示例性实施例中，可省略与识别操作相关的屏幕显示。

一旦完成了识别和映射操作，控制单元170就可以以如图3F所示的弹出窗口359的形式提供识别和映射结果。例如，控制单元170能够显示通知关于新定义的规则和与所述规则相关联的指定动作的信息的弹出窗口359。根据本发明的示例性实施例，控制单元170可通知具有条件“地铁”的新规则已经被产生以及用于提示用户进行操作的菜单项(例如，“确认”和“取消”)，其中，所述新规则用于当所述条件被达到时配置Wi-Fi打开。在图3F的状态下，用户可选择“确认”菜单项以应用配置的规则或者选择“取消”菜单项以取消配置的规则。

在图3F的状态下，如果用户选择“确认”菜单项(或进行语音输入)，则如图3G所示，控制单元170可显示提示用户进行下一次语音输入(例如，“说下一个命令”)并等待用户的语音输入。在图3G的状态下，用户可进行“改变为振动”的语音输入。如图3H所示，然后，控制单元170可识别语音输入并显示弹出窗口363，其中，弹出窗口363通知语音识别模式和对条件(例如，地铁)和另外的动作(例如，振动的配置)进行映射的操作的进程(例如，“识别进行中”)。如果完成了识别和映射操作，则控制单元170可以以如图3I所示的弹出窗口365的形式来提供操作结果。例如，控制单元170能够显示通知响应于用户的语音输入配置的规则和与所述规则相应的动作的弹出窗口365。根据本发明的示例性实施例，控制单元170能够通过弹出窗口365通知具有条件“地铁”的新规则已经被产生以及菜单项(例如，“确认”和“取消”)，其中，所述新规则用于当所述条件被达到时切换到振动模式。在图3I的状态下，用户可选择“确认”菜单项以应用配置的规则或者选择“取消”菜单项以取消配置的规则。

在图3I的状态下，如果用户选择“确认”菜单项，则如图3J所示，控制单元170可显示提示用户进行语音输入(例如，“说下一个命令”)的弹出窗口367并等待语音输入。在图3I的状态下，用户可进行“结束(或停止)”的语音输入。然后，控制单元170识别所述语音输入并提供关于通过图3B至3J的步骤定义的规则中指定的条件和与该条件相应的至少一个动作的信息，如图3K所示。

例如，控制单元170可显示通过上述操作定义的规则的条件“地铁”连同映射到该条件的动作“Wi-Fi打开配置”和“振动模式切换配置”，如图3K所示。按照这种方式，新定义的规则可添加到如图3A所示的规则列表中。例如，新添加的规则作为项“地铁”360可与先前定义的项(例如，“家”项330和“出租车”项340)一起被显示在列表中，并且可用详细信息(例如，条件和动作)来提供“地铁”项360。屏幕界面还可以显示装置的各种设置。例如，屏幕界面可显示Wi-Fi设置371、声音设置373等。装置的设置可与项(例如，项330、项340和/或项360)相关联。

如以上参照图3A至图3K所描述的，根据本发明的各种示例性实施例，至少一个动作可映射到一个条件。在本发明的示例性实施例中，CAS方法能够支持单一规则定义操作和多元规则定义操作。这可被总结如下。

单一结构规则定义操作可被总结为如表1所示。

表1

多元结构规则定义操作可被总结为如表2所示。

表2

如表1和表2所示，可使用诸如〈如果说出“家”，则切换到铃声〉的简单的如果语句或者诸如〈如果说出“家”，则当接收呼入电话时使TV声音静音〉的复杂的如果语句。根据本发明的示例性实施例，可基于简单或复杂的如果语句来配置与至少一个条件相应的多个动作(例如，终端功能、自适应情形的多个应用配件(App+Accessory)互操作以及云服务的使用)。在所述多个动作中，终端功能可包括Wi-Fi模式配置、铃声/振动/静音模式切换、文本消息发送(接收者和内容语音配置)、相机闪光灯闪烁等；云服务的使用可包括(使用GPS)检查(例如，确定)用户位置然后发送文本消息，等。

规则中可指定的条件(或指令)的类型和每个条件可配置的动作的类型可总结如表3所示。

表3

根据本发明的各种示例性实施例，当指定条件被达到时，用户装置100能够通过向用户提供关于根据用户打算执行的动作所需的信息的语音或文本反馈来执行交互(例如，询问和回答)。根据本发明的示例性实施例，可以以数据库(DB)的形式提供从用户接收的关于用户装置100所支持的全部动作的信息。根据本发明的示例性实施例，在文本消息发送功能的情况下，用户装置100可识别关于接收者和文本消息的另外的信息的必要性，并可提示用户以语音或文本的形式输入另外的信息，警报错误输入，并要求接收重新输入。在下文中参照图4A至4J示例性地描述这种操作。

图4A至4J是示出根据本发明的示例性实施例的用于解释在用户装置中产生规则的操作的示例性屏幕的示图。

参照图4A至4J，在图3A(或图3B)的状态下，控制单元170能够响应于进入规则配置模式显示提示用户进行语音输入的弹出窗口451，并等待语音输入。在图4A的状态下，用户可根据将定义的规则的类型(例如，单一结构和多元结构)进行用于配置至少一个条件和每个条件至少一个动作的基于自然语言的语音输入。

例如，在图4A的状态下，用户可进行“如果说出“出租车”，则进行以下操作”的语音输入。然后，控制单元170可识别用户的语音输入，并以弹出窗口453的形式提供识别结果，如图4B所示。根据本发明的示例性实施例，控制单元170可显示弹出窗口453并等待语音输入，其中，弹出窗口453提示用户针对随着条件“出租车”的满足将被执行的动作来进行语音输入，连同语音识别结果(诸如“命令[出租车]我能做什么？”)。

在图4B的状态下，用户可进行“发送消息”的语音输入。然后，控制单元170可识别语音输入并检查需要从用户接收的关于动作(例如，“发送消息”)的信息，以便执行反馈，如图4F所示。

例如，如图4C所示，控制单元170可显示提示用户输入“接收者”作为动作“发送消息”所需的信息的弹出窗口455(例如，“命令[出租车]请说接收者”)，并等待用户的语音输入。在图4C的状态下，用户可语音输入被发送消息的特定接收者(例如，“男朋友”)。控制单元170可识别由用户输入的语音，以弹出窗口457的形式提示用户输入“消息内容”作为用于动作“发送消息”的信息，如图4D所示(例如，“对[男朋友]说出内容”)，并等待用户的语音输入。

在图4D的状态下，用户可输入将被发送到接收者(例如，“男朋友”)的消息内容。根据本发明的示例性实施例，用户可进行“发送我的位置”的语音输入作为将被发送到“男朋友”的消息内容。然后，控制单元170可识别用户的语音输入，并检查用于执行“发送位置”的动作的另外的信息的必要性，显示提示用户输入用于执行“发送位置”的动作的时间间隔的弹出窗口459(例如，“对[男朋友]多久发送”)，并等待接收语音输入。

在图4E的状态下，用户可输入用于执行“发送我的位置”的动作的发送间隔。根据本发明的示例性实施例，用户可进行“每隔5分钟”的语音输入作为用于执行“发送我的位置”的动作的发送间隔。然后，控制单元170可识别语音输入，并显示识别结果，如图4F所示。

例如，如图4F所示，可以以弹出窗口461的形式提供针对将由用户定义的规则而配置的条件信息410和与所述条件相应的动作信息411、413、415和417。具体地，在动作信息411、413、415和417的情况下，可提供根据初始配置的动作而配置的辅助动作。根据本发明的示例性实施例，第一动作可被设置为由参考标号411指示的“发送消息”，第二动作可被设置为作为根据第一动作被发送消息的目标的由参考标号413指示的“男朋友”，，第三动作可被设置为作为将根据第一动作和/或第二动作被发送到“男朋友”的消息的内容的由参考标号415指示的“发送我的位置”，第四动作可被设置为作为将根据第一动作、第二动作和/或第三动作被发送到“男朋友”的包括“我的位置”的消息的由参考标号417指示的发送间隔“5分钟”。例如，根据本发明的示例性实施例，控制单元170可以以语音或文本交互向用户请求执行先前的动作所需的信息。这时，控制单元170可不再识别需要另外的信息的动作，并可以以弹出窗口461的形式提供关于被请求的动作(例如，针对条件(例如，“出租车”410)所配置的“发送信息”411、“男朋友”413、“发送我的位置”415和“5分钟”417)的信息，如图4F所示。按照这种方式，当条件“出租车”被达到时，用户能够定义关于每隔5分钟将包括“我的位置”的消息发送给“男朋友”的动作的规则。

同时，在图4F的状态下，用户可选择“确认”菜单项以应用对与通过以上过程配置的规则的条件(例如，“出租车”)相应的动作(例如，“男朋友”、“发送我的位置”和“5分钟”)的定义，或者选择“取消”菜单项来取消或重新配置规则。

在图4F的状态下，如果用户选择“确认”菜单项(或通过说出“确认”进行语音输入)，则如图4G所示，控制单元170可显示提示用户进行语音输入的弹出窗口463(例如，“请说出下一个命令”)，并等待语音输入。在图4G的状态下，用户可进行用于切换到振动模式的“切换到振动”的语音输入作为与条件(例如，“出租车”)相应的附加动作。然后，控制单元170可识别用户的语音输入，并以弹出窗口465的形式显示语音识别模式指示符、先前输入的条件(例如，“出租车”)和附加动作提示，如图4H所示。根据本发明的示例性实施例，如弹出窗口465所示，控制单元170可通知具有条件“出租车”的新规则的产生以及菜单项(例如，“确认”和“取消”)，其中，所述新规则用于当所述条件被达到时切换到振动模式。

在图4H的状态下，如果用户选择“确认”菜单项，则如图4I所示，控制单元170可显示提示用户进行下一次语音输入的弹出窗口465(例如，“请说出下一个命令”)并等待用户的语音输入。在图4I的状态下，用户可进行“结束(或停止)”的语音输入来结束另外的规则配置。然后，控制单元170可识别用户的语音输入，并提供关于通过图4A至图4I的步骤配置的规则中指定的条件的信息以及与所述条件相应的至少一个动作，如图4J所示。

例如，如图4J所示，控制单元170可提供通知以下内容的屏幕：规则具有关于动作“发送消息”和“声音设置”的条件“出租车”，连同详细信息“每隔5分钟将包括我的位置的消息发送到男朋友”和“声音设置为振动”。

同时，根据本发明的各种示例性实施例，如图4A至图4F所示，控制单元170可根据由用户输入的动作以语音或文本的形式向用户请求另外需要的信息。根据本发明的各种示例性实施例，如图4G至图4I所示，控制单元170可识别不需要另外的动作的动作(例如，声音设置)，并跳过向用户请求另外的信息以跳至下一步。

以上已经描述了根据本发明的各种示例性实施例的定义规则的操作。下文中描述了执行以上定义的规则的示例性操作。根据本发明的各种示例性实施例，可响应于如上所述的用户的语音或文本输入立即执行预定义的规则。另外，预定义的规则可根据用户的定义在用户装置中产生窗口小部件并通过窗口小部件执行相应规则，将在下文对此进行描述。例如，根据本发明的各种示例性实施例，可通过窗口小部件执行用于规则的指令。

在本发明的各种示例性实施例中，如果诸如接收呼入电话的某个操作中断了产生规则的过程，则规则产生操作进行直到被保存(或暂时存储)，以处理导致中断的操作。

图5A至图5E是示出根据本发明的示例性实施例的用于解释在用户装置中执行预定义的规则的操作的示图。

图5A至图5E示出以下处理的示例性操作：在控制单元170的规则执行模块175接收由用户做出的基于自然语言的语音输入并响应于语音输入执行规则；在控制单元170的条件检查模块177检查规则中指定的条件；在控制单元170的动作执行模块179，当条件被达到时(例如，当检测到情景时)执行与条件相应的至少一个动作。

参照图5A至图5E，图5A示出了根据本发明的示例性实施例的当关于CAS的窗口小部件被提供时的用户装置100的示例性屏幕。

如图5A所示，CAS窗口小部件500可显示在用户装置100的主屏幕(或菜单屏幕)上。窗口小部件500可设置有用户进行用于执行规则的输入(例如，轻击和触摸)的指令输入区域(或规则执行按钮)510和示出关于用户定义的规则中的当前运行的规则的信息的执行信息区域520。窗口小部件500还可以设置有用于更新关于当前运行的规则的信息的刷新功能项530。根据本发明的示例性实施例，考虑到对用户的直观性，指令输入区域510可设置有图像或文本。图5A是针对执行信息区域520示出当前没有规则正在运行的示例性情况。

在图5A的状态下，用户可选择(例如，触摸手势或轻击)用于执行规则的指令输入区域510。如图5B所示，控制单元170(例如，规则执行模块175)可随后执行规则并显示提示用户输入(或说出)关于将执行的规则的信息的弹出窗口551(例如，“说出命令”)，并等待用户的语音输入。

在图5B的状态下，用户可对将执行的规则进行语音输入(例如，“地铁”)。如图5C所示，然后，控制单元170可识别用户的语音输入并提供通知与“地铁”相应的规则正在被加载(或被识别)的弹出窗口553。在本发明的各种示例性实施例中，可省略识别进度屏幕显示。

如果完成了识别和加载操作，则控制单元170可以以弹出窗口555的形式提供识别和加载结果。例如，控制单元170可通过弹出窗口555提供关于根据用户的语音输入将执行的规则以及规则中指定的条件和与条件对应的动作的信息。根据本发明的示例性实施例，控制单元170可提供以下通知：将执行的规则是用条件“地铁”(例如，执行[地铁])配置的“地铁”，所述条件“地铁”具有动作“Wi-Fi打开”和“切换到振动”(例如，“Wi-Fi打开”、“配置成振动”)。在本发明的各种示例性实施例中，规则信息屏幕显示可被跳过，并且过程可跳至与图5E对应的操作。图5E的屏幕可显示预定的持续时间，然后进行相应操作。

当在图5D的状态下过去预定的持续时间时，控制单元170可以以图像或文本的形式在窗口小部件的执行信息区域520中提供关于由用户执行的规则(或当前运行的规则)的信息(例如，地铁)。例如，如图5E所示，窗口小部件500的执行信息区域520可呈现指示“地铁”的图标或文本，代替消息“当前无规则运行”。另外，控制单元170可响应于规则的运行在提供用户装置100的各种操作状态的指示符区域中提供用于通知当前运行的规则的通知项550，如图5E所示。随后对通知项进行描述。

尽管图5E是针对仅一个规则正在运行的示例性情况，但是可运行多个规则，并且在这种情况下，执行信息区域520可提供关于多个当前运行的规则的信息。尽管描述是针对提示用户在指令输入区域510的选择中进行语音输入的示例性情况，但是能够在指令输入区域510的选择中提供由用户定义的规则的列表，以使用户选择至少一个规则。

控制单元170(例如，条件检查模块177)还可操作以确定在通过上述过程定义的各种规则中的当前运行的规则中指定的条件是否被达到。控制单元170(例如，动作执行模块179)可操作以执行映射到达到的规则的条件的至少一个动作(例如，映射到与规则的条件相应的情景的至少一个动作)。

如上所述，根据本发明的各种示例性实施例，可通过窗口小部件500执行规则。根据本发明的示例性实施例，用户可选择指令输入区域(或规则执行按钮)510并说出配置规则(或命令)。然后。控制单元170可执行反馈给用户的弹出文本或语音，以提供关于规则开始时间和将被执行的动作的信息。控制单元170还可将相应规则添加到执行信息区域520，并在指示符区域中显示指示存在当前运行的规则的通知项550。随后对通知项550进行描述。

在下文中，参照附图(例如，图6至图13)描述根据本发明的各种示例性实施例的CAS控制方法的详细操作。

图6是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图6示出以下示例性情形：用户通过语音交互配置并执行规则，并且用户装置100检查规则中指定的条件的达到并执行当条件被达到时所触发的动作。具体地，在图6中，用户执行与条件1(例如，家)相应的动作1(例如，声音设置)，并在子条件(条件2)(例如，当接电话时)下执行动作2(例如，使灯闪烁)和动作3(例如，使TV声音静音)。

参照图6，用户可使用用户装置100定义规则。例如，用户可通过操纵用户装置100激活产生规则的功能并定义用于用户装置100的规则，以在特定位置改变铃声并当在特定位置检测到来电呼叫时使灯闪烁并使TV声音静音。根据本发明的示例性实施例，用户可在与用户装置100的逐步交互中定义规则“在家里将指示模式切换成铃声模式并且当在家里接收到呼入电话时使灯闪烁并使TV声音静音”。可通过参照图3A至图3K以及图4A至图4J描述的规则产生过程来执行定义规则的操作。可通过基于自然语言的交互来进行定义规则的操作。

用户可命令通过基于自然语言的语音或文本交互而定义的规则的执行。要被检测的情形(例如，条件)可以是“说出[家]或者在家接到电话”，并且所述条件被达到时将采取的动作可以是“设置灯闪烁，使TV声音静音”。尽管在图6的情况下未单独定义，但是用户装置100可根据执行的动作来控制额外动作的执行。例如，在使灯闪烁和TV声音静音之后，可执行另一动作“当呼叫会话结束时恢复在接收到电话时灯的先前状态并播放TV声音”。

在已经定义了规则的状态下，如果有必要，用户可执行定义的规则。例如，当从室外进入家里时，用户通过如图5A至图5E中所描述的过程说出“家”来进行语音输入。然后，用户装置100可检查(例如，确定)在当前运行的规则中是否存在与“家”相应的规则。如果与“家”相应的规则正在运行，则装置100可检查(例如，确定)规则“家”中指定的至少一个条件和与条件相应的动作。

用户装置100识别作为规则“家”中定义的第一条件的“家”并识别作为与第一条件相应的第一动作的“铃声模式切换”。因此，如参考标号610所指示的，用户装置100响应于用户的语音输入“家”将用户装置100的指示模式切换到铃声模式。

用户装置100还可以识别规则“家”中指定的第二条件“当接收到电话时”并检查对该条件的中断(例如，呼入电话的接收)。之后，如果接收到呼入电话，如参考标号620所示，则作为对该中断的反应，用户装置100识别规则“家”中指定的第二条件“当接收到电话时”。用户装置100可操作以控制第二动作“使灯闪烁”(如参考标号630所指示的)和第三动作“使TV声音静音”(如参考标号640所指示的)。

如果在指示语音呼叫的接收的铃声(例如，电话铃声音)被播放的状态下用户接受了呼入电话的接收(例如，呼叫会话建立)，则用户装置100可使灯恢复到先前的状态，并且如果呼叫会话被解除，则解除TV声音的静音。

图7是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图7示出以下示例性情形：用户通过语音交互配置并执行规则，用户装置100识别规则中指定的条件并执行当条件被达到时所触发的动作。具体地，在图7中，用户可定义以预定时间间隔将用户位置(或用户装置100的位置)自动发送到至少一个目标用户装置的规则。用户装置100可响应于用户输入执行规则，并执行以在执行规则中指定的时间间隔将位置信息发送到至少一个目标用户装置的动作。

参照图7，用户可使用用户装置100定义规则。例如，用户可通过操纵用户装置100激活规则产生功能(或应用)，并定义以预定时间间隔将位置信息发送到至少一个目标用户装置200的规则。根据本发明的示例性实施例，用户可产生规则“如果我乘坐出租车，则每隔5分钟将我的位置信息发送给我父亲和弟弟(或妹妹)”。这时，可通过与麦克风143的语音交互或者与输入单元120或触摸屏130的文本交互来产生规则，如后面描述的。优选的是，语音和文本交互基于自然语言，如上所述。将检测到的在定义的规则中指定的情形(例如，条件)可以是“当移动出现时”，并且当达到被达到时所采取的动作可以是“每隔5分钟将位置信息发送给父亲和弟弟(妹妹)”。

用户装置100可提供用于指定至少一个目标用户装置200的接口，以发送位置信息并将关于至少一个目标设备200的信息(例如，电话号码、名称和昵称)映射到规则。如果有必要，用户可随时随地预定义和重新定义所述规则。

用户可通过在定义规则时提供的接口以语音、文本或手势的形式输入用于执行所述规则的指令。然后，用户装置100可将指令映射到定义的规则，并存储映射信息。在使用语音输入的情况下，用户装置100可存储语音的波形，将语音转换成文本并存储该文本，或者既存储语音的波形也存储转换的文本。

在已经定义了规则的状态下，如果有必要，用户可使用预定义的指令(例如，语音、文本和手势)识别、激活和/或执行所述规则。例如，如图5A至5E中的示例性情况下，在刚要上出租车之前或在上出租车时，用户可输入相应的指令作为语音输入(例如，“出租车”、“出租车模式”和“正乘坐出租车”)。尽管描述是针对指令为通过麦克风143输入的语音指令的情况，但是指令可以通过输入单元120或触摸屏130以文本形式被输入或以手势的形式被输入。语音指令和文本指令可以是如上所述的基于自然语言的指令。

当用户打算进行用于执行规则(或条件或情形识别)的语音输入时，用户可提前采取用于通知用户装置100使用用于执行规则的语音输入的准备动作。在通过语音执行规则(或条件或情形识别)的示例性情况下，可能需要激活麦克风143。这是因为如果麦克风143总是打开状态，则意外的声音输入会导致不必要的操作或错误。因此，优选的是，定义用于在语音输入模式下激活麦克风143的特定动作(例如，窗口小部件、手势和功能键操作)，从而用户在语音输入前采取该动作以打开麦克风143。根据本发明的示例性实施例，用户可在预定手势之后说出指令，其中，所述预定手势为按压预定功能键或选择窗口小部件的规则执行按钮。

用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。例如，用户装置100可在预定规则(例如，映射到各个规则的语音波形)中搜索与语音输入相应的语音波形。用户装置100还可以将输入的语音转换成文本以在预定规则(例如，映射到各个规则的文本)中获取所述文本。用户装置100可在预定规则(例如，映射到各个规则的波形和文本)中搜索语音波形和文本两者。

用户装置100可根据规则执行来进行条件(情形)识别。例如，用户装置100可基于预定义的规则检测诸如“正乘坐出租车”的条件1的达到，并在条件1被达到时检查诸如预定时间(例如，5分钟)的条件2。在这种情况下，用户装置100可操作以执行用于每隔条件2中指定的时间检查用户装置100的位置的动作1。用户装置100还可以操作以执行用于根据动作1将位置信息发送到至少一个目标用户装置200的动作2。

同时，所述至少一个目标用户装置200在从用户装置100接收到位置信息时可通过预定接口执行关于用户装置100的位置信息的反馈。例如，如图7所示，目标用户装置200可在地图图像上显示关于用户装置100的位置信息。这时，地图图像和位置信息可作为用户装置100所处理的而被发送，或者由用户装置100发送的位置信息被呈现在由目标用户装置200提供的地图图像上。

如上所述，根据图7的示例性实施例，用户可以以预定时间间隔向至少一个其他指定用户通知用户的位置。至少一个其他用户可在不需要额外动作的情况下获取用户的位置和移动路径。

图8是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图8示出以下示例性情形：用户使用复合应用配置并执行规则，并且用户装置100识别所述规则中指定的条件并执行当所述条件被达到时所触发的动作。具体的，在图8中，用户可定义响应于外部事件将用户位置(或用户装置100的位置)发送到至少一个目标用户装置的规则。用户装置100根据用户输入执行规则，并且在从执行规则中指定的目标用户装置200接收到(例如，或发生)事件时执行将位置信息发送到目标用户装置200的动作。图8示出以下示例性情况：用户装置100检测来自外部装置(例如，目标用户装置200)的输入(事件)，并执行预定动作。

在本发明的各种示例性实施例中，复合应用可以是进行以下处理的应用程序：使屏幕模块化以按最优选的方式(例如，如用户所要求的)向最终用户提供从各种源接收的不同信息，并设计根据用户的权限和角色而切换的屏幕模式和屏幕配置以便优化用户体验。

参照图8，用户可使用用户装置100定义规则。例如，用户可激活规则产生功能(或应用)，并定义每当事件(例如，消息的接收)发生时将位置信息发送到至少一个目标用户装置200的规则。根据本发明的示例性实施例，用户可产生规则“如果在驾驶时接收到来自妻子的电话，则发送我的当前位置信息”。这时，可通过与麦克风143的语音交互或者与输入单元120或触摸屏130的文本交互来产生规则，将随后对此进行描述。优选的是，语音交互和文本交互是基于自然语言，如上所述。在如图8所示的指定的规则中指定的将被检测的情形(例如，条件)可以是“如果在驾驶时接收到来自妻子的电话”，并且在所述条件被达到时将采取的动作可以是“发送我的当前位置信息”。另外，可进一步配置诸如“如果在驾驶时接收到来自妻子的包括询问位置的短语(诸如“哪里”)的消息”的另外的条件。

用户装置100可提供用于指定产生事件的至少一个目标用户装置200并将关于至少一个目标用户装置200的信息(例如，电话号码、名称和昵称)映射到规则的接口。如果有必要，用户可随时随地预定义和输入或者重新定义规则，并且可以以语音、文本或手势的形式通过给定接口输入用于执行规则的指令。然后，用户装置100可将所述指令映射到定义的规则，并存储映射信息。

在定义了规则的状态下，用户可在必要时使用预定义指令(例如，语音、文本和手势)执行规则。例如，如在图5A至图5E的示例性情况下，用户可在刚要上车之前或刚上车时输入相应指令作为语音输入(例如，“开车”、“开车模式”和“我将开车”)。尽管描述是针对指令为通过麦克风143输入的语音指令的情况，但是可通过输入单元120或触摸屏130以文本的形式输入指令，或者以手势的形式输入指令。优选的是，语音指令和文本指令是基于自然语言的指令，如上所述。当用户打算进行语音输入时，用户可提前采取用于通知用户装置100使用用于执行规则的语音输入的准备动作(例如，打开麦克风143)。

用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。用户装置100还可以检测条件(情形)的达到。例如，用户装置100可检测在定义的规则中指定的条件1(诸如“我将开车”)的达到，并检查诸如根据条件1从条件2(诸如指定的目标装置200)接收文本消息(包括特定条件(诸如“哪里”)的文本消息)的条件3。例如，如果根据条件2的达到(例如，从目标用户装置200)接收到达到条件3的文本消息，则用户装置100可执行用于获取关于用户装置100的位置信息的动作1。用户装置100还可以执行将根据动作1获取的位置信息发送到目标用户装置200的动作2。

如果接收到由用户装置100发送的位置信息，则目标用户装置200可通过预定接口执行关于用户装置100的位置信息的反馈。例如，如图8所示，目标用户装置200可在地图图像上显示用户装置位置。

如上所述，根据图8的示例性实施例，如果从指定的目标用户接收到事件，则用户可在不需要额外动作的情况下通过文本信息向目标用户通知用户位置。

图9是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图9示出相似规则中的一个规则被用户选择或以程序方式被推荐的示例性情形或者同时执行相似的规则示例性情形。具体地，在图9的示例性情形中，用户可定义用于用户装置100的规则以执行警报的反馈或控制特定功能。用户装置100可响应于用户输入执行规则，并在检测到在规则中指定的情形中的变化时控制用户装置100的特定功能或执行警报动作。

参照图9，用户可使用用户装置100定义规则。例如，用户可通过操纵用户装置100激活能够产生规则的功能(或应用)来产生以下规则：在检测到由环境中的变化引起的事件时输出警报的规则(在下文中，第一规则)，以及在检测到由环境中的变化引起的事件时控制用户装置100的功能的规则(第二规则)。根据示例性实施例，能够产生诸如“当驾驶速度等于或大于80Km/h时输出警报”的第一规则以及诸如“当驾驶速度等于或大于60Km/h时增大汽车或用户装置100的音量”的第二规则。这时，如上所述，可通过经由麦克风143的语音输入或者经由输入单元120或触摸屏130的文本输入来定义规则。可使用自然语言实现语音输入和文本输入。待检测的情形(例如，条件)可以是“当环境中的变化(例如，驾驶速度)等于或大于预定阈值时”，在条件被达到时将采取动作可以是“输出警报或控制音量”。

如上所述，用户可在必要时随时随地地实时预定义或产生和重新定义第一规则和第二规则；可通过给定的接口以语音、文本或手势的形式输入用于执行规则的指令。然后，用户装置100可映射定义的规则和指令，并存储如上所述的映射。图9示出了诸如第一规则和第二规则的多个规则被映射到同一指令的示例性情况。

在定义了规则(第一规则和第二规则)的状态下，用户可在必要时使用定义的指令(例如，语音、文本和手势)来执行规则。例如，如在图5A至图5E的示例性情况下，用户可在上车前或上车时做出指令(例如，诸如“开车”、“开车模式”和“我将开车”的语音输入)。尽管描述是针对指令为通过麦克风143输入的语音指令的情况，但是指令可通过输入单元120或触摸屏130以文本的形式被输入，或以手势的形式被输入。如上所述，当用户打算进行语音输入时，用户可提前采取用于通知用户装置100使用用于执行规则的语音输入的准备动作(例如，打开麦克风143)。

用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。用户装置100还可以检测条件(情形)的达到。例如，用户装置100检测在定义的规则中指定的条件1(诸如“我将开车”)的达到，然后检查条件是否被达到(例如，驾驶速度是否等于或超过60Km/h还是等于或超过80Km/h)。如果第二条件被达到，则用户装置100可采取动作1。例如，如果驾驶速度等于或大于60Km/h，则用户装置100可采取增大其音量或汽车音量的动作。另外，如果驾驶速度等于或大于80Km/h，则用户装置100可根据第一规则采取输出警报声的动作。

同时，在存在与指令匹配的多个条件(例如，第一规则和第二规则)的情况下，用户装置100可为用户的选择推荐条件中的一个。如图9的示例性情形所示，用户装置100可显示呈现出第一条件(≥80Km/h)和第二条件(≥60Km/h)的弹出窗口，以提示用户进行选择。

先前的示例性实施例是针对在开始驾驶之前执行规则的示例性情形。因此，当具有多个条件的预定规则运行时，用户装置100可监视驾驶速度以确定第一条件和第二条件是否被达到，并顺序地执行与两个达到的条件相应的动作或执行与最近达到的条件相应的动作。

同时，用户可在驾驶时(例如，在如图9所示的按110Km/h驾驶的状态下)执行预定义规则。

在这种情况下，用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。用户装置100还可检测条件(情形)的达到。例如，用户装置100检测在定义的规则中指定的条件1(诸如“我将开车”)的达到，然后检查(例如，确定)第二条件是否被达到(例如，驾驶速度是等于或大于60Km/h还是等于或大于80Km/h)。因为110Km/h的当前驾驶速度达到第一条件和第二条件两者，所以用户装置100可同时执行与第一条件和第二条件相应的动作。根据本发明的示例性实施例，当达到第一条件和第二条件时(例如，当前的驾驶速度110Km/h等于或大于60Km/h和80Km/h)，用户装置100可增大其音量或汽车的音量，并同时输出警报声。

在指令匹配指定多个条件的规则的情况下，用户装置100可为用户的选择推荐所述条件中的一个。如图9的示例性情形所示，当当前情形(100Km/h)达到第一条件和第二条件两者时，用户装置100可显示呈现出第一条件(≥80Km/h)和第二条件(≥60Km/h)的弹出窗口以提示用户选择。通过注意到用户在驾驶，优选的是，通过语音输入做出条件选择。根据用户设置，可以以文本输入和手势输入以及语音输入的形式执行条件选择。

图10是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图10示出了使用用户装置100和外部装置(或能够与用户装置100通信的对象或者附着有能够与用户装置100通信的装置的对象)提供CAS的示例性情形。在图10的示例性情况下，规则可被定义成以用户设置的预定时间间隔检查(例如，确定)外部环境的改变并根据检查结果反馈警报。用户装置100可响应于用户指令执行预定义的规则，并且当检测到规则中指定的环境改变时采取警报的动作。

参照图10，用户可使用用户装置100定义规则。例如，用户可通过操纵用户装置100激活能够产生规则的功能(或应用)，并定义以下规则：以预定时间间隔检查根据外部环境改变而发生的事件并输出被所述事件触发的警报。根据本发明的示例性实施例，用户可产生诸如“除了在晚上10：00与早晨7：00之间，如果每隔4个小时没有服药，则显示提醒消息并打开浴室灯”的规则。可通过经由麦克风143的语音输入或者经由输入单元120或触摸屏130的文本输入来产生规则。可使用自然语言实现语音输入和文本输入。在图10的情况下，要检测的情形(例如，条件)可以是“如果每隔4个小时没有服药”和“除了在晚上10：00与早晨7：00之间”，并且在条件被达到时将采取的动作可以是“显示提醒消息并打开浴室灯”。

如上所述，用户可在必要时随时随地地实时预定义或产生和重新定义规则；可以通过给定接口以语音、文本或手势的形式输入用于执行规则的指令。然后，用户装置100可映射定义的规则和指令，并存储如上所述的映射。

在定义了规则的状态下，用户可在必要时使用定义的指令(例如，语音、文本和手势)来执行规则。例如，如在图5A至图5E的示例性情况下，用户可做出指令(例如，诸如“药”、“检查药瓶”和“用药时间”的语音输入)以执行预定义的规则。尽管描述是针对指令为通过麦克风143输入的语音指令的情况，但是指令可通过输入单元120或触摸屏130以文本的形式被输入，或以手势的形式被输入。如上所述，当用户打算进行语音输入时，用户可提前采取用于通知用户装置100使用用于执行规则的语音输入的准备动作(例如，打开麦克风143)。

用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。用户装置100还可以进行监视以检测在执行的规则中指定的条件(情形)的达到。例如，用户装置100可监视以检测与激活的规则相应的情景。作为另一示例，用户装置100可检测在定义的规则中指定的条件1(诸如“用药时间”)的达到，然后检查条件2(例如，4小时)，条件2之后是条件3(诸如外部装置(例如，药瓶)是否被移动(被晃动))。在本发明的各种示例性实施例中，用户装置100可通过无线电通信检查(例如，确定)外部装置的移动。为了完成此过程，外部装置(例如，药瓶)可具有能够与用户装置100通信的通信模块(例如，低功耗蓝牙(BLE)小附件(tag)、RF小附件、NFC小附件等)。

如果对于预定持续时间(例如，4小时)未检测到外部装置(例如，药瓶)的移动，则用户装置100可操作以执行诸如输出提醒消息“吃药！”的动作1。用户装置100可执行控制目标设备(例如，灯、冰箱、电水壶等)的动作2以及作为动作1的提醒消息的输出。

在本发明的示例性实施例中，目标装置可以是在特定情形时需要一些动作的日常生活中使用的对象(诸如灯、冰箱、电水壶)中的任何一个以及智能装置。如果目标设备能够与如图10的用户装置100通信，则直接控制目标装置和否则经由辅助模块(例如，能够通信的电源控制装置)间接控制目标装置是可能的。根据本发明的示例性实施例，用户装置100可与具有通信功能的电源控制装置通信，以将功率供应给作为目标装置的浴室灯。

图11是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图11示出了根据本发明的示例性实施例的以下示例性情形：用户装置的所有者输入用于执行规则的指令，以及由于缺乏灵巧性，儿童用户不能执行规则。

图11示出了提供CAS的以下示例性情形：使用复合应用配置并执行规则，并且用户装置100检测在规则中指定的条件的达到并执行与所述条件相应的动作。具体地，在图11的示例性情况下，用户可定义在检测到外部事件时将位置(例如，用户装置的位置)发送到特定目标用户装置200的规则。用户装置100可根据用户输入执行规则，并且当从执行的规则中指定的目标用户装置200接收到事件时，用户装置100执行发送照片信息和位置信息的动作。在图11中，用户装置100检测来自外部装置(例如，目标用户装置200)的输入(事件)，并执行指定的动作。

参照图11，用户可使用用户装置100定义规则。例如，用户(或用户的父母)可通过操纵用户装置100激活规则产生功能(或应用)并定义当从至少一个目标用户装置200接收到事件(例如，消息)时发送照片信息和位置信息的规则。根据本发明的示例性实施例，用户(或用户的父母)可产生诸如“如果在保护模式下从妈妈接收到文本，则拍照片并发送照片和我的位置”的规则。通过与麦克风143的语音交互或与输入单元120或触摸屏130的文本交互来产生所述规则，随后将对此进行描述。优选的是，语音和文本交互基于自然语言，如上所述。在如图11所示定义的规则中，在定义的规则中指定的要检测的情形(例如，条件)可以是“如果在保护模式下从妈妈接收到文本”，并且在条件被达到时将采取的动作可以是“拍照片并发送所述照片和我的位置”。另外，可进一步配置诸如“如果从妈妈接收包括询问位置的短语(诸如“哪里”)的消息”的另外的条件。

用户装置100可提供用于指定产生事件的至少一个目标用户装置200并将关于至少一个目标设备200的信息(例如，电话号码、名称和昵称)映射到规则的接口。如果有必要，用户可随时随地预定义和输入或者重新定义规则，并且可以以语音、文本或手势的形式通过给定接口输入用于执行规则的指令。然后，用户装置100可将所述指令映射到定义的规则，并存储映射信息。

在定义了规则的状态下，用户可在必要时使用预定义指令(例如，语音、文本和手势)执行规则。例如，在图5A至图5E的示例性情况下，用户可输入相应指令作为在从学校(学院)回家的路上的语音输入(例如，“保护模式”、“放学后”和“我将从学校回家”)。尽管描述是针对指令为通过麦克风143输入的语音指令的情况，但是可通过输入单元120或触摸屏130以文本的形式输入指令，或者以手势的形式输入指令。优选的是，语音指令和文本指令是基于自然语言的指令，如上所述。当用户打算进行语音输入时，用户可提前采取用于通知用户装置100使用用于执行规则的语音输入的准备动作(例如，打开麦克风143)。

用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。用户装置100还可检测条件(情形)的达到。

例如，用户装置100可检测在定义的规则中指定的条件1(诸如“保护模式”)的达到，并检查诸如根据条件1从条件2(诸如指定的目标设备200)接收文本消息(包括特定条件(诸如“哪里”)的文本消息)的条件3。用户装置100还可以执行根据动作1通过自动拍摄获取照片信息的动作2。用户装置100还可执行激活位置定位模块117的动作3。用户装置100还可执行获取关于用户装置100的位置信息的动作4。用户装置100还可执行将通过动作1至动作4获取的照片信息和位置信息发送到目标用户装置200的动作5。

如果接收到由用户装置100发送的位置信息，则目标用户装置200可通过预定接口执行关于用户装置100的环境照片信息和位置信息。例如，目标用户装置200可在地图图像上显示用户装置位置，如图11所示。

尽管在图11中未示出，但是可从外部服务器获取用户装置100的位置周围的照片信息。例如，如果用户装置100在用户的口袋里捕获了照片，则所述照片可能为不同于计划的场景照片(例如，环境照片)的停电的照片。因此，用户装置100必须分析捕获的照片并基于用户装置的环境条件(例如，使用照度传感器)检查(例如，确定)用户装置100是否位于口袋中，以确定所述照片是否在正常状态下被拍摄。用户装置100可配置为具有按以下方式进行操作的条件和动作：如果照片是在异常状态下拍摄的，则从外部服务器获取用户装置的当前位置周围的环境照片。

图11示出了用户装置100的拥有者输入用于执行规则的指令的示例性情况。然而，儿童用户可能无法灵巧地执行规则。通过注意到这种情形，优选的是，允许父母远程执行规则以连续监视儿童的位置。例如，配置诸如“在从妈妈接收到诸如“哪里”的文本消息时执行保护模式并通知我的位置”的规则是可能的。如果有来自目标用户装置200的包括“哪里”的消息，则用户装置100检查(例如，确定)用户装置100是否按保护模式进行操作，并且如果是，则执行上述操作。否则，如果用户装置100没有处于保护模式，则用户装置100执行保护模式并执行上述操作。

如上所述，根据图11的示例性实施例的CAS服务尽能够有效且迅速地通知一个用户(父母)由其他用户(儿童)的位置和周围环境触发的事件。用户(父母)还可以获取关于其他用户(儿童)的位置、移动路径和周围环境的信息。

图12是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图12示出以下示例性情形：用户通过语音输入配置并执行规则，从而用户装置100监视以检测规则中指定的条件的达到，并且当条件被达到时执行相应动作。如图12所示，用户可定义在特定环境中控制用户装置100的特定功能的规则。用户装置100根据用户输入执行所述规则，并执行如执行规则中定义的处理用户装置的特定功能的动作。

参照图12，用户可使用用户装置100定义规则。例如，用户可通过操纵用户装置100激活能够产生规则的功能(或应用)，并定义用于在特定环境中执行多个功能(应用)的规则。根据本发明的示例性实施例，用户可产生诸如“如果上了地铁列车，则打开Wi-Fi并执行音乐APP”的规则。可通过经由麦克风143的语音输入或经由输入单元120或触摸屏130的文本输入来产生规则。可使用自然语言实现语音输入和文本输入。在图12的情况下，要检测的情形(例如，条件)可以是由用户明确指定的“如果上了地铁列车”，并且在条件被达到时将采取的动作可以是“打开Wi-Fi并执行音乐APP”。

用户装置100可提供用于在实现相应的功能时选择多个动作(例如，功能和应用)的接口，从而用户可选择在定义的规则中的多个动作。例如，如果用户输入“地铁”作为规则的条件，则用户装置100可显示与条件“地铁”相关联的能够被执行的动作(例如，功能和应用)的列表(动作列表)，以接收用于从动作列表选择将执行的动作(例如，Wi-Fi打开和音乐应用执行)的用户输入。如上所述，用户可在必要时随时随地地实时预定义或产生和重新定义规则。

在定义了规则的状态下，用户可在必要时使用定义的指令(例如，语音、文本和手势)激活和/或执行规则。例如，用户可在上地铁列车之前或上地铁列车时做出指令(例如，诸如“上地铁列车”、“地铁”和“地铁模式”的语音输入)，以执行预定义的规则，如图5A至图5E中的示例性情况。尽管描述是针对指令为通过麦克风143输入的语音指令的情况，但是指令可通过输入单元120或触摸屏130以文本的形式被输入，或以手势的形式被输入。优选的是，语音指令和文本指令是基于自然语言的指令，如上所述。如上所述，当用户打算进行语音输入时，用户可提前采取通知用户装置100使用用于执行规则的语音输入的准备动作(例如，打开麦克风143)。

用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。用户装置100还可以检测条件(情形)的达到。例如，用户装置100可检测在定义的规则中指定的条件1(诸如“上了地铁列车”)的达到，并执行打开Wi-Fi的动作1和执行音乐应用的动作2。用户装置100可处理针对作为动作1和动作2的建立Wi-Fi连接和播放音乐文件而交换的信号。

如果规则被执行并且规则中指定的条件被达到(例如，上地铁列车)，则用户装置100打开Wi-Fi功能并执行音乐应用，且反馈执行结果。例如，如图12所示，用户装置100可显示Wi-Fi打开状态的指示并输出声音作为音乐播放的结果。

根据图12的示例性实施例，当在当前运行的规则中指定的条件被达到时，用户可进行语音输入或行为输入，以执行与所述条件相关联的多个动作。

图13是示出根据本发明的示例性实施例的使用用户装置提供CAS的示例性情形的示图。

图13示出以下示例性情形：用户通过基于自然语言的语音输入或文本输入配置并执行规则，从而用户装置100监视以检测规则中指定的条件的达到，并且当条件被达到时执行相应的动作。例如，当规则被激活时，用户装置100监视以检测与被激活的规则的条件相应的情景。如果检测到所述情景，则用户装置执行与规则的条件相应的工作。如图13所示，用户可定义抽象条件，从而用户装置100根据用户输入执行规则，并控制处理规则中指定的特定功能和与外部装置(或能够与用户装置100通信的对象或者附着有能够与用户装置100通信的装置的对象)的通信。

参照图13，用户可使用用户装置100定义规则。例如，用户可通过操纵用户装置100激活能够产生规则的功能(或应用)，并定义用于执行被指定在特定环境中执行的多个功能(用户装置的功能和外部装置的功能)的规则。

根据本发明的示例性实施例，用户可产生诸如“如果昏暗，则将灯亮度调整为等级2并播放古典音乐”的规则。这时，可通过经由麦克风143的语音输入或经由输入单元120或触摸屏130的文本输入来产生规则。可使用自然语言实现语音输入和文本输入。在图13的情况下，要检测的情形(例如，条件)可以是“如果昏暗”，并且在条件被达到时将采取的动作可以是“如果昏暗，则将灯亮度调整为等级2并播放古典音乐”。

这时，用户装置100可提供用于用户选择在根据用户请求确定规则的过程中执行的多个动作(例如，用户装置的功能控制和外部装置功能控制)的接口。例如，如果用户输入“昏暗”作为规则中指定的条件，则用户装置100可显示与条件“昏暗”相关联的可执行的动作的列表，以提示用户从动作列表选择动作(例如，灯亮度控制、音乐应用执行和古典音乐播放)。用户可在必要时随时随地地实时预定义或产生和重新定义规则。

在定义了规则的情况下，用户可在必要时使用定义的指令(例如，语音、文本和手势)执行规则。例如，用户可做出指令(例如，诸如“昏暗”、“累了”和“昏暗模式”的语音输入)以执行预定义的规则，如图5A至图5E中的示例性情况。尽管描述是针对指令为通过麦克风143输入的语音指令的情况，但是指令可通过输入单元120或触摸屏130以文本的形式被输入，或以手势的形式被输入。优选的是，语音指令和文本指令是基于自然语言的指令，如上所述。如上所述，当用户打算进行语音输入时，用户可提前采取通知用户装置100使用用于执行规则的语音输入的准备动作(例如，使用功能键或窗口小部件的执行按钮打开麦克风143)。

用户装置100可识别并解析语音输入以执行由所述语音输入指示的规则。用户装置100还可以检测条件(情形)的达到。例如，用户装置100可检测在定义的规则中指定的条件(诸如“昏暗”)的达到，并执行通过控制外部装置将灯亮度调整为等级2的动作1和执行音乐应用的动作2以执行完成播放古典音乐的动作3。

在图13的示例性情况中，如果外部装置(例如，起居室的灯或用户装置100有权进行通信和/或控制的其它外部装置)能够与用户装置100通信，则所述外部装置可与用户装置100通信，并且所述外部装置可由用户装置100来直接控制，否则，可使用辅助装置(例如，能够通信的电源控制装置)来间接控制。根据本发明的示例性实施例，用户装置100可与能够通信的电源控制装置通信以调节起居室灯的亮度。

如果存在用于执行规则的指令，则用户装置100可调整外部灯亮度并同时执行音乐应用，并反馈执行结果。例如，如图13所示，用户装置100可将灯亮度调整为等级2并输出声音作为古典音乐播放的结果以及相应的执行屏幕。

如上所述，根据图13的示例性实施例，用户可定义抽象条件并配置规则以根据情形执行动作。根据本发明的示例性实施例，用户可基于自然语音定义用户的条件(诸如“昏暗(或累了)”)，并在条件被达到时动作执行后提供反馈。

在上文中，图6至图13是针对规则和指令被单独定义和配置的情况。然而，根据本发明的各种示例性实施例，用于执行规则的指令可从预定义规则中提取，而无需额外定义。

假设定义了诸如“如果我上了出租车，则每隔5分钟将我的位置发送给父亲和弟弟(妹妹)”的规则，如图7中的示例性情况。如果用户装置100识别规则中的“如果我上了出租车”，则用户装置100可提取诸如“现在乘坐出租车”、“出租车”和“出租车模式”的关联指令(或与为规则的执行所定义的规则中的词语具有高度关联的关联词语或命令)。例如，当在没有指定特定命令的情况下定义了规则的状况下，用户仅通过输入诸如“现在乘坐出租车”、“出租车”和“出租车模式”的关联命令就可以执行规则。

假设定义了诸如“如果在驾驶时接收到来自妻子的文本，则发送我的当前位置信息”的规则，如图8中的示例性情况。用户装置100识别规则中的“在驾驶”并提取关联命令“我将开车”、“驾驶”和“驾驶模式”以执行规则。例如，当在没有指定特定命令的情况下已经定义了规则的状况下，用户可利用关联命令“我将开车”、“驾驶”和“驾驶模式”中的任何一个的输入来执行规则。

如果输入了任何关联命令，则用户装置100可搜索预定义的规则以寻找匹配所述命令的任何一个规则，以执行相应规则。

参照图7和图8描述的操作可应用于图6与图9至图13的示例性情况。例如，可与图9的情形中定义的规则相关联地输入诸如“我将开车”、“驾驶”和“驾驶模式”的关联命令；可与图10的情形中定义的规则相关联地输入诸如“药物”、“检查药瓶下落(whereabouts)”和“服药时间”的关联命令；可与图11的情形中定义的规则相关联地输入诸如“保护模式”、“放学后”和“我将回家”的关联命令；可与图12的情形中定义的规则相关联地输入诸如“上地铁列车”、“地铁”或“地铁模式”的关联命令；可与图13的情形中定义的规则相关联地输入诸如“昏暗”和“累了”的关联命令。因此，用户装置100可在不需要定义额外的命令的情况下基于与预定义规则相应的关联命令执行相应的规则。

图14A和图14B是示出根据本发明的示例性实施例的用于解释在用户装置中暂时停止当前运行的规则的操作的示例性屏幕的示图。

图14A示出了CAS窗口小部件500设置有列出当前运行的规则的执行信息区域520的用户装置100的示例性屏幕。

图14A是针对“出租车”和“地铁”规则正在运行的示例性情况。用户可通过从窗口小部件500的执行信息区域520选择特定规则来停止该规则。例如，在图14A的状态下，用户可选择(例如，做出轻击的触摸手势)“出租车”规则。然后，用户装置100响应于在当前运行的规则(例如，出租车和地铁)中的用户的选择暂时停止规则(例如，出租车)，如图14B所示。

在这种情况下，用户装置100可改变对暂时停止的规则的标记。根据本发明的示例性实施例，用户装置100可将“出租车”规则的状态指示标记从启用状态标记改变为禁用状态标记，如图14B所示。例如，窗口小部件500的执行信息区域520中列出的规则中的每个规则设置有状态指示按钮，其中，状态指示按钮指示相应的规则是被启用还是禁用。

根据本发明的示例性实施例，窗口小部件500可指示当前运行的规则并可根据用户输入暂时停止每个规则。因此，根据用户的意图在必要时停止采用重复动作(例如，周期性地检查条件或发送文本信息的动作)的规则的操作以提高可用性是可能的。

图15A和图15B是示出根据本发明的示例性实施例的用于解释在用户装置中暂时停止当前运行的规则的操作的示例性屏幕的示图。

图15A和图15B示出了根据本发明的示例性实施例的当执行CAS应用(例如，规则列表)时用户装置100的屏幕。

参照图15A和图15B，规则“地铁”当前正在运行，与选择的规则相关联地指定的详细信息呈现在下拉窗口中。例如，用户可选择规则项1510以检查相应规则的详细信息(例如，条件和动作)1520和1530，例如，“Wi-Fi设置：打开”和“声音设置：振动”。

在图15A的状态下，用户可选择在一个规则中指定的多个动作项1520和1530中的一个，以暂时停止运行。例如，用户可在规则“地铁”1510的动作(例如，Wi-Fi设置项1520和声音设置项1530)中选择“Wi-Fi设置”项1520。然后，用户装置100停止与用户在当前运行的规则(例如，“地铁”)1510的动作中选择的项相应的动作(例如，Wi-Fi设置)。

用户装置100可改变停止的动作的状态指示标记。例如，用户装置100可将动作“Wi-Fi设置”的状态指示标记从启用状态标记改变为禁用状态标记，如图15B所示。例如，规则的动作1520和1530中的每个动作设置有状态指示按钮，其中，状态指示按钮指示相应动作被是启用还是禁用。

根据本发明的示例性实施例，当多个动作与一个规则关联地运行时，选择性地停止在当前运行动作列表中列出的各个动作是可能的。

图16A至图16C是示出根据本发明的示例性实施例的用于解释在用户装置中停止当前运行的规则的操作的示例性屏幕的示图。

图16A示出了在CAS窗口小部件500被执行有呈现关于当前运行的规则的信息的执行信息区域520的状态下显示的用户装置100的示例性屏幕。

图16A是针对“出租车”和“地铁”规则当前正在运行的示例性情况。用户可选择(例如，做出轻击的触摸手势)窗口小部件500的指令输入区域(或规则执行按钮)510。然后，控制单元170确定指令输入区域510的选择作为规则执行、当前运行的规则的暂时停止和当前运行的规则的终止中的一个的启动。图16A至图16C是针对暂时停止当前运行的规则的示例性情况。如图16B所示，用户装置100可显示使用消息(例如，“请说出命令”)提示用户输入用于暂时停止规则的指令(例如，语音输入)的弹出窗口1651，并等待用户的语音输入。

在图16B的状态下，用户可进行用于停止目标规则(例如，出租车)的语音输入(例如，“暂时停止出租车”)。然后，控制单元170可识别用户的语音输入并停止当前运行的规则(例如，“出租车”和“地铁”)中与语音相应的规则(例如，“出租车”)。如图16C所示，控制单元170可通过语音输入改变在窗口小部件500的执行信息区域520中选择的规则(例如，“出租车”)的状态指示标记，从而临时停止所述规则。

根据本发明的示例性实施例，控制单元170可将执行信息区域520中的“出租车”规则的状态指示标记从启用状态标记改变为禁用状态标记，如图16C所示。例如，图16C示出了在窗口小部件500的执行信息区域520中暂时停止指定规则(例如，出租车)的状态下的用户装置100的示例性屏幕。

根据本发明的示例性实施例，当前运行的规则通过窗口小部件500被呈现并根据用户的语音输入(例如，“暂时停止OOO“，其中，OOO可为规则或条件)被暂时停止。

图17是示出根据本发明的示例性实施例的在用户装置中具有执行规则的指示的示例性屏幕的示图。

参照图17，当响应于用户请求执行规则时，用户装置100可在显示面板131的屏幕上显示通知项700。可以以表现被执行的规则的图标或文本的形式提供通知项700。例如，如果执行与驾驶相关的规则，则可在屏幕的一部分上设置汽车图像(或文本)形式的通知项700。另外，如果执行与药物相关的规则，则在屏幕的一部分上设置药物或药瓶图像(或文本)形式的通知项700。根据本发明的各种示例性实施例，通过通知项700通知用户当前运行的规则，从而用户直观地感知当前运行的规则。

图17是针对通知项700被设置在显示面板131的一部分上的示例性情况。然而，本发明的示例性实施例不限于此。通知可被呈现在如参照图5E所描述的用于提供用户装置100的各种操作状态信息的指示符区域中。

图18A和图18B是示出了根据本发明的示例性实施例的具有通知在用户装置中执行的规则的项的示例性屏幕的示图。

参照图18A和图18B，用户装置100可在显示面板131的屏幕上的指示符区域1850上的一部分处设置通知项550。根据本发明的示例性实施例，通知项550呈现在指示符区域1850的左部，以通知当前运行的规则。

参照图18A和图18B，在本发明的各种示例性实施例中，当至少一个规则当前正运行时通知项550可被呈现。

参照图18A的示例性情况，如窗口小部件500的执行信息区域520中所示，多个规则(例如，“出租车”和“地铁”两个规则)正在运行。参照图18B，执行信息区域520中列出的规则(例如，规则“出租车”和“地铁”)中的一个(例如，“地铁”)被启用，而另一规则(例如，“出租车”)被禁用(例如，如示例性实施例中所描述的被暂时停止)。

根据本发明的各种示例性实施例，用户装置100可使用通知项550通知用户至少一个当前运行的规则的存在。然而，本发明的示例性实施例不限于此。可每个规则设置通知项。这意味着可在指示器区域1850中呈现与当前运行的规则的数量匹配的多个通知项。

图19A和图19B是示出根据本发明的示例性实施例的具有通知在用户装置中执行的规则的项的示例性屏幕的示图。

参照图19A和图19B，当响应于用户请求执行规则时，用户装置100可在显示面板131的屏幕上的指示符区域1850处显示通知当前运行的规则的存在的通知项550。根据本发明的示例性实施例，如果当前运行的规则暂时停止，则用户装置100可使用指示符区域1850的相应的通知项550通知暂时停止的规则的存在。

如图19A的示例性情况所示，如果通过用户选择暂时停止当前运行的规则(例如，出租车)，则用户装置100将通知项550的状态切换至禁用状态。窗口小部件500的执行信息区域520指示出租车规则目前没有在运行。

根据本发明的示例性实施例，如图19B所示，可以以代表相应规则的图标或应用执行图标的形式设置通知项550。为了直观表示，图标可以以启用状态图标和禁用状态图标中的一个来呈现。

图20A至图20C是示出根据本发明的示例性实施例的具有通知在用户装置中执行的规则的项的示例性屏幕的示图。

参照图20A至图20C，用户装置100可在指示符区域1850中设置至少一个执行程序的通知项550。根据本发明的示例性实施例，用户可选择(例如，轻击、做出触摸手势等)指示符区域1850的通知项550或者触摸并向下拖动指示符区域1850以显示快速面板2010。

快速面板2010可被配置为显示各种功能(例如，Wi-Fi、GPS、声音、屏幕旋转、省电模式等)的设置，并以响应于用户输入滑动以全部或部分地覆盖显示器的屏幕的半透明窗口的形式快速配置所述设置。在本发明的各种示例性实施例中，快递面板2010可设置有代表当前被执行的相应规则的信息项2050，如图20B所示。因此，用户能够通过快速面板2010检查由直观地呈现在指示符区域1850中的通知项550所代表的至少一个规则的条件和动作。

在图20B的状态下，用户可选择(例如，轻击、做出触摸手势等)快速面板2010的信息项2050以检查关于相应规则的详细信息，如图20C所示。响应于信息项2050的选择，用户装置100可显示与(由用户选择的信息项所代表的)当前运行的规则相应的详细信息。在本发明的各种示例性实施例中，在保持快速面板2010的状态下，可以以呈现在快速面板2010上的文本弹出窗口、通过如上所述的屏幕切换的规则列表或语音输出的形式提供详细信息。

根据本发明的各种示例性实施例，如果指示符区域1850的通知项550被触摸，用户装置100可以以语音或文本输出的形式反馈规则中指定的条件和动作。

根据各种示例性实施例，如果触摸或者触摸并拖动指示器区域1850的通知项550，则快速面板2010被显示以示出代表相应规则的信息项2050。如果触摸了信息项2050，则可以以语音输出的形式反馈关于相应规则的详细信息(例如，条件和动作)。根据本发明的示例性实施例，如果选择了信息项2050，如图20C所示，则可输出“[家]在运行”的语音。当然，可以以语音和文本中的至少一种的形式输出诸如“铃声是钟声”和“Wi-Fi打开”的各种通知。

图21A和图21B是示出根据本发明的示例性实施例的与用户装置中通知执行规则的操作相关联的示例性屏幕的示图。

图21A和图21B示出了根据本发明的示例性实施例的使用窗口小部件500通知用户当前运行的规则的示例性操作。

参照图21A，在当前运行的规则(例如，家)被显示在窗口小部件500的执行信息区域520中的状态下，用户可选择相应规则。然后，用户装置100可以以文本或语音反馈的形式反馈关于在执行信息区域520中选择的规则的详细信息。

例如，如图21B所示，用户装置100可以以文本弹出窗口2150的形式输出与用户选择的规则(例如，家)相关联地配置的条件和动作，诸如“[家]在运行，铃声是钟声，Wi-Fi打开”。用户装置100还可以以语音反馈的形式或者以语音和文本反馈两者的形式输出根据由用户配置的设置的详细信息。

图22A至图22C是示出根据本发明的示例性实施例的与在用户装置中终止当前运行的规则的操作相关联的示例性屏幕的示图。

图22A示出了根据本发明的示例性实施例的在CAS窗口小部件500被执行的状态下的用户装置100的示例性屏幕，其中，CAS窗口小部件500在窗口小部件500的执行信息区域520中示出了关于当前运行的规则的信息。

图22A是针对当前运行的规则是“地铁”的情况。在这种情况下，关于“地铁”的信息被显示在窗口小部件500的执行信息区域中，并且指示当前正在运行的规则“地铁”的通知项550被显示在指示符区域1850处。

用户可选择(例如，做出轻击的触摸手势)指令输入区域(规则执行按钮)510。然后，控制单元170确定在指令输入区域510中的选择与规则执行、当前运行的规则的临时停止和当前运行的规则的终止中的一个的启动相应。图22A至图22C是针对终止当前运行的规则的示例性情况。如图22B所示，用户装置100可显示使用向导消息(例如，“请说出命令”)提示用户输入用于终止规则的指令(例如，语音输入)的弹出窗口2251，并等待用户的语音。

在图22B的状态下，用户可进行用于终止规则(例如，“地铁”)的执行的语音输入(例如，“结束地铁”)。然后，控制单元170可识别语音输入，并终止由语音输入指示的规则(例如，“地铁”)。控制单元170可通过反映规则(例如，“地铁”)的终止来改变窗口小部件500的执行信息区域520的显示，如图22C所示。控制单元170可控制使得通过反映规则“地铁”的终止来使通知项550在指示区域1850中消失。

根据本发明的示例性实施例，控制单元170可在执行信息区域520中将规则“地铁”的状态的显示从启用状态改变为禁用状态，如图22C所示。图22C示出了用户装置100的示例性屏幕，在该示例性屏幕中，规则(例如，地铁)根据用于相应规则的终止的用户的语音输入在窗口小部件500的执行信息区域520中消失。当规则“地铁“被终止时，与规则“地铁”相关的信息项被通知说明“没有正运行的规则”取代。在当前运行的规则中的一个被终止的情况下，仅与终止的规则相应的信息项消失，而与其它的当前运行的规则相应的信息项保留在执行信息区域520中。

根据本发明的各种示例性实施例，可响应于以“终止000”形式命令规则的终止的用户的语音输入来终止当前规则。在本发明的各种示例性实施例中，如果特定规则响应于用户输入被终止，则与所述规则的条件和动作相关联地配置的至少一个设置可被自动恢复到相应规则的执行之前的状态。

图23A和图23B是示出了根据本发明的示例性实施例的与在用户装置中终止当前运行的规则的操作相关联的示例性屏幕的示图。

图23A和图23B示出了提供用于终止用窗口小部件500或规则列表中的项表示的规则的结束按钮并使用所述结束按钮终止相应规则的示例性操作。

如图23A所示，窗口小部件500示出了规则“地铁”当前正在运行。如图23A所示，通知项550设置在指示符区域1850上以指示任何当前运行的规则的存在。

用户可使用在终止规则“地铁”之前被映射到当前运行的规则的结束按钮525来终止相应规则的操作。例如，用户可在窗口小部件500的执行信息区域520中选择(例如，轻击或触摸手势)代表规则(例如，“地铁”)的信息项，如图23A所示。

控制单元170识别对结束按钮525做出的用户输入并终止与结束按钮525相应的规则(例如，“地铁”)。如图23B所示，控制单元170可控制使得代表由用户终止的规则(例如，“地铁”)的项在执行信息区域520中消失。控制单元170还可控制使得通知项550由于规则的终止而在指示符区域1850中消失。

根据示例性实施例，控制单元170可在执行信息区域520中将规则“地铁”的执行状态从启用状态改变为禁用状态，如图23B所示。图23B示出了在指示规则(例如，地铁)的启用状态的项响应于结束按钮525的选择从窗口小部件的执行信息区域消失的状态下的用户装置100的示例性屏幕。响应于用于终止当前运行的规则“地铁”的请求，指示规则“地铁”的启用状态的信息项被通知项“没有正运行的规则”所代替。假设多个运行规则中的一个被终止，仅终止的规则的信息项消失，而与其它当前运行的规则相应的信息项被保留在执行信息区域520中。

图24和图25是示出根据本发明的示例性实施例的在用户装置中终止CAS服务的情形的示图。

参照图24，用户可做出为终止规则而预定义的指令(例如，语音、文本、窗口小部件的终止按钮的选择和手势)以结束当前运行的规则中的一个。规则终止指令可以是语音指令或文本指令。规则可通过预先设计的功能键、在窗口小部件500中每个规则设计的按钮、文本写入(text-scribing)输入或预定义的手势被终止。

例如，如图24所示，用户可基于自然语言进行诸如“结束000(与规则相应的命令)”、“到家”和“将要到家”的语音输入。然后，用户装置可识别并解析语音输入，并且如果语音输入与预定指令匹配，则结束规则。在本发明的各种示例性实施例中，可对每个规则设置规则终止指令。规则终止指令可被设置为针对所有规则的通用指令。在通用规则的情况下，做出终止指令一次结束所有当前运行的规则是可能的。

参照图25，尽管用户没有输入用于终止当前运行的规则的任何指令，但是当特定条件被达到时，用户装置100终止规则或提示用户终止规则。

例如，如图25所示，用户装置100可监视当前运行的规则的情形并确定所述情形是否达到使用映射表注册的规则终止条件。在本发明的各种示例性实施例中，当预定持续时间内没检测到情形改变或者用户指定的规则终止条件(例如，语音输入、规则终止功能键选择和保持用于终止规则的特定条件)被满足时，可达到规则终止条件。

当规则终止条件被达到时，用户装置100可显示呈现用于提示用户终止相应规则的消息(例如，“终止驾驶模式？”)的弹出窗口900，并根据用户与弹出窗口900的交互保持或终止相应规则。

图26A和图26B是示出根据本发明的示例性实施例的与在用户装置中删除规则的操作相关联的示例性屏幕的示图。

图26A和图26B示出了执行CAS应用(例如，规则列表)时用户装置100的示例性屏幕。

图26A和图26B是针对由用户定义的三个规则“家”、“出租车”和“地铁”被存储在用户装置100中的示例性情况。在三个规则呈现在规则列表中的状态下，用户可通过菜单操纵、语音输入或手势输入做出删除指令。

例如，在图26A的状态下，用户可通过操作用户装置100的菜单、做出“删除规则”的语音或文本输入或者做出手势输入，来请求删除功能的执行。然后，用户单元170可响应于用户输入激活规则删除功能并显示能够删除规则的屏幕界面，如图26B所示。根据本发明的示例性实施例，预定规则的列表可与每个规则的选择项2600(例如，复选框)一起显示，如图26B所示。

用户可通过勾选(check)相应选择项选择至少一个规则。这时，控制单元170可使用标记勾选选择项2600以指示选择了相应的规则。根据示例性实施例，未勾选的选择项2600呈现为空框(例如，其中没有勾选标记的选择框)，而勾选的选择项2600呈现为其中具有勾选标记的框。用户可通过菜单操纵或使用删除按钮删除至少一个被选择的规则。

尽管图26A和图26B是针对使用菜单和选择项2600删除规则的示例性情况，但是用户可通过输入语音或文本指令删除规则。例如，在图26A和图26B的状态下，用户可做出“删除家”的语音或写入输入来删除规则“家”。

图27是示出根据本发明的示例性实施例在用户装置中产生规则的过程的流程图。

参照图27，在步骤1001，控制单元170(例如，规则配置模块173)接收请求CAS的用户输入。例如，用户可执行用于通过输入单元120、麦克风143和触摸屏130中的一个来定义规则的配置模式。在配置模式下，用户可以以通过麦克风的语音输入或者通过输入单元120或触摸屏130的文本输入的形式做出用于定义规则的输入。然后。控制单元170可在配置模式下识别用于CAS的用户输入。用户可通过上述输入方式中的一种来输入与规则、条件(或情形)和动作相关联的指令。

例如，用户可定义规则“如果上了出租车，则发送文本”，指定被发送该文本的至少一个目标用户装置(例如，“父亲”)，并定义规则执行指令“我上了出租车”。如在本发明的上面的示例性实施例中所描述的，定义诸如“如果我上了出租车，每隔5分钟将我的位置发送给父亲和弟弟(妹妹)”或“如果接收到来自父亲的包括“哪里”的文本消息，则向父亲发送文本消息”的详细规则是可能的。

在步骤1003，控制单元170识别用户输入。例如，控制单元170可在规则配置模式下识别通过相应的输入手段输入的语音或文本。例如，控制单元170执行用于识别通过麦克风143输入的语音的语音识别功能或用于识别通过输入单元120或触摸屏130输入的文本的文本识别功能。可优选的是，基于自然语言做出语音和文本指令,如上所述。

在步骤1005，控制单元170解析识别的用户输入(例如，基于自然语言的语音或文本)。例如，控制单元170解析基于自然语言的语音指令以提取并识别用户计划的规则、条件和规则执行命令。根据向导可连续输入规则、条件(情形)、动作和规则执行指令。控制单元170还可以根据识别的情形搜索执行动作的项(例如，要检测的情形、目标和命令)作为解析用户输入的结果，以检查缺少的部分。根据本发明的示例性实施例，控制单元170可通过提供用于产生规则的向导并根据向导接收信息基于与用户的交互来产生规则。

例如，当用户在没有指定目标的情况下定义诸如“如果我上了出租车，则发送文本”的用于情形识别的规则时，控制单元170可识别出缺少文本消息的目的地(例如，目标)。当在没有指定目标的情况下所定义的规则的动作被执行时，控制单元170可引导指定目标。例如，控制单元170可执行与用户的语音或文本交互直到获取根据该动作的另外的信息。根据本发明的示例性实施例，控制单元170可显示诸如“请说出接收者”或“发送到哪里”的弹出文本(使用语音向导)。然后，用户可做出诸如“稍后指定”、“男朋友”和“发送给父亲”的语音输入。可通过基于自然语言的语音或文本输入指定目标，如上所述。可使用另外的信息来补充规则；根据上述的过程，控制单元170可对语音输入执行识别和解析，并将相应项匹配到一个规则。

在步骤1007，控制单元170基于解析的用户输入管理针对CAS定义的规则。例如，控制单元170可在通过解析用户输入获取的规则、条件(情形)、动作和规则执行指令之间进行彼此映射，并将映射存储在映射表中以进行管理。

尽管在图27中未描述，但是根据本发明的各种示例性实施例，可在定义规则的过程时提供用户向导。例如，用户可通过用虚拟键盘进行打字或用特定输入工具(例如，电子笔或用户的手指)在触摸屏上进行书写来输入用于产生规则的指令。然后，控制单元170可提供能够识别通过写入或键盘打字所输入的文本并基于识别的文本定义规则的屏幕接口。

屏幕界面可提供条件和动作(或功能或应用)的列表(例如，条件列表和动作列表)，并且用户可选择性地打开/关闭条件和动作(或功能或应用)。例如，如果用户打算定义用于在办公室关闭GPS功能的规则，则用户可通过电子笔(写入输入或基于触摸键盘的字符选择输入)在用户装置100的屏幕上输入“办公室”。

根据本发明的各种示例性实施例，用户装置100可提供能够接收写入输入或打字输入的屏幕接口(例如，命令板或触摸板)。用户装置100可识别通过输入工具(电子笔或用户的手指)在诸如命令板和触摸板的屏幕接口上进行写入或打字所输入的文本“办公室”。然后，控制单元170控制以显示配置列表屏幕，从而用户打开/关闭与配置列表屏幕上的“办公室”相关联的条件和动作(功能或应用)中的至少一个。

根据本发明的示例性实施例，可通过语音或文本输入功能中的一个来定义规则。可通过写入/键入如上所述的自然语言指令进行或者通过命令板或触摸板输入关键词(例如，“办公室”)并且然后关闭/打开列表中呈现的动作中的至少一个来进行文本输入。

图28是示出根据本发明的示例性实施例的在用户装置中提供CAS的过程的流程图。

图28示出了响应于用户交互在用户装置100上执行规则并且当规则中指定的条件(情形)被达到时采取动作的操作过程。

参照图28，在步骤1101，控制单元170接收用于CAS的用户指令。例如，用户可通过麦克风143进行用于执行针对CAS定义的规则的语音输入。然后，控制单元170可通过麦克风143接收用户的语音指令。根据本发明的各种示例性实施例，可以以通过麦克风143的语音输入、通过输入单元120或触摸屏130的文本输入、或者手势输入的形式来输入用于执行规则的指令。

根据本发明的各种示例性实施例，将用户装置100的功能键中的一个指定为指令键(例如，窗口小部件500的规则执行按钮或快捷键)以等候用户的语音输入是可能的。在这种情况下，当选择了指令键时，控制单元170等候针对CAS的用户的语音输入，并尝试对在待机状态下进行的语音输入进行语音识别。所述待机状态可被配置为在待机模式命令之后或仅在按下指令键时被保持。

在步骤1103，控制单元170识别由用户输入的指令。例如，控制单元170可从用户的语音输入提取命令规则的执行的命令。

在步骤1105，控制单元170解析识别的指令。例如，控制单元170可解析识别的用户语音(例如，“我上了出租车”)以提取规则执行命令(例如，“出租车”)。

在步骤1107，控制单元170确定在预定规则中是否存在与提取的执行命令匹配的任何规则。

如果在步骤1107不存在与所述执行命令匹配的规则，则在步骤1109，控制单元170控制以显示向导。例如，控制单元170可显示通知不存在用户需要的规则的弹出向导。控制单元170还可以以向导弹出的形式显示询问是否定义与相应命令相关联的规则的向导。控制单元170还可提供由用户定义的规则的列表。

在显示向导之后，在步骤1111，控制单元170控制以根据用户的请求执行操作。例如，控制单元170可根据用户的选择终止规则，根据用户的选择定义与命令相关联的新规则，或者处理从规则列表选择特定规则的操作。

如果在步骤1107规则与所述执行命令匹配，则在步骤1113，控制单元170确定与所述执行命令匹配的规则的数量是否大于1。例如，用户可定义与一个指令匹配的一个或多个规则。根据示例性实施例，用户可定义多个规则(例如，第一规则“如果在驾驶时从指定的外部装置接收到事件，则发送当前位置”、第二规则“如果驾驶速度等于或大于100Km/h，则输出警报”、和第三规则“如果驾驶速度等于或大于60Km/h，则增大收音机音量”)。作为示例，用户可使用命令“驾驶1”定义第一规则，使用命令“驾驶2”定义第二规则，使用命令“驾驶3”定义第三规则。

如果与所述执行命令匹配的规则的数量不大于1(例如，如果只有一个规则与所述执行命令匹配)，则在步骤1115，控制单元170可控制以执行根据单个规则的动作。例如，控制单元170监视以检测在相应规则中指定的条件(情形)是否被达到，并且当所述条件(情形)被达到时执行一个或多个动作。

如果在步骤1113与所述执行命令匹配的规则的数量大于1，则在步骤1117，控制单元170控制以执行和与所述执行命令匹配的多个规则相应的动作。例如，控制单元170可监视在与所述执行命令匹配的多个规则中指定的条件(情形)，并且每当至少一个条件被达到时执行条件被达到的每个规则的动作。

尽管在图28中未描述，但是控制单元170可提供提示(推荐)与一个指令匹配的多个规则中的一个的界面。控制单元170可控制以执行根据由用户(通过语音、文本或手势指令的选择输入)选择的多个规则的多个动作，或者执行根据单个选择的规则的单个动作。

尽管在图28中未描述，但是控制单元170可根据用户输入检查规则中用于动作的执行的项(例如，条件(例如，要被识别的条件(情形)或目标))，以检查缺少部分。控制单元170可在执行规则的过程中检查用户的交互。

例如，当用户在没有指定目标的情况下定义诸如“如果我上了出租车，则发送文本”的用于情形识别的规则时，控制单元170可识别缺少文本消息的目的地(例如，目标)。在这种情况下，当在检测到相应条件被达到时准备执行发送文本消息的动作时，控制单元170可识别缺少目的地。当在没有指定目标的情况下所定义的规则的动作被执行时，控制单元170可引导指定目标。根据本发明的示例性实施例，控制单元170可显示诸如“将文本发送给谁？”的弹出文本(使用语音向导)。然后，用户可通过基于自然语言的语音或文本输入来指定文本消息所寻址的目标(诸如“发送给父亲”)。

图29是示出根据本发明的示例性实施例的在用户装置中提供CAS的过程的流程图。

具体地讲，图29示出了执行规则、检查在规则中指定的一个或多个条件(情形)以执行动作或解除当前运行的规则的示例性过程。

参照图29，在步骤1201，控制单元170根据用户请求执行规则。接下来，在步骤1203，控制单元170反馈执行信息(例如，通知项)作为规则执行的结果。例如，控制单元170可控制以在显示面板131的屏幕上显示与执行的规则相关联的项(图标或文本)，如上所述。

在步骤1205，控制单元170检查在规则中指定的条件。例如，控制单元170连续或周期性地监视以检测在当前运行的规则中指定的条件(情形)是否被达到。

在步骤1207，控制单元170基于检查结果确定动作执行条件是否被达到。例如，控制单元170监视在当前运行的规则中指定的至少一个条件(情形)以通过参照映射表确定当前情形是否与规则中指定的动作执行的特定条件匹配。

如果在步骤1207用户装置170的条件(情形)与动作执行条件匹配，则在步骤1209，控制单元170控制由条件的完成所触发的动作的执行。例如，控制单元170监视条件或情形，并且如果条件或情形与动作执行条件匹配，则执行相应动作。动作可以是执行规则中指定的功能(或应用)，产生执行结果(例如，情景信息)并将执行结果输出给用户或其它人。

如果在步骤1207用户装置100的条件(情形)与动作执行条件不匹配，则在步骤1211，控制单元170确定用户装置100的条件(情形)是否与规则解除条件匹配。例如，控制单元170监视在当前运行的规则中指定的某个条件，并通过参照映射表确定当前情形是否与规则中指定的规则解除条件匹配。当在用户配置的持续时间内在情形中不存在变化时或者当满足用户指定的规则解除条件(例如，规则解除语音指令、功能键输入、文本输入、手势输入和特定条件的持续)时，可达到规则解除条件。

如果在步骤1211用户装置100的条件(情形)与规则解除条件不匹配，则控制单元170使过程返回至步骤1205，以继续检查用户装置的条件。

如果在步骤1211用户装置100的条件(情形)与规则解除条件匹配，则在步骤1213，控制单元170解除当前运行的规则，并在步骤1215反馈规则解除信息。例如，控制单元170可控制以输出音频、视频和触觉反馈中的至少一个。根据本发明的示例性实施例，控制单元170可控制以按音频警报(例如，语音和声音效果)、弹出窗口和振动中的至少一个的形式来输出规则解除反馈。

尽管在图29中未描述，但是当规则解除条件被达到时，控制单元170可呈现提示用户终止执行的规则的弹出消息，以根据用户的选择保持或解除当前运行的规则。

图30是示出根据本发明的示例性实施例的在用户装置中提供CAS的过程的流程图。

参照图30，在步骤1301，控制单元170监视以在响应于用户请求而执行的规则正运行的状态下检测事件，并在步骤1303，确定是否检测到事件。例如，控制单元170可监视以检测与当前运行的规则相关联地指定的内部或外部事件(条件)。

事件(条件)可包括作为内部条件的变化的结果的在用户装置100中发生的内部事件和从外部接收的外部事件。根据本发明的示例性实施例，内部事件可包括用户装置100的移动速度快于预定阈值时发生的事件、以预定时间间隔周期性发生的事件、响应于用户的语音或文本输入发生的事件、作为操作(例如，运动和照度)的改变的结果而发生的事件等。外部事件可包括从外部接收消息(具体地讲，从在当前运行的规则中指定的目标用户装置接收消息)的事件。

如果在步骤1303检测到事件，则在步骤1305，控制单元170检查在执行规则中指定的要执行的功能。例如，控制单元170可检查在当前运行的规则中指定的功能(或应用)作为在相应事件(条件)被达到时要执行的动作。

在步骤1307，控制单元170激活检查的功能，并在步骤1309通过激活的功能执行动作。例如，如果与在执行规则中指定的事件(条件)相应的动作是控制用户装置100的音量，则控制单元170控制以激活音量控制功能。如果与在执行规则中指定的事件(条件)相应的动作是发送用户装置100的当前位置，则控制单元170激活诸如GPS功能(导航功能)的位置信息发送功能(或应用)和消息传送功能，从而用户装置100向目标装置发送关于用户装置100的位置信息。例如，控制单元170可根据将执行的动作的类型执行功能(应用)或至少两个可互操作的功能(应用)。

在步骤1311，控制单元170控制以反馈相关信息作为动作执行的结果(例如，从动作的执行产生的信息)。例如，控制单元170可控制以显示向用户呈现音量等级的屏幕界面同时响应于用户的操作调整音量。控制单元170还可以控制以输出通知将用户装置100的位置信息发送给指定的目标装置的屏幕界面和/或声音(音效)。

如果在步骤1303没检测到事件(条件)，则在步骤1315，控制单元170确定当前情形是否匹配规则解除条件。例如，控制单元170可监视在当前运行的规则中指定的条件，并通过参照映射表确定当前情形是否与规则中指定的规则解除条件匹配。

如果在步骤1315当前情形与规则解除条件不匹配，则在步骤1301，控制单元170使过程返回以继续监视事件。

如果在步骤1315当前情形与规则解除条件匹配，则控制单元170在步骤1317解除当前运行的规则，并在步骤1319反馈解除信息作为规则解除的结果(例如，从规则的解除产生的信息)。例如，如果规则解除条件被达到，则控制单元170可显示提示用户终止当前运行的规则的弹出消息，从而根据用户的选择保持或解除当前运行的规则。控制单元170可以以音频、视频和触觉反馈中的至少一种的形式来通知用户当前运行的规则的解除。

图31A至图31N是示出根据本发明的示例性实施例的与在用户装置中产生规则的操作相关联的示例性屏幕的示图。

图31A至图31N示出了按照以下方式定义规则的过程：控制单元170(例如，规则配置模块173)识别用户写入的基于自然语言的文本输入，并响应于识别的文本输入定义规则(条件和动作)。

图31A至图31N可与以上参照图3A至图3K或者图4A至图4J描述的规则产生过程相应。例如，图31A可相应于图4A，图31C相应于图4B，图31E相应于图4C，图31G相应于图4D，图31I相应于图4E，图31K相应于图4F，图31L相应于图4I以及图31N相应于图4J。在参照图31A至图31N的以下描述中，与参照图4A至图4J描述的操作相同或相应的操作被省略或被简要地提及。

例如，图31A至图31N示出了根据本发明的示例性实施例的与图4A至图4J的操作相应地产生规则的操作。然而，图31A至图31N是针对基于用户的文本写入输入而不是语音输入产生规则的情况。与基于语音输入的规则产生过程(图4A至图4J)不同，图31A至图31N示出了基于用户的文本写入输入产生规则的操作。

在图31A至图31N的示例性情况下，用于产生规则的用户输入是基于文本的，因此，用户装置100可为与用户交互提供弹出消息“文本输入”而不是“语音输入”。根据本发明的示例性实施例，图4A的弹出窗口451用正说话的人的象形图和诸如“请说出000”的文本来提示用户进行语音输入。然而，在图31A、图31E、图31G和图31L中，弹出窗口3151、3155、3157和3167用在手写的笔的象形图和诸如“请写入000”的文本来提示用户进行文本输入。

在图31A至图31N的示例性情况下，通过写入文本而不是说出文本来进行用户输入。如图31B、图31D、图31F、图31H、图31J和图31M所示，用户装置100可响应于用于提供信息的请求来提供写入窗口以接收用户的响应(例如，文本输入)。根据本发明的示例性实施例，用户装置100可显示诸如“请写入命令”的向导(询问)，之后显示写窗口3100以接收写入输入的用户的文本(例如，出租车)。

根据本发明的各种示例性实施例，可通过用户装置100和用户之间的交互进行规则产生过程，并且用户可通过根据用户装置100的向导进行规则的动作和条件的基于自然语言的文本输入来配置规则。例如，用户装置100可接收由用户做出的用于配置构成规则的条件和规则的基于自然语言的文本输入，并根据通过图31A至图31N的步骤输入的用户指令来配置相应的规则。

图32A至图32E是示出了根据本发明的示例性实施例的与在用户装置中执行规则的操作相关联的示例性屏幕的示图。

图32A至图32E示出了当控制单元170的规则执行模块175接收用户的基于自然语言的文本写入并响应于用户输入执行规则，控制单元170的条件检查模块175监视以检测在规则中指定的条件的达到，并且动作执行模块179执行与达到的条件相应的至少一个动作时的用户装置100的示例性屏幕。

图32A至图32E可与以上参照图5A至图5E描述的规则执行过程相应。例如，图32A可相应于图5A，图32B相应于图5B，图32D相应于图5C并且图32E相应于图5D。在参照图32A至图32E的以下描述中，与参照图5A至图5E描述的操作相同或相应的操作被省略或被简要地提及。

例如，图32A至图32E示出了根据本发明的示例性实施例的与图5A至图5E的操作相应地执行规则的操作。然而，图32A至图32E是针对基于用户的文本写入输入而不是语音输入产生规则的情况。与基于语音输入的规则执行过程(图5A至图5E)不同，图32A至图32E示出了基于用户的文本写入输入执行规则的操作。

在图32A至图32E的示例性情况下，用于执行规则的用户输入是基于文本的，因此，用户装置100可为与用户交互提供弹出消息“文本输入”而不是“语音输入”。根据本发明的示例性实施例，图5B中的弹出窗口551使用正说话的人的象形图和诸如“请说出000”的文本来提示用户进行语音输入。然而，在图32B中，弹出窗口3251用在手写的笔的象形图和诸如“请写入000”的文本来提示用户进行文本输入。

参照图32A至图32E，通过写入文本而不是说出文本来进行用户输入。如图32C所示，用户装置100可响应于提供信息的请求来提供写入窗口以接收用户的响应(例如，文本输入)。根据本发明的示例性实施例，用户装置100可显示诸如“请写入命令”的向导(询问)，之后显示写入窗口3200以接收写入输入的用户的文本(例如，地铁)。

根据本发明的各种示例性实施例，可通过用户装置100和用户之间的交互进行规则产生过程，并且用户可通过根据用户装置100的向导进行基于自然语言的文本输入来执行规则。例如，用户装置100可根据通过图32A至图32E的步骤输入的用户指令接收用于执行规则的由用户做出的基于自然语言的文本输入。

根据本发明的各种示例性实施例，用户可使用窗口小部件500执行规则。根据本发明的示例性实施例，用户可选择窗口小部件500的指令输入区域(或规则执行按钮)510以输入配置的规则(或命令)的文本。然后，控制单元170以文本弹出或语音公告(例如，语音合成(TTS))的形式将关于将执行的动作的信息与规则的开始的通知一起反馈给用户。控制单元170将执行的规则添加到执行信息区域520并在指示符区域显示通知当前运行的规则的存在的通知项。

如图32A所示，基于文本输入的窗口小部件500可与基于语音输入的窗口小部件500分开设置。根据示例性实施例，可在指令输入区域(或规则执行按钮)510中使用正说话的人的象形图设置图5A的窗口小部件500，以指示语音识别功能正在运行。可以在指令输入区域(或规则执行按钮)510中使用在手写的笔的象形图(例如，图标)设置图32A的窗口小部件500，以指示文本识别功能正运行。

图33A至图33D是示出根据本发明的示例性实施例的与在用户装置中暂停当前运行的规则的操作相关联的示例性屏幕的示图。

参照图33A至图33D，控制单元170识别由用户做出的基于自然语言的文本写入输入，并响应于文本输入暂时停止当前运行的规则。

图33A至图33D可与以上参照图16A至图16C描述的规则暂停过程相应。例如，图33A可相应于图16A，图33B相应于图16B并且图33D相应于图16C。在参照图33A至图33D的以下描述中，与参照图16A至图16C描述的操作相同或相应的操作被省略或被简要地提及。

例如，图33A至图33D示出了根据本发明的示例性实施例的与图16A至图16C的操作相应的暂停规则的操作。然而，图33A至图33D是针对基于用户的文本写入输入而不是基于语音输入产生规则的情况。与基于语音输入的规则执行过程(图16A至图16C)不同，图33A至图33D示出了基于用户的文本输入暂停规则的操作。

在图33A至图33D的示例性情况下，用于暂停规则的用户输入是基于文本的，因此，用户装置100可为与用户交互提供弹出消息“文本输入”而不是“语音输入”。根据本发明的示例性实施例，图33B中的弹出窗口3351使用在手写的笔的象形图(例如，图标)和诸如“请写入000”的文本来提示用户进行文本输入。

在图33A至图33D的示例性情况下，通过写入文本而不是说出文本来进行用户输入。如图33C所示，用户装置100可响应于提供信息的请求来提供写入窗口3300以接收用户的响应(例如，写入输入)。根据本发明的示例性实施例，用户装置100可显示诸如“请写入命令”的向导(询问)，之后显示写窗口3300以接收写入输入的用户的文本(例如，暂停出租车)。

根据本发明的各种示例性实施例，可通过用户装置100和用户之间的交互进行规则暂停过程，并且用户可通过根据用户装置100的向导进行基于自然语言的文本输入来暂停规则。例如，用户装置100可根据通过图33A至图33D的步骤输入的用户指令接收用于暂停规则的用户做出的基于自然语言的文本输入。

根据本发明的各种示例性实施例，用户可使用窗口小部件500执行规则。根据本发明的示例性实施例，用户可选择窗口小部件500的指令输入区域(或指令执行按钮)510以输入用于暂停当前运行的规则的文本指令。按照这种方式，用户可暂时停止至少一个规则的周期性操作。例如，控制单元170可响应于用户的文本输入(诸如，“暂时停止000”)暂停相应的规则。

图34A至图34D是示出根据本发明的示例性实施例的与在用户装置中终止当前运行的规则的操作相关联的示例性屏幕的示图。

图34A至图34D可与以上参照图22A至图22C描述的规则终止过程相应。例如，图34A可相应于图22A，图34B相应于图22B并且图34D相应于图22C。在参照图34A至图34D的以下描述中，与参照图22A至图22C描述的操作相同或相应的操作被省略或被简要地提及。

例如，图34A至图34D示出了根据本发明的示例性实施例的与图22A至图22C中的操作相应地终止规则的操作。然而，图34A至图34D是针对基于用户的文本输入而不是语音输入来终止规则的情况。与基于语音输入的规则终止过程(图22A至图22C)不同，图34A至图34D示出了基于用户的文本写入输入来终止规则的操作。

在图34A至图34D的示例性情况下，用于终止规则的用户输入是基于文本的，因此，用户装置100可为与用户交互提供弹出消息“文本输入”而不是“语音输入”。根据本发明的示例性实施例，图34B中的弹出窗口3451用在手写的笔的象形图和诸如“请写入000”的文本来提示用户进行文本输入。

在图34A至图34D中的示例性情况下，通过写入文本而不是说出文本来进行用户输入。如图34C所示，用户装置100可响应于提供信息的请求来提供写入窗口3400以接收用户的响应(例如，文本输入)。根据本发明的示例性实施例，用户装置100可显示诸如“请写入命令”的向导(询问)，之后显示写入窗口3400以接收写入输入的用户的文本(例如，终止地铁)，如图34C所示。

根据本发明的各种示例性实施例，可通过用户装置100和用户之间的交互进行规则终止过程，并且用户可通过根据用户装置100的向导进行基于自然语言的文本输入来终止规则。例如，用户装置100可根据通过图34A至图34D的步骤输入的用户指令接收用于终止规则的由用户做出的基于自然语言的文本输入。

根据本发明的各种示例性实施例，用户装置可使用窗口小部件500执行规则。根据本发明的示例性实施例，用户可选择窗口小部件500的指令输入区域(或规则执行按钮)510以输入用于终止当前运行的规则的文本指令。另外，根据本发明的各种示例性实施例，控制单元可控制使得当根据用户的文本输入终止相应规则时，用户装置100使用户装置的配置自动恢复到相应规则的执行之前的状态。

根据本发明的示例性实施例的CAS提供方法和设备能够根据用户的定义不同地配置CAS的规则(或条件)。用户装置100识别在由用户定义的至少一个规则中指定的条件，并在相应条件被达到时执行至少一个动作。根据本发明的示例性实施例的CAS提供方法和装置能够将内部和/或外部情景信息反馈给用户作为动作执行的结果。

根据本发明的示例性实施例的CAS提供方法和设备能够使用用户装置100通过基于自然语言的文本或语音输入定义规则(或情形)、用于执行相应规则的指令和根据规则将执行的动作。因此，本发明的CAS提供方法和设备允许用户定义具有用户指定的条件和动作的各种规则以及具有在用户装置100的制造阶段定义的规则。根据本发明示例性实施例的CAS提供方法和设备能够通过基于自然语言的文本或语音输入定义规则和指令，并响应于基于自然语音的文本或语音指令或者用户装置100的移动的检测来执行规则。因此，本发明的示例性实施例能够扩展CAS的范围并提供用户特定的可用性。

根据本发明的示例性实施例的CAS提供方法和设备能够对每个规则配置多个条件并支持与所述多个条件相应的多情景感知场景。因此，根据本发明的示例性实施例的CAS提供方法和设备能够根据用户的喜好来配置各种条件，并相应于多情景感知场景同时执行多个动作。与根据现有技术的基于统计学的情景感知技术相比，根据本发明的示例性实施例的CAS提供方法和设备能够通过采用推荐功能以及情景感知来提高情景感知功能性，从而提高情景识别准确性。

根据本发明的示例性实施例的CAS提供方法和设备能够优化CAS环境，从而提高用户便利性以及装置可用性、效用和竞争力。根据本发明的示例性实施例的CAS提供方法和装置可应用于包括蜂窝通信终端、智能电话、平板PC、PDA等的各种类型的能进行CAS的装置。

根据本发明的示例性实施例，模块可实现为软件、固件、硬件和/或它们的任意组合中的任意一个或组合。模块中的一些或全部可实现为能够等同地执行单个模块的功能的实体。根据本发明的各种示例性实施例，可顺序地、重复地或并行地执行多个操作。操作中的一些可被省略或被其他操作所替代。

本发明的上述示例性实施例可以以计算机可执行程序命令的形式被实现并可被存储在非瞬时计算机可读存储介质中。非瞬时计算机可读存储介质可以以单个或组合的形式来存储程序命令、数据文件和数据结构。记录在存储介质中的程序命令可针对本发明的各种示例性实施例被设计和实现或被计算机软件领域的技术人员所使用。

非瞬时计算机可读存储介质包括诸如软盘和磁带的磁介质、包括致密盘(CD)ROM和数字视频盘(DVD)ROM的光学介质、诸如软光盘的磁光介质以及设计用于存储并执行程序命令的硬件装置(诸如ROM、RAM和闪速存储器)。程序命令包括可由使用解释器的计算机执行的语言代码以及由编译器创建的机器语言代码。可使用用于执行本发明的各种示例性实施例的操作的软件模块来实现上述硬件装置。

尽管已经参照本发明的特定示例性实施例示出和描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求极其等同物限定的本发明的精神和范围的情况下，可在所述示例性实施例中在细节和形式上做出各种改变。

Claims (21)

1.一种电子装置的提供情景感知服务的方法，所述方法包括：

接收用户输入；

基于接收的所述用户输入，识别条件、与所述条件相应的动作以及命令；

定义包括所述条件以及与所述条件相应的所述动作的规则；

响应于定义了所述规则，将所述命令映射到所述规则；

将所述规则和映射的所述命令存储在用户装置或服务器中的至少一个中；

当语音通过用户装置被接收时，识别所述语音是否与所述命令相应；

如果所述语音与所述命令相应并且如果在用户装置检测到与所述规则的所述条件相应的情景，则执行与所述条件相应的所述动作。

2.如权利要求1所述的方法，其中，所述用户输入与基于自然语言的文本输入和基于自然语言的语音输入中的一个相应。

3.如权利要求1所述的方法，其中，所述情景包括关于用户装置的改变，并且

其中，关于用户装置的改变与用户装置的姿势改变和位置改变中的至少一个相应。

4.如权利要求1所述的方法，其中，所述情景包括接收呼入消息和呼入声音中的至少一个。

5.如权利要求1所述的方法，其中，所述动作包括当检测到所述情景时由用户装置执行的操作。

6.如权利要求5所述的方法，其中，所述动作包括通过控制用户装置的内部组件经由用户装置反馈与所述规则相应的情景信息和通过控制外部装置经由外部装置反馈情景信息中的至少一个。

7.如权利要求1所述的方法，其中，定义所述规则的步骤包括：基于接收的所述用户输入定义一个或更多个规则。

8.如权利要求1所述的方法，其中，根据用户和用于接收所述用户输入的用户装置之间的交互以包括一个动作的单个结构和包括多个动作的多元结构中的一个来配置所述规则。

9.如权利要求1所述的方法，其中，接收所述用户输入的步骤包括：提供允许用户指定由用户装置支持的至少一个动作的用户接口和关于由用户装置支持的动作的向导中的至少一个。

10.如权利要求1所述的方法，其中，识别所述条件、与所述条件相应的所述动作以及所述命令的步骤包括：

当通过解析所述用户输入发现缺少定义所述规则所需的补充信息时，反馈用于提示用户提供所述规则所需的补充信息的询问；

接收响应于所述询问的第二用户输入；

当所述用户输入不需要补充信息时，跳过针对补充信息的请求。

11.如权利要求1所述的方法，其中，接收所述用户输入的步骤包括：

提供用于定义所述规则的用户界面；

通过所述用户界面接收所述用户输入，其中，所述用户输入是基于自然语言的语音输入和基于自然语言的文本输入中的一个。

12.如权利要求11所述的方法，

其中，所述条件和所述命令中的至少一个与以下项中的至少一项相应：基于自然语言的语音、基于自然语言的文本、用户装置的运动检测事件、呼入声音的接收和呼入消息的接收。

13.如权利要求12所述的方法，其中，如果所述语音与所述命令相应，则进行以下操作：

确定是否存在与所述命令匹配的规则；

当没有规则与所述命令匹配时，输出向导；

当存在与所述命令匹配的规则时，确定匹配的规则的数量是否大于1；

根据匹配的规则的数量激活至少一个规则。

14.如权利要求13所述的方法，其中，根据匹配的规则的数量激活所述至少一个规则的步骤包括：

当匹配的规则的数量大于1时，提示选择所述规则中的一个规则。

15.如权利要求13所述的方法，还包括：

当在所述规则被激活的状态下规则解除条件被满足时，解除激活的规则；和

反馈通知所述规则的解除的解除信息。

16.如权利要求15所述的方法，其中，反馈解除信息的步骤包括音频反馈、视频反馈和触觉反馈中的至少一个。

17.一种用户装置，包括：

存储单元；

显示单元；以及

控制单元，被配置为：

从输入装置接收与第一用户输入相关联的指示，其中，第一用户输入包括文本输入或语音输入中的至少一个，

基于第一用户输入，识别条件、与所述条件相应的动作以及命令，

定义包括所述条件以及与所述条件相应的所述动作的规则，

响应于定义了所述规则，将所述命令映射到所述规则，

将所述规则和映射的所述命令存储在存储单元，

从输入装置接收与第二用户输入相关联的指示，

确定第二用户输入是否与所述命令相应，

如果第二用户输入与所述命令相应，则激活所述规则以检测与所述规则的所述条件相应的情景，

如果所述规则被激活，则控制显示单元显示执行信息，以及

如果检测到所述情景，则执行与所述条件相应的所述动作，

其中，第二用户输入是基于自然语言的文本输入或基于自然语言的语音输入中的一个。

18.如权利要求17所述的用户装置，其中，控制单元包括：

规则配置模块，被配置为：接收用户输入以通过根据基于自然语言的语音输入和基于自然语言的文本输入中的至少一个识别至少一个条件和至少一个动作来配置所述规则；

规则执行模块，被配置为接收用于激活所述规则的命令并执行与该命令相应的所述规则，其中，该命令是基于自然语言的语音、基于自然语言的文本、用户装置的运动检测事件、呼入声音的接收以及呼入消息的接收中的一个；

条件检查模块，被配置为检测与所述规则中规定的所述至少一个条件相应的至少一种情景；以及

动作执行模块，被配置为当检测到所述至少一种情景时，执行与检测到的情景相应的至少一个动作。

19.如权利要求18所述的用户装置，其中，控制单元还被配置为：当在用户装置中检测到的事件满足在激活的所述规则中规定的所述条件时，控制执行与所述条件相应的至少一个动作，并控制反馈执行结果。

20.如权利要求18所述的用户装置，其中，控制单元还被配置为：当在所述规则被激活的状态下规则解除条件被满足时，控制解除激活的所述规则，

并且控制反馈通知所述规则的解除的解除信息。

21.一种存储程序的计算机可读存储介质，所述程序在被执行时促使至少一个处理器执行权利要求1所述的方法。

Images