CN104471522A - 用于用户终端的用户界面装置和方法 - Google Patents

Abstract

提供了一种用户终端中支持手写备忘录功能的手写用户界面(UI)装置和支持该UI装置的方法，其中当从用户接收到备忘录屏幕上的手写输入时，对手写输入进行识别，根据所识别的输入确定命令，并执行与所确定的命令相对应的应用。

Description

用于用户终端的用户界面装置和方法

技术领域

本发明涉及用于用户终端的用户界面(UI)装置和方法，具体地涉及用户终端中基于手写的UI装置和用于支持该UI装置的方法。

背景技术

随着近来便携式电子设备的增长，对能够进行直观输入/输出的UI的需求也不断增加。例如，借助附加设备(比如键盘、键区、鼠标等)输入信息的传统UI已经演变成通过使用手指或触摸电子笔直接触摸屏幕或通过语音来输入信息的直观UI。

此外，UI技术已经发展为直观的并且以人为中心，而且还是用户友好的。通过使用UI技术，用户可以通过语音与便携式电子设备进行对话，从而输入想要输入的信息或获得期望的信息。

通常，在流行的便携式电子设备、智能手机中安装大量应用，并且从所安装的应用可获得新的功能。

发明内容

技术问题

然而，在智能手机中安装的多个应用通常是独立执行的，而不会共同向用户提供新的功能或结果。

例如，日程安排应用即使在用户终端支持直观UI的情况下也只允许在其支持的UI上输入信息。

此外，支持备忘录功能的用户终端使得用户能够使用输入装置(比如其手指或电子笔)写下记录，但不提供与其它应用共同利用这种记录的任何具体方法。

技术方案

本发明实施例的一个方面旨在解决至少上述问题和/或缺陷，并提供至少下述优点。因此，本发明实施例的一个方面旨在提供用于在用户终端中在基于手写的用户界面(UI)上与用户交换信息的装置和方法。

本发明实施例的另一方面旨在提供用户终端中用于使用基于手写的备忘录功能执行特定命令的UI装置和方法。

本发明实施例的另一方面旨在提供用户终端中用于通过基于手写的备忘录功能与用户交换问题和答复的UI装置和方法。

本发明实施例的另一方面旨在提供用户终端中用于通过备忘录功能接收用来对写在屏幕上的所选全部或部分记录进行处理的命令的UI装置和方法。

本发明实施例的另一方面旨在提供在通过电子笔支持备忘录功能的用户终端中用于支持在备忘录模式和命令处理模式之间切换的UI装置和方法。

本发明实施例的另一方面旨在提供用户终端中用于在激活应用同时使得能够输入命令以控制所激活的应用或另一应用的UI装置和方法。

本发明实施例的又一方面旨在提供用户终端中用于分析用户的备忘录图案并确定通过存储器功能输入的信息(考虑已经分析过的备忘录图案)的UI装置和方法。

根据本发明的一个实施例，提供了一种用户终端中的UI方法，其中根据由用户在备忘录屏幕上施加的笔输入接收笔输入事件，根据笔输入事件识别笔输入内容，根据所识别的笔输入内容确定命令和执行该命令应该针对的记录内容，执行与所确定的命令相对应的应用，以及所确定的记录内容被用作针对该应用的输入数据。

根据本发明的另一实施例，提供了一种用户终端处的UI装置，其中：触摸板单元显示备忘录屏幕，并根据由用户施加到备忘录屏幕上的笔输入输出笔输入事件；命令处理器根据笔输入事件识别笔输入内容，根据所识别的笔输入内容确定命令和执行该命令应该针对的记录内容，并提供该命令和执行该命令应该针对的记录内容；以及应用执行器执行与所确定的命令相对应的应用，并使用所确定的记录内容作为针对该应用的输入数据。

有益效果

本发明的代表实施例可通过在多个应用中支持备忘录功能并从而以直观的方式控制应用，使用户更加便利。

本发明的代表实施例的特征在于，当用户在屏幕上开启备忘录层并在备忘录层上写下信息时，用户终端识别信息并执行对应于该信息的操作。

附图说明

通过以下结合附图进行的具体描述，本发明的具体实施例的上述和其它目的、特征和优点将更为清楚，其中：

图1是根据本发明实施例的支持基于手写的自然语言交互(NLI)的用户终端的示意框图；

图2是根据本发明实施例的支持手写NLI的用户终端的具体框图；

图3示出了根据本发明实施例的支持手写NLI的触摸笔的配置；

图4示出了根据本发明实施例的用于通过触摸板和笔识别板识别触摸输入和笔触摸输入的操作；

图5是根据本发明实施例的支持手写NLI的用户终端中的控制器的具体框图；

图6是根据本发明实施例的用户终端中用于支持手写NLI的命令处理器的框图；

图7是示出了根据本发明实施例的用于在用户终端中支持使用手写NLI的用户界面(UI)的控制操作的流程图；

图8示出了通过备忘录功能请求基于特定应用或功能的操作的示例；

图9示出了用于在实现本发明的实施例时使用的用户实际备忘录图案的示例；

图10示出了一个符号可解释为多种意思的示例；

图11示出了包括文本和符号的组合的输入信息可根据符号被解释为不同意思的示例；

图12示出了在符号学中利用记号和符号的示例；

图13示出了在机械/电子/计算机工程和化学领域利用记号和符号的示例：

图14-22示出了根据本发明实施例的UI技术的操作场景；

图23-28示出了在激活了特定应用之后开启支持备忘录功能的应用且然后通过所开启的应用执行被激活的应用的示例性场景；

图29和30示出了与符号学相关的示例性场景。

所有附图中，相同的附图标记应被理解为指代相同的元素、特征和结构。

具体实施方式

将提供本发明的代表实施例，以实现本发明的以上技术目标。为了描述方便起见，所定义的实体可具有相同的名称，但本发明并不限于此。从而，本发明可通过在具有类似技术背景的系统中进行相同或所需修改来实现。

下文将描述的本发明实施例意在使得能够通过用户终端中的备忘录功能与用户进行问答过程，其中在用户终端中，通过自然语言交互(NLI)来应用基于手写的用户界面(UI)技术(下文中称为“基于手写的NLI”或“手写NLI”)。

NLI通常涉及理解和创建。通过理解和创建功能，计算机理解输入并显示人类容易理解的文本。从而，可以认为，NLI是使得能够在人类和电子设备之间进行自然语言对话的一种自然语言理解应用。

例如，通过NLI，用户终端执行从用户接收的命令，或在问答过程中获取执行来自用户的输入命令所需的信息。

为了向用户终端应用手写NLI，在本发明中，优选地，应该通过手写NLI在备忘录模式和命令处理模式之间有机地执行切换。在备忘录模式中，用户使用诸如手指或用户终端中的电子笔等输入装置在由激活的应用所显示的屏幕上写下记录，而在命令处理模式中，将在备忘录模式中写下的记录以及与当前激活的应用相关联的信息一同进行处理。

例如，可以通过按压电子笔的按钮(即，通过在硬件中生成信号)，在备忘录模式和命令处理模式之间进行切换。

虽然以下描述针对使用电子笔作为支持备忘录功能的主要输入工具的情况，但是本发明不限于使用电子笔作为输入装置的用户终端。换言之，应该理解，能够在触摸板上输入信息的任何设备都可用作本发明实施例中的输入装置。

优选地，在预备相互商定中在用户终端和用户之间共享信息，从而用户终端可通过与用户交换问题和答复来从用户接收所需信息，并从而可以通过本发明的手写NLI向用户提供对所接收的信息进行处理的结果。例如，可以商定，为了请求操作模式切换，使用符号、图案、文本及其组合中的至少一个或通过手势输入识别功能使用动作(或手势)。可能主要请求备忘录模式到命令处理模式切换或命令处理模式到备忘录模式切换。

关于与符号、图案、文本或其组合相对应的输入信息的商定，优选地分析用户的备忘录图案并考虑分析结果，从而使得用户能够直观地输入想要输入的信息。

将对由备忘录功能基于手写NLI控制当前激活的应用并输出控制结果的多种场景进行详细描述，作为本发明的不同实施例。

例如，将对选择记录的全部或一部分并通过特定命令处理所选记录内容的场景、由备忘录功能向特定应用的屏幕输入特定信息的场景、使用手写NLI在问答过程中处理特定命令的场景等进行具体描述。

将参考附图来描述本发明的优选实施例。将不会对本发明中的公知功能和结构进行具体描述，以免使得本发明的主题不清楚。

图1是根据本发明实施例的支持手写NLI的用户终端的示意框图。虽然图1只示出了根据本发明实施例的支持手写NLI所需的用户终端组件，但是为了执行其它功能，可向用户终端添加组件。还可以采用软件功能块以及硬件功能块的形式来配置图1中所示出的每个组件。

参见图1，在接收到用户请求时，应用执行器110连同存储器(未示出)安装通过网络或外部接口接收的应用。应用执行器110在接收到用户请求时或响应于接收到外部命令，激活所安装的应用之一，并根据外部命令控制所激活的应用。外部命令指的是与内部生成的命令不同的几乎任何外部输入命令。

例如，外部命令可以是与由用户通过手写NLI输入的信息相对应的命令以及与通过网络输入的信息相对应的命令。为了描述方便起见，外部命令限于与由用户通过手写NLI输入的信息相对应的命令，但是这不应被理解为限制本发明。

应用执行器110通过手写NLI向用户提供安装或激活特定应用的结果。例如，应用执行器110在触摸板单元130的显示器上输出安装或激活特定应用或执行特定应用的功能的结果。

触摸板单元130通过手写NLI处理信息的输入/输出。触摸板单元130执行显示功能和输入功能。显示功能一般是指在屏幕上显示信息的功能，输入功能一般是指从用户接收信息的功能。

然而，用户终端显然可以包括用于执行显示功能和输入功能的附加结构。例如，用户终端还可包括用于感测运动输入的运动感测模块或用于感测光学字符输入的光感测模块。运动感测模块包括相机和靠近传感器，并可使用相机和靠近传感器感测距用户终端一定距离内的对象的移动。光感测模块可感测光并输出光感测信号。为了描述方便，假定触摸板单元130执行显示功能和输入功能两者，而不将其操作分离为显示功能和输入功能。

触摸板单元130从用户接收特定信息或特定命令，并向应用执行器110和/或命令处理器120提供所接收的信息或命令。信息可以是关于由用户写下的记录(即，由用户在备忘录屏幕上手写的记录)的信息或关于基于手写NLI的问答过程中答复的信息。除此之外，信息可以是用于选择当前屏幕上显示的所有或部分记录的信息。

命令可以是请求安装特定应用的命令或请求激活或执行已安装应用中的特定应用的命令。除此之外，命令可以是请求执行所选应用所支持的特定操作、功能等的命令。

可以采用线条、符号、图案或其组合的形式以及采用文本的形式来输入信息或命令。这种线条、符号、图案等可通过商定或学习来预设。

触摸板单元130在屏幕上显示由应用执行器110激活特定应用或执行所激活应用的特定功能的结果。

触摸板单元130还在屏幕上显示问答过程中的问题或结果。例如，当用户输入特定命令时，触摸板单元130显示从命令处理器120接收的对该特定命令处理的结果或用来获取处理该特定命令所需的附加信息的问题。当从用户接收到作为问题答复的附加信息时，触摸板单元130将所接收的附加信息提供给命令处理器120。

随后，触摸板单元130显示用来获取其它信息的附加问题(在命令处理器120请求时)或处理特定命令(反映所接收的附加信息)的结果。

其中，触摸板单元130显示备忘录屏幕，并根据由用户施加在备忘录屏幕上的笔输入来输出笔输入事件。

命令处理器120从触摸板单元130接收笔输入事件(例如用户输入文本、符号、图形、图案等)，并通过文本、符号、图形、图案等识别用户想要的输入。例如，命令处理器120从触摸板单元130接收由用户在备忘录屏幕上写下的记录，并识别所接收的记录的内容。换言之，命令处理器根据笔输入事件识别笔输入内容。

例如，命令处理器120可以通过对所接收的文本、符号、图形、图案等进行自然语言处理来识别用户想要的输入。对于自然语言处理，命令处理器120采用手写NLI。用户想要的输入包括请求激活特定应用或执行当前活动应用中特定功能的命令、或对问题的答复。

当命令处理器120确定用户想要的输入是请求特定操作的命令时，命令处理器120处理所确定的命令。具体地，命令处理器120向应用执行器110输出与所确定的命令相对应的识别结果。应用执行器110可以基于识别结果，激活特定应用或执行当前活动的应用中的特定功能。在该情况中，命令处理器120从应用执行器110接收处理结果，并将处理结果提供给触摸板单元130。显然，应用执行器110可直接将处理结果提供给触摸板单元130，而不是命令处理器120。

如果需要附加信息来处理所确定的命令，则命令处理器120创建用来获取附加信息的问题，并将该问题提供给触摸板单元130。然后，命令处理器120可从触摸板单元130接收对问题的答复。

命令处理器120可连续地与用户交换问题和答复，即可通过触摸板单元130与用户继续对话，直到获取了对所确定的命令进行处理的足够信息为止。即，命令处理器120可通过触摸板单元130重复问答过程。

为了执行上述操作，命令处理器120通过与触摸板单元130相互配合来采用手写NLI。即，命令处理器120使得能够通过基于手写的自然语言接口由备忘录功能进行用户和电子设备之间的问和答(即对话)。在对话中，用户终端处理用户命令或将处理用户命令的结果提供给用户。

关于根据本发明的用户终端的上述配置，除了命令处理器120、应用执行器110和触摸板单元130之外，用户终端还可包括其它组件。命令处理器120、应用执行器110和触摸板单元130可根据本发明的多种实施例配置。

例如，可将命令处理器120和应用执行器110并入向用户终端提供总体控制的控制器160中，或控制器160可被配置为执行命令处理器120和应用执行器110的操作。

触摸板单元130负责处理应用手写NLI的过程中所涉及的信息输入/输出。触摸板单元130可包括用于显示用户终端的输出信息的显示板以及用户可在其上施加输入的输入板。输入板可被实现为能够感测多种输入(比如用户的单触控或多触控输入、拖动输入、手写输入、画图输入等)的至少一个板。

输入板可被配置为包括能够感测手指输入和笔输入两者的单个板或两个板(例如能够感测手指输入的触摸板和能够感测笔输入的笔识别板)。

图2是根据本发明实施例的支持手写NLI的用户终端的具体框图。

参见图2，根据本发明实施例的用户终端100可包括控制器160、输入单元180、触摸板单元130、音频处理器140、存储器150和通信模块170。

触摸板单元130可包括显示板130、触摸板134和笔识别板136。触摸板单元130可在触摸板132上显示备忘录屏幕，通过触摸板134和笔识别板136中的至少一个接收由用户在备忘录屏幕上写下的手写记录。例如，在触摸输入模式中感测到用户的手指或对象的触摸输入时，触摸板单元130可通过触摸板134输出触摸输入事件。在笔输入模式中感测到与用户对笔的操控相对应的笔输入时，触摸板单元130可通过笔识别板136输出笔输入事件。

关于通过笔识别板136感测用户的笔输入，用户终端100通过笔识别板136收集关于触摸笔20的笔状态信息以及对应于笔输入手势的笔输入识别信息。从而，用户终端100可识别映射到所收集的笔状态信息和笔识别信息的预定义笔功能命令，并执行对应于该笔功能命令的功能。此外，用户终端100可收集关于当前活动应用的功能类型的信息以及笔状态信息和笔输入识别信息，并可生成映射到笔状态信息、笔输入识别信息和功能类型信息的预定义笔功能命令。

为了笔输入识别的目的，笔识别板136可被布置在用户终端100的预定位置处，并可在生成特定事件时或缺省地被激活。笔识别板136可置于显示板132之下的预定区域上，例如在覆盖显示板132的显示区域的区域上。笔识别板136可根据触摸笔20的靠近和触摸笔20的操控来接收笔状态信息，并可将笔状态信息提供给控制器160。此外，笔识别板143可根据使用触摸笔20作出的输入手势接收笔输入识别信息，并可将笔输入识别信息提供给控制器160。

笔识别板136被配置为基于与具有线圈的触摸笔20的电磁感应来接收触摸笔20的位置值。笔识别板136可收集对应于触摸笔20靠近的电磁感应值，并将电磁感应值提供给控制器160。电磁感应值可以对应于笔状态信息，即指示触摸笔是悬停状态还是接触状态的信息。触摸笔20在悬停状态中以预定间隔悬停在笔识别板136或触摸板134上方，而触摸笔20接触显示板132或触摸板134，或距离显示板132或触摸板134另一预定间隔。

以下将详细描述触摸笔20的配置。图3示出了根据本发明实施例的支持手写NLI的触摸笔20的配置。参见图3，触摸笔20可包括笔主体22、位于笔主体22末端的笔尖21、布置在笔主体22内笔尖21附近的线圈23和用于改变从线圈23生成的电磁感应值的按钮24。根据本发明的具有这一配置的触摸笔20支持电磁感应。线圈23在笔识别板136的特定点处形成磁场，从而笔识别板136可通过检测磁场的位置来识别被触摸的点。

笔尖21接触显示板132，或当笔识别板136布置在显示板132上时接触笔识别板136，从而指示显示板132上的特定点。由于笔尖21位于笔主体22的末端且线圈23距离笔尖21预定距离，所以当用户拿着触摸笔20书写时，可对笔尖21的触摸位置和由线圈23生成的磁场位置之间的距离进行补偿。由于距离补偿的原因，用户可在使用笔尖21指示显示板132的特定点的同时执行输入操作(比如手写(写下)或画图、触摸(选择)、触摸并拖动(选择并移动)等)。具体地，用户可以在使用笔尖21触摸显示板132的同时施加笔输入，包括特定手写或画图。

当触摸笔20进入距笔识别板136预定距离之内时，线圈36可在笔识别板136的特定点处生成磁场。从而，用户终端100可以实时地或以预定时间间隔扫描在笔识别板136上形成的磁场。在激活触摸笔20的时刻，笔识别板136可被激活。具体地，笔识别板136可根据笔20与笔识别板136的邻近度来识别不同的笔状态。

用户可按压触摸笔20的按钮24。随着按钮24被按压，可从触摸笔20生成特定信号，并将该特定信号提供到笔识别板136。针对这一操作，可将用于引起电磁感应变化的特定电容器、附加线圈或特定器件布置在按钮24的附近。当触碰或按压按钮24时，该电容器、附加线圈或特定设备可连接到线圈23，从而改变从笔识别板136生成的电磁感应值，使得按钮24的按压可被识别。或者，该电容器、附加线圈或特定设备可生成与按钮24的按压相对应的无线信号，并将无线信号提供给用户终端100中设置的接收机(未示出)，从而用户终端100可识别触摸笔20的按钮24的按压。

如上所述，用户终端100可根据触摸笔20的不同位移收集不同的笔状态信息。即，用户终端100可接收指示触摸笔20是处于悬停状态还是接触状态的信息以及指示触摸笔20的按钮24已被按压还是保持在初始状态的信息。用户终端100可基于从触摸笔20接收的笔状态信息以及从触摸笔20的线圈23接收的对应于笔输入手势的笔输入识别信息，确定特定的手写命令，并可执行与所确定的命令相对应的功能。

再次参考图2，当触摸笔20位于距笔识别板136第一距离(预定接触距离)之内时，笔识别板136可识别到触摸笔20处于接触状态。如果触摸笔20距离笔识别板136的距离落入第一距离和第二距离(预定靠近距离)之间的范围内，则笔识别板136可识别到触摸笔20处于悬停状态。如果触摸笔20与笔识别板136的距离超出第二距离，则笔识别板136可识别到触摸笔20处于悬空状态。通过这一方式，笔识别板136可根据距触摸笔20的距离提供不同的笔状态信息。

关于通过触摸板134感测用户的触摸输入，触摸板134可布置在显示板132之上或之下。触摸板134根据由对象的触摸引起的电容、电阻或电压的变化向控制器160提供关于触摸位置和触摸状态的信息。触摸板134可布置在显示板132的至少一部分中。根据操作模式，触摸板134可与笔识别板136同时激活，或触摸板134可在笔识别板136激活时去激活。具体地，在同时模式中，触摸板134可与笔识别板136同时激活。在笔输入模式中，笔识别板136激活，而触摸板134去激活。在触摸输入模式中，触摸板134激活，而笔识别板136去激活。

图4是示出了根据本发明实施例的用于通过触摸板134和笔识别板136感测触摸输入和笔触摸输入的操作的框图。

参见图4，触摸板134包括触摸板集成电路(IC)和触摸板驱动器。触摸板134根据由对象(比如用户的手指)的触摸所引起的电容、电阻或电压的变化向控制器160提供关于触摸位置和触摸状态的信息(即触摸输入信息)。

笔识别板136包括笔触摸板IC和笔触摸板驱动器。笔触摸板136可根据触摸笔20的邻近度和操控接收笔状态信息，并将笔状态信息提供给控制器160。此外，笔识别板143可根据使用触摸笔20作出的输入手势接收笔输入识别信息，并将笔输入识别信息提供给控制器160。

控制器160包括事件中心(hub)、队列、输入读取器和输入分派器。控制器160通过输入读取器从触摸板134和笔识别板136接收信息，并通过输入分派器根据笔状态信息和笔输入识别信息生成笔输入事件或根据触摸输入信息生成触摸输入事件。控制器160通过队列和事件中心输出触摸输入事件和笔输入事件，并在窗口管理器的管理下控制通过与多个应用视图之中的相关应用视图相对应的输入通道的笔输入事件和触摸事件的输入。

显示板132输出与用户终端100的操作相关的各种屏幕。例如，显示板132可根据对相关功能的激活提供各种屏幕，包括用于支持用户终端100的功能的初始等待屏幕或菜单屏幕、以及根据所选功能显示的文件搜索屏幕、文件再现屏幕、广播接收屏幕、文件编辑屏幕、网页访问屏幕、备忘录屏幕、电子书阅读屏幕、聊天屏幕及电子邮件或消息书写和接收屏幕。由显示板132提供的每个屏幕可具有关于特定功能类型的信息，并且功能类型信息可提供给控制器160。如果激活了显示板132的每个功能，则可根据预先设置来激活笔识别板136。从笔识别板136接收的笔输入识别信息可采用其相关联的形式输出到显示板132。例如，如果笔识别信息是对应于特定图案的手势，则可将该图案的图像输出到显示板132。从而，用户可通过查看图像来确认其已经施加的笔输入。

具体地，在本发明中，可基于关于触摸笔20的笔状态信息的改变来确定笔输入的开始和结束时刻。即，手势输入可在触摸笔20的接触状态和悬停状态中的至少一个中开始，并且可以在接触状态和悬停状态之一被释放时结束。因此，用户可以施加笔输入，使触摸笔20接触显示板132或使触摸笔20距离显示板132预定间隔。例如，当触摸笔20在接触状态范围内移动时，用户终端100可根据触摸笔20在接触状态中的移动识别笔输入(比如手写、画图、触摸、触摸并拖动等)。另一方面，如果触摸笔20位于悬停状态范围内，则用户终端100可识别悬停状态中的笔输入。

存储器150存储对根据本发明的用户终端100进行操作所需的各种程序和数据。例如，存储器150可存储操作用户终端100所需的操作系统(OS)以及用于支持触摸板132上显示的前述屏幕的功能程序。具体地，存储器150可存储根据本发明的用来支持笔功能的笔功能程序151和用来支持笔功能程序151的笔功能表153。

笔功能程序151可包括用来支持本发明的笔功能的各种例程。例如，笔功能程序151可包括用于检查笔识别板136的激活条件的例程，用于当笔识别板136激活时收集关于触摸笔20的笔状态信息的例程，以及用于通过根据由触摸笔20作出的手势识别笔输入来收集笔输入识别信息的例程。笔功能程序151还可包括用于基于所收集的笔状态信息和笔输入识别信息生成特定笔功能命令的例程，以及用于执行与特定笔功能命令相对应的功能的例程。此外，笔功能程序151可包括用于收集关于当前活动功能的类型的信息的例程，用于生成映射到所收集的功能类型信息、笔状态信息和笔输入识别信息的笔功能命令的例程，以及用于执行与笔功能命令相对应的功能的例程。

用于生成笔功能命令的例程被设计为参考存储器150中所存储的笔功能表153生成命令。笔功能表153可包括由设计者或程序开发者映射到与触摸笔20的输入手势相对应的特定终端功能的笔功能命令。具体地，笔功能表153根据笔状态信息和功能类型信息，将输入手势识别信息映射到笔功能命令，从而可根据笔状态信息和功能类型执行不同的功能(尽管笔输入识别信息相同)。笔功能表153可将对应于特定终端功能的笔功能命令映射到笔状态信息和笔输入识别信息。只包括笔状态信息和笔输入识别信息的该笔功能表153可只基于笔状态信息和笔输入识别信息(而不管当前活动功能的类型)支持执行特定功能。如上所述，笔功能表153可包括第一笔功能表和第二笔功能表中的至少一个，其中第一笔功能表包括映射到笔状态信息、功能类型信息和笔输入识别信息的笔功能命令，第二笔功能表包括映射到笔状态信息和笔输入识别信息的笔功能命令。可根据用户设置或所执行的应用程序的类型，选择性地或自动地应用包括笔功能命令的笔功能表153。例如，用户可预设第一或第二笔功能表。从而，用户终端100可根据用户设置，基于特定笔功能表对输入手势进行笔输入识别处理。

同时，根据设计或用户设置，用户终端100可在第一应用激活时应用第一笔功能表而在第二应用激活时应用第二笔功能表。如上所述，可根据被激活的功能的类型以多种方式来应用笔功能表153。下文中将详述笔功能表153的示例性应用。

在用户终端100支持通信功能的情况中，用户终端100可包括通信模块170。具体地，当用户终端100支持移动通信功能时，通信模块110可包括移动通信模块。通信模块110可执行通信功能，比如聊天、消息发送和接收、呼叫等。如果在通信模块170正在运行时从触摸笔20收集到笔输入识别信息，则通信模块170可在控制器160的控制下支持执行对应于笔输入识别信息的笔功能命令。

当支持用户终端100的通信功能时，通信模块110可接收用于更新笔功能表153的外部信息，并将所接收的外部更新信息提供给控制器160。如上所述，可根据所执行的应用程序的功能类型设置不同的笔功能表153。因此，当将新的功能添加到用户终端100时，可能需要与触摸笔20的操作有关的新设置。当针对新的功能或之前安装的功能给定笔功能表153时，通信模块110可缺省地或基于用户请求支持接收关于笔功能表153的信息。

输入单元180可被配置成侧边键或分离实现的触摸垫。输入单元180可包括用于开启或关闭用户终端100的按钮、用于返回用户终端100的主页屏幕的主页键等。输入单元180可在用户控制下生成用于设置笔操作模式的输入信号，并将该输入信号提供给控制器160。具体地，输入单元180可生成设置基于前述各种笔功能表153之一的笔操作模式和基本笔操作模式(其中，检测笔的位置而不进行附加的笔输入识别，并且根据所检测的笔位置执行功能)之一的输入信号。用户终端100根据相关联的输入信号获取特定笔功能表153，并基于所获取的笔功能表153支持笔操作。

音频处理器140包括用于输出音频信号的扩音器(SPK)和用于收集音频信号的麦克风(MIC)中的至少一个。音频处理器140可根据设置输出用于提示用户设置笔操作模式的提示音或效果音。当笔识别板136根据特定笔输入手势收集到笔输入识别信息时，音频处理器140输出对应于笔输入识别信息的提示音或与功能执行相关联的效果音。音频处理器140可输出与使用笔输入手势实时接收到的笔输入相关的效果音。此外，音频处理器140可通过控制振动模块控制对应于手势输入的振动幅度。音频处理器140可根据所接收的手势输入对振动幅度进行区分。即，当处理不同的笔输入识别信息时，音频处理器140可设置不同的振动幅度。音频处理器140可根据笔输入识别信息的类型输出不同音量和类型的效果音。例如，当收集到与当前执行的功能有关的笔输入识别信息时，音频处理器140输出具有预定幅度的振动或具有预定音量的效果音。当收集到用于调用另一功能的笔输入识别信息时，音频处理器140输出具有相对大幅度的振动或具有相对大音量的效果音。

控制器160包括各种组件用来支持根据本发明实施例的笔功能，并从而处理针对笔功能的数据和信号以及控制笔功能的执行。针对这一目的，控制器160可具有如图5所示的配置。

图5是根据本发明的控制器160的具体框图。

参见图5，本发明的控制器160可包括功能类型判决器161、笔状态判决器163、笔输入识别器165、触摸输入识别器169、命令处理器120和应用执行器110。

功能类型判决器161确定用户终端100中当前激活的用户功能的类型。具体地，功能类型判决器161收集关于与显示板132上显示的当前屏幕有关的功能的类型的信息。如果用户终端100支持多任务处理，则在激活多个应用时可激活多个功能。在这一情况中，功能类型判决器161可只收集关于与显示板132上显示的当前屏幕有关的功能的类型的信息，并向命令处理器120提供功能类型信息。如果显示板132上显示了多个屏幕，则功能类型判决器161可收集关于在最上层上显示的屏幕有关的功能的类型的信息。

笔状态判决器163收集关于触摸笔20的位置和按钮24的按压的信息。如上所述，笔状态判决器163可通过扫描笔识别板136来检测输入电磁感应值的变化，确定触摸笔20是处于悬停状态还是接触状态以及按钮24是被按压还是释放，并根据所述确定收集笔状态信息。与所收集的笔状态信息相对应的笔输入事件可提供给命令处理器120。

笔输入识别器165根据触摸笔20的移动来识别笔输入。笔输入识别器165从笔识别板136接收与基于触摸笔20移动的笔输入手势相对应的笔输入事件(不管触摸笔20是处于悬停状态还是接触状态)，识别笔输入，并将得到的笔输入识别信息提供给命令处理器120。笔输入识别信息可以是通过识别一个对象获得的单笔输入识别信息或通过识别多个对象获得的复合笔输入识别信息。可根据笔输入手势来确定单笔输入识别信息或复合笔输入识别信息。例如，在触摸笔20保持在悬停状态或接触状态时，笔输入识别器165可针对与触摸笔20的连续移动相对应的笔输入，生成单笔输入识别信息。当触摸笔20在悬停状态和接触状态之间切换时，笔输入识别器165可针对与触摸笔20已经做出的移动相对应的笔输入，生成复合笔输入识别信息。在触摸笔20从悬停状态切换到悬空状态时，笔输入识别器165可针对与触摸笔20已经做出的移动相对应的笔输入，生成复合笔输入识别信息。或者，笔输入识别器165可针对触摸笔20跨越笔识别板136可识别范围的边界所作出的多个笔输入，生成复合笔输入识别信息。

触摸输入识别器169识别与手指、对象等的触摸或移动相对应的触摸输入。触摸输入识别器169接收对应于触摸输入的触摸输入事件，识别触摸输入，并向命令处理器120提供得到的触摸输入识别信息。

根据操作模式，命令处理器120基于从功能类型判决器161接收的功能类型信息、从笔状态判决器163接收的笔状态信息和从笔输入识别器165接收的笔输入识别信息之一生成笔功能命令，并基于从触摸输入识别器169接收的触摸输入识别信息生成触摸功能命令。在该操作期间，命令处理器120可参考列出多个笔功能命令的笔功能表153。具体地，根据设置或当前活动功能的类型，命令处理器120可基于功能类型信息、笔状态信息和笔输入识别信息参考第一笔功能表，基于笔状态信息和笔输入识别信息参考第二笔功能表，或基于笔输入识别信息参考第三笔功能表。命令处理器120将所生成的笔功能命令提供给应用执行器110。

应用执行器110控制执行与从命令处理器120接收的包括笔功能命令和触摸功能命令的命令之一相对应的功能。应用执行器110可执行特定功能，调用新的功能，或结束与当前活动应用有关的特定功能。

下文将详述命令处理器120和应用执行器110的操作。

首先描述命令处理器120。图6是根据本发明实施例的用户终端中用于支持手写NLI的命令处理器的框图。

参见图6，支持手写NLI的命令处理器120包括识别引擎210和NLI引擎220。

识别引擎210包括识别管理器模块212、远程识别客户端模块214和本地识别模块216。本地识别模块216包括手写识别块215-1、光学字符识别块215-2和对象识别块215-3。

NLI引擎220包括对话模块222和智能模块224。对话模块222包括用于控制对话流的对话管理块和用于识别用户意图的自然语言理解(NLU)块。智能模块224包括用于反映用户喜好的用户建模块、常识推理块和用于反映用户状况的上下文管理块。

识别引擎210可从对应于输入装置(比如电子笔)的画图引擎和智能输入平台(比如相机)接收信息。智能输入平台(未示出)可以是光学字符识别器，比如光学字符读取器(OCR)。智能输入平台可读取采用打印文本或书写文本、数字或符号形式的信息，并将所读取的信息提供给识别引擎210。画图引擎是用于从输入装置(比如手指、对象、笔等)接收输入的组件。画图引擎可以感测从输入装置接收的输入信息，并将所感测的输入信息提供给识别引擎210。从而，识别引擎210可识别从智能输入平台和触摸板单元130接收的信息。

作为示例，在本发明的实施例中将对触摸板单元130从输入装置接收输入并将触摸输入识别信息和笔输入识别信息提供给识别引擎210的情况进行描述。

根据本发明的实施例，识别引擎210从作为信息接收的文本、线条、符号、图案、图形或其组合中识别用户所选择的当前显示记录的全部或部分或者用户所选择的命令。用户所选择的命令是预定义输入。用户所选择的命令可对应于预设符号、图案、文本或其组合中的至少一个或对应于由手势识别功能预设的至少一个手势。

识别引擎210输出在以上操作中获得的识别结果。

对于该目的，识别引擎210包括用于提供总体控制以输出识别结果的的识别管理器模块212、远程识别客户端模块214和用于识别输入信息的本地识别模块216。本地识别模块216至少包括用于识别手写输入信息的手写识别块215-1、用于从输入光学信号识别信息的光学字符识别块215-2、以及用于从输入手势识别信息的对象识别模块215-2。

手写识别块215-1识别手写输入信息。例如，手写识别块215-1识别用户使用触摸笔20在存储器屏幕上已写下的记录。具体地，手写识别块215-1从触摸板单元130接收在备忘录屏幕上触摸的点的坐标，将触摸点的坐标存储为笔画(stroke)，并使用笔画生成笔画阵列。手写识别块215-1使用预先存储的手写库和包括所生成的笔画阵列的笔画阵列列表来识别手写内容。手写识别块215-1输出所得到的与记录内容相对应的识别结果和所识别的内容中的命令。

光学字符识别块215-2接收由光感测模块感测的光信号并输出光学字符识别结果。对象识别块215-3接收由运动感测模块感测的手势感测信号，识别手势，并输出手势识别结果。从手写识别块215-1、光学字符识别块215-2和对象识别块215-3输出的识别结果提供给NLI引擎220或应用执行器110。

NLI引擎220通过处理例如分析从识别引擎210接收的识别结果，来确定用户的意图。即，NLI引擎220根据从识别引擎210接收的识别结果，确定用户想要输入的输入信息。具体地，NLI引擎220通过基于手写NLI与用户交换问题和答复来收集足够的信息，并基于所收集的信息确定用户的意图。

对于该操作，NLI引擎220的对话模块222创建用来与用户进行对话的问题并将该问题提供给用户，由此控制对话流来从用户接收答复。对话模块222管理从问题和答复获取的信息(对话管理块)。对话模块222还通过对初始接收的命令进行自然语言处理(考虑所管理的信息)来理解用户的意图(NLU块)。

NLI引擎220的智能模块224生成为了通过自然语言处理理解用户的意图将要参考的信息，并向对话模块222提供参考信息。例如，智能模块224通过分析用户做记录的习惯对反映用户喜好的信息进行建模(用户建模块)，推导反映常识的信息(常识推理块)，或管理表示当前用户状况的信息(上下文管理块)。

因此，对话模块222可在从智能模块224接收的信息的帮助下，控制与用户的问答过程中的对话流。

同时，应用执行器110从识别引擎210接收对应于命令的识别结果，在预先存储的同义词(synonym)表中搜索命令，并在同义词表中存在与命令相匹配的同义词的情况下读取与对应于命令的同义词相对应的ID。应用执行器110然后执行与预先存储的方法表中列出的ID相对应的方法。因此，该方法执行对应于命令的应用，并将记录内容提供给该应用。应用执行器110使用记录内容执行应用的相关功能。

图7是示出了根据本发明实施例的用于在用户终端中支持使用手写NLI的UI的控制操作的流程图。

参见图7，在步骤310中，用户终端激活特定应用，并提供所激活的应用的功能。所述特定应用是基于用户请求安装在用户终端中的应用之中已经由用户请求激活的应用。

例如，用户可通过用户终端的备忘录功能激活特定应用。即，用户终端基于用户请求调用备忘录层。从而，当接收到特定应用的ID信息和对应于执行命令的信息时，用户终端搜索特定应用并激活所检测到的应用。该方法对于快速执行用户终端中安装的大量应用之中期望的应用是有用的。

例如，特定应用的ID信息可以是应用的名称。对应于执行命令的信息可以是被预设为命令对应用进行激活的图形、符号、图案、文本等。

图8示出了通过备忘录功能请求基于特定应用或功能的操作的示例。在图8所示的示例中，使用线条、闭合圈或图形选择了通过备忘录功能所写下的记录的一部分，并且使用另一应用对所选记录内容进行处理。例如，使用线条选择了记录内容“Galaxy Note premium suite”，并发出使用文本发送应用将所选记录内容进行发送的命令。

参见图8，在存储器屏幕上对“Galaxy Note premium suite”进行下划线之后，当接收到对应于文本命令的词“text”时，用户终端将在进行下划线之后接收的对应于文本命令的输入词确定为文本发送命令，并使用文本发送应用发送记录内容。即，当选择了区域并接收到对应于命令的输入时，用户终端将输入确定为命令并将所选区域中包括的笔输入内容确定为记录内容。

如果用户终端中不存在与用户输入相匹配的任何应用，则可向用户提供相似应用的候选集合，以使得用户可从候选应用之中选择想要的应用。

在另一示例中，用户终端所支持的功能可通过备忘录功能执行。针对这一目的，用户终端基于用户请求调用备忘录层，并根据用户输入信息搜索安装的应用。

例如，将搜索关键字输入到针对备忘录功能显示的备忘录屏幕，以便在用户终端中安装的应用之中搜索特定应用。然后，用户终端搜索与输入的关键字相匹配的应用。即，如果用户通过备忘录功能在屏幕上写下“car game”，则用户终端在所安装的应用之中搜索与“car game”有关的应用并在屏幕上提供搜索结果。

在另一示例中，用户可以通过备忘录功能在屏幕上输入安装时间，比如2011年2月(February 2011)。然后，用户终端搜索在2011年2月安装的应用。即，当用户通过备忘录功能在屏幕上写下“February 2011”时，用户终端在所安装的应用之中搜索在2011年2月安装的应用并在屏幕上提供搜索结果。

如上所述，在用户终端中安装了大量应用的情况中，基于用户的记录来激活或搜索特定应用是有用的。

为了更加高效地搜索应用，优选地对所安装的应用进行索引。被索引的应用可按照类别(比如特征、领域、功能等)进行分类。

当用户输入特定键或手势时，可调用备忘录层，以使得用户能够输入要激活的应用的ID信息或输入索引信息来搜索特定应用。

以上述方式激活或搜索的特定应用包括备忘录应用、日程安排应用、地图应用、音乐应用和地铁应用。

当激活特定应用时，在步骤312中，用户终端监控手写信息的输入。输入信息可采用线条、符号、图案或其组合以及文本的形式。除此之外，用户终端可监控如下信息的输入：该信息指示选择在当前屏幕上写下的的全部或部分记录的区域。

如果记录被部分或全部选择，则用户终端连续监控对应于命令的信息的附加输入，以便处理步骤312中所选择的记录内容。

在感测到手写信息的输入时，在步骤314中，用户终端执行用于识别所感测的输入信息的操作。例如，识别所选整个或部分记录内容的文本信息，或识别除了文本之外采用线条、符号、图案或其组合的形式的输入信息。图6所示的识别引擎210负责识别输入信息。

当用户终端识别了所感测的输入信息时，用户终端对所识别的文本信息进行自然语言处理，以理解所识别的文本信息的内容。NLI引擎220负责所识别的文本信息的自然语言处理。

如果确定输入信息是文本和符号的组合，则除了自然语言处理之外，用户终端还对符号进行处理。

在符号处理中，用户终端分析用户的实际备忘录图案，并通过对备忘录图案的分析来检测用户经常使用的主要符号。从而，用户终端分析使用所检测到的主要符号的意图，并基于分析结果确定主要符号的意思。

用户针对每个主要符号意在表达的意思内置在数据库中，以便在解释后续输入符号的过程中使用。即，预备的数据库可用于符号处理。

图9示出了用于在实现本发明的实施例时使用的用户的示例性实际备忘录图案。图9中所示的备忘录图案示出了用户经常使用符号→、()、_、-、+、和？。例如，符号→用于附加描述或段落分隔，而符号()指示()内的内容是术语的定义或描述。

相同的符号可被解释为不同的意思。例如符号→可强调“时间推移”、“因果关系”、“位置”、“属性间关系的描述”、“聚类基准点”、“改变”等。

图10示出了一个符号可解释为多种意思的示例。参见图10，符号→可用于时间推移、因果关系、位置等意思。

图11示出了包括文本和符号的组合的输入信息可根据符号被解释为不同意思的示例。用户输入信息“Seoul→Busan”可被解释为“将Seoul变为Busan”以及“从Seoul到Busan”。可通过考虑附加信息或与之前或之后的信息的关系来解释允许多个意思的符号。然而，该解释可导致对用户意图的不准确评估。

为了克服该问题，需要对符号识别/理解进行大量研究和工作。例如，在人文领域的符号学中对符号识别和理解之间的关系进行研究，并且这些研究被用于广告、文学、影视、交通信号等方面。广义上讲，符号学是记号和符号的功能、分析、解释、意思和表示以及与交流有关的各种系统的理论和研究。

此外，还从工程科学的角度对记号和符号进行研究。例如，在对机械/电子/计算机工程领域中的流程图和设计图进行符号识别方面进行了研究。这些研究用于简图(手画图)识别。此外，在化学领域还对识别复杂化学结构式进行研究，该研究用于手画化学图识别。

图12示出了在符号学中对记号和符号的示例性使用，图13示出了在机械/电子/计算机工程和化学领域对记号和符号的示例性使用。

用户终端通过对识别结果的自然语言处理理解用户输入信息的内容，然后在步骤318中基于所识别的内容对用户关于输入信息的意图进行评估。

当用户终端确定用户关于输入信息的意图时，在步骤322中，用户终端执行对应于用户意图的操作，或输出对应于用户意图的响应。在执行对应于用户意图的操作之后，用户终端可向用户输出操作结果。

相反，如果用户终端未能评估用户关于输入信息的意图，则在步骤320中，用户终端通过与用户的问答过程来获取附加信息，以确定用户的意图。针对该目的，用户终端创建要询问用户的问题并向用户提出该问题。当用户通过对问题进行答复而输入附加信息时，用户终端通过在之前通过自然语言处理而理解的内容之外另外考虑新输入的信息来重新评估用户的意图。

虽然没有示出，但用户终端可以附加地执行步骤314和316，以理解新输入的信息。

在步骤320中，用户终端可以通过与用户交换问题和答复(即与用户进行对话)，获取确定用户意图所需的大多数信息，直到准确评估用户意图为止。

当用户终端在上述问答过程中确定了用户的意图时，在步骤322中，用户终端执行对应于用户意图的操作或向用户输出对应于用户意图的响应结果。

可在多个场景中考虑用户终端中UI装置的配置和UI装置中使用手写NLI的UI方法。图14-21示出了根据本发明实施例的基于支持备忘录功能的应用的操作场景。

即，图14-21示出了通过开启(launch)另一应用来对在支持备忘录功能的应用中写下的记录进行处理的示例。

图14是示出了通过开启另一应用来对在支持备忘录功能的应用中写下的记录进行处理的操作的流程图。

参见图14，在执行备忘录应用时，用户终端100通过触摸板单元130显示备忘录屏幕，并在步骤1202中接收用户在备忘录屏幕上已写下的记录。用户终端100可通过笔识别板136获取与来自用户的笔输入相对应的笔输入事件，并可通过触摸板134获取与来自用户手指或对象的触摸输入相对应的触摸输入事件。根据本发明的实施例，举例来讲，当用户使用触摸笔20写下记录时，用户终端100通过笔识别板136接收笔输入事件。用户可以借助触摸笔20在备忘录屏幕上写下记录以及输入命令。

在步骤1204中，用户终端根据笔输入事件识别笔输入的内容。用户终端可以使用识别引擎210的手写识别块215-1识别笔输入的内容。例如，手写识别块215-1从触摸板单元130接收在备忘录屏幕上触摸的点的坐标，将所接收的触摸点的坐标存储为笔画，并使用笔画生成笔画阵列。手写识别块215-1使用预先存储的手写库和包括所生成的笔画阵列的笔画阵列列表来识别笔输入的内容。

在步骤1206中，用户终端根据所识别的笔输入内容，确定命令和执行命令所针对的记录内容。用户终端可以将笔输入内容的所选择的全部或部分区域确定为执行命令所针对的记录内容。在所选择的全部或部分区域中存在预定输入的情况下，用户终端可将预定输入确定为命令。预定输入对应于预设符号、图案、文本或其组合中的至少一个或对应于由手势识别功能预设的至少一个手势。

具体来讲，如图8所示，当用户在备忘录屏幕上对“Galaxy Notepremium suite”进行下划线之后输入对应于文本命令的文字“text”时，用户终端将对应于文本命令的文字确定为文本发送命令，并将下划线的区域中的笔输入内容确定为将被发送的记录内容。

在步骤1208中，用户终端执行对应于命令的应用，并通过接收记录内容作为对于所执行的应用的输入数据来执行该应用的功能。

具体地，用户终端可通过经应用执行器110激活应用，来执行对应于命令的应用的功能。即，应用执行器110从识别引擎210接收对应于命令的识别结果，检查该命令是否包括在预先存储的同义词表中，以及在存在对应于命令的同义词的情况下，读取对应于同义词的ID。然后，应用执行器110参考预设方法表，执行对应于ID的方法。因此，该方法根据命令执行应用，将记录内容转移到应用，并且使用记录内容作为输入数据来执行应用的功能。

在执行应用的功能之后，用户终端可将手写内容，即笔输入内容和关于其功能已被执行的应用的信息存储为记录。

当用户请求时，可获取所存储的记录。例如，当从用户接收到获取所存储的记录的请求时，用户终端获取所存储的记录，在备忘录屏幕上显示所存储的记录的手写内容，即笔输入内容和关于已经执行的应用的信息。当用户编辑手写内容时，用户终端可以从用户接收对获取的记录的手写内容进行编辑的笔输入事件。如果已经针对所存储的记录执行了应用，则当接收到重新执行该应用的请求时可以重新执行该应用。

通过手写识别执行的应用可包括用于发送邮件、文本、消息等的发送应用，用于搜索因特网、地图等的搜索应用，用于存储信息的保存应用和用于将一种语言翻译成另一种的翻译应用。

作为实施例，将描述将本发明应用到邮件发送应用的情况。图15示出了在用户终端处通过备忘录功能将记录的一部分作为邮件发送的场景。

参见图15，用户通过备忘录功能在用户终端的屏幕上写下记录，并借助线条、符号、闭合圈等选择记录的一部分。例如，可通过画出闭合圈来选择整个记录的部分区域，由此选择闭合圈内的记录内容。

然后，用户使用预设或可直观识别的符号和文本，输入请求对所选内容进行处理的命令。例如，用户画出指示所选区域的箭头并写下指示人员的文本(Senior，Hwa Kyong-KIM)。

当接收到该信息时，用户终端将用户的意图解释为将所选区域的记录内容发送到“Senior，Hwa Kyong-KIM”的意思。例如，用户终端确定与指示所选区域的箭头和指示人员(Senior，Hwa Kyong-KIM)的文本相对应的命令。在确定了用户的意图(例如命令)之后，用户终端从所安装的应用之中选取能够发送所选记录内容的推荐应用。然后，用户终端显示所选取的推荐应用，从而用户可以请求对推荐应用进行选择或激活。

当用户选择推荐应用之一时，用户终端开启所选应用并通过该应用将所选的记录内容发送到“Senior，Hwa Kyong-KIM”。

如果没有预先登记关于接收方的信息，则用户终端可向用户询问“Senior，Hwa Kyong-KIM”的邮件地址。在这种情况中，用户终端可以响应于从用户接收到邮件地址来发送所选的记录内容。

在处理了用户的意图(例如命令)之后，用户终端在屏幕上显示处理结果，从而用户可以确认与用户意图相符的合适处理。例如，用户终端在显示指示邮件发送完成的消息的同时，询问用户是否在列表中存储所发邮件的详情。当用户请求在列表中存储所发邮件的详情时，用户终端在列表中登记所发邮件的详情。

通过允许用户终端将在会议期间写下的记录的必要内容发送到另一方，而不需要从一个应用转换到另一个应用，以上场景可以有助于增加吞吐量，并通过与用户的交互存储所发邮件的详情。

图16a和16b示出了用户终端通过备忘录功能发送整个记录的场景。

参见图16a和16b，用户通过备忘录功能在屏幕上写下记录(写备忘录)。然后，用户使用线条、符号、闭合圈等选择整个记录(触发)。例如，当用户绕整个记录画闭合圈时，用户终端可以识别到闭合圈内的全部记录内容都被选择。

用户通过写下预设或可直观识别的文本(例如“send text”)来请求对所选内容进行文本发送(写命令)。

基于用户输入信息配置UI的NLI引擎识别到用户意在以文本形式发送所选区域的内容。然后，如果确定信息对于文本发送而言不充分，NLI引擎通过与用户交换问题和答复来获取必要信息。例如，NLI引擎通过例如“To whom？”来询问用户将文本发送给谁。

用户通过备忘录功能输入关于将接收文本的接收方的信息，作为对问题的答复。可直接输入接收方的姓名或电话号码，作为关于接收方的信息。在图16b中，输入“Hwa Kyong-KIM”和“Ju Yun-BAE”作为接收方信息。

NLI引擎在目录中检测映射到输入姓名“Hwa Kyong-KIM”和“JuYun-BAE”的电话号码并向所述电话号码发送文本，其中将所选记录内容作为文本主体。如果所选记录内容是图像，则用户终端可附加地将图像转换成文本，以使得其他方可以识别。

当完成文本发送时，NLI引擎显示指示处理结果的通知，例如消息“text has been sent”。因此，用户可以确认已经按照意图合适地完成了处理。

图17a和17b示出了用户终端处通过备忘录功能查找记录的一部分的意思的场景。

参见图17a和17b，用户通过备忘录功能在屏幕上写下记录(写备忘录)。然后，用户使用线条、符号、闭合圈等选择记录的一部分(触发)。例如，用户可以通过绕记录的部分区域中写下的一个单词画闭合圈来选择该单词。

用户通过写下预设或可直观识别的符号(例如“？”)来请求所选文本的意思(写命令)。

基于用户输入信息配置UI的NLI引擎询问用户使用哪个引擎来查找所选文字的意思。针对这一目的，NLI引擎使用与用户的问答过程。例如，NLI引擎通过在屏幕上显示“Which search engine？”来提示用户输入选择搜索引擎的信息。

用户通过备忘录功能输入“wikipedia”作为答复。从而NLI引擎通过使用用户输入作为关键字，识别用户意在使用“wikipedia”作为搜索引擎。NLI引擎使用“wikipedia”找到所选“MLS”的意思并显示搜索结果。因此，用户从屏幕上显示的信息意识到“MLS”的意思。

图18a和18b示出了用户终端处将通过备忘录功能写下的记录的一部分登记为针对另一应用的信息的场景。

参见图18a和18b，用户通过备忘录功能在用户终端的屏幕上写下去中国旅行需要准备的待办事项列表(写备忘录)。然后，用户使用线条、符号、闭合圈等选择记录的一部分(触发)。例如，用户可以通过绕记录的一部分中的“pay remaining balance of airline ticket”画闭合圈来选择该文本。

用户通过写下预设或可直观识别的文本(例如“register in to-do-list”)来请求在待办事项列表中登记所选的记录内容(写命令)。

基于用户输入信息配置UI的NLI引擎识别到用户意在请求对与记录的所选内容相对应的任务进行日程安排。然后，在确定信息对于进行日程安排是不充分的情况下，NLI引擎还通过与用户的问答过程获取必要信息。例如，NLI引擎通过询问日程安排(例如“Enter finish date”)来提示用户输入信息。

用户通过备忘录功能输入“May 2”作为应该执行该任务的日期，作为答复。从而，针对日程安排，NLI引擎将所选内容存储为5月2日要做的事情。

在处理了用户的请求之后，NLI引擎显示处理结果，例如消息“saved”。因此，用户意识到已经按照意图执行了合适的处理。

图19a和19b示出了用户终端处使用锁定功能对通过备忘录功能写下的记录进行存储的场景。图19c示出了对通过锁定功能存储的记录进行读取的场景。

参见图19a和19b，用户通过备忘录功能在用户终端的屏幕上使用照片和记录写下大阪旅行期间的用户经历(写备忘录)。然后，用户使用线条、符号、闭合圈等选择整个记录或记录的一部分(触发)。例如，用户可以通过绕记录画闭合圈来选择整个记录。

用户通过写下预设或可直观识别的文本(例如“lock”)，来请求通过锁定功能对所选记录内容进行登记(写命令)。

基于用户输入信息配置UI的NLI引擎识别到用户意在通过锁定功能存储记录的内容。然后，在确定信息针对设置锁定功能是不充分的情况下，NLI引擎还通过与用户的问答过程获取必要信息。例如，NLI在屏幕上显示询问密码的问题(例如消息“Enter password”)，以设置锁定功能。

为了设置锁定功能，用户通过备忘录功能输入密码“3295”，作为答复。从而，NLI引擎使用密码“3295”存储所选记录内容。

在通过锁定功能存储记录内容之后，NLI引擎显示处理结果，例如消息“Saved”。因此，用户意识到已经按照意图执行了合适的处理。

参见图19c，用户从通过锁定功能存储的记录之中选择记录(选择备忘录)。当用户选择了特定记录时，在确定提供所选记录需要密码的情况下，NLI引擎通过问答过程提示用户输入密码(写密码)。例如，NLI引擎显示可供用户输入密码的备忘录窗口。

当用户输入有效密码时，NLI引擎在屏幕上显示所选记录。

图20示出了用户终端处使用通过备忘录功能写下的记录的一部分执行特定功能的场景。

参见图20，用户通过备忘录功能在用户终端的屏幕上写下记录(写备忘录)。然后，用户使用线条、符号、闭合圈等选择记录的一部分(触发)。例如，用户可以通过绕记录的一部分中的电话号码“010-9530-0163”画闭合圈来选择该电话号码。

用户通过写下预设或可直观识别的文本(例如“call”)，来请求拨打该电话号码(写命令)。

基于用户输入信息配置UI的NLI引擎通过将所选的电话号码翻译成自然语言来对其进行识别，并尝试拨打电话号码“010-9530-0163”。

图21a和21b示出了用户终端处对通过备忘录功能写下的记录的一部分进行隐藏的场景。

参见图21a和21b，用户通过备忘录功能在用户终端的屏幕上写下针对用户访问的每个网站的ID和密码(写备忘录)。然后，用户使用线条、符号、闭合圈等选择记录的一部分(触发)。例如，用户可以通过绕记录的一部分中的密码“wnse3281”画闭合圈来选择该密码。

用户通过写下预设或可直观识别的文本(例如“hide”)，来请求隐藏所选内容(写命令)。

基于用户输入信息配置UI的NLI引擎识别到用户意在隐藏所选记录内容。为了使用隐藏功能，在确定需要附加信息的情况下，NLI引擎还通过问答过程从用户获取必要信息。NLI引擎输出询问密码的问题(例如消息“Enter the password”)，以设置隐藏功能。

当用户通过备忘录功能写下密码“3295”作为用来设置隐藏功能的答复时，NLI引擎通过将其翻译成自然语言来识别“3295”并存储“3295”。然后，NLI引擎隐藏所选记录内容，以使得密码不在屏幕上出现。

图22示出了用户终端处对通过备忘录功能写下的记录的一部分进行翻译的场景。

参见图22，用户通过备忘录功能在用户终端的屏幕上写下记录(写备忘录)。然后，用户使用线条、符号、闭合圈等选择记录的一部分(触发)。例如，用户可以通过对记录的一部分中的句子“receive requesteddocument by 11 AM tomorrow”进行下划线来选择该句子。

用户通过写下预设或可直观识别的文本(例如“translate”)，来请求对所选内容进行翻译(写命令)。

基于用户输入信息配置UI的NLI引擎识别到用户意在请求对所选记录内容进行翻译。然后，NLI引擎通过问答过程显示询问将所选记录内容翻译成何种语言的问题。例如，NLI引擎通过在屏幕上显示消息“Whichlanguage”来提示用户输入想要的语言。

当用户通过备忘录功能写下语言“Italian”(意大利语)作为答复时，NLI引擎识别到“Italian”(意大利语)是用户想要的语言。然后，NLI引擎对所识别的记录内容进行翻译，即将句子“receive requested documentby 11 AM tomorrow”翻译成意大利语并输出翻译结果。因此，用户在屏幕上阅读所请求的句子的意大利语翻译。

图23-28示出了在激活了特定应用之后，开启支持备忘录功能的另一应用且然后通过所开启的应用执行被激活的应用的示例性场景。

图23示出了在用户终端的主页屏幕上执行备忘录层并在备忘录层上执行特定应用的场景。例如，用户终端通过在主页屏幕上执行备忘录应用来在主页屏幕上开启备忘录层，以及在接收到关于应用的标识信息(例如应用名称)“Chaton”时执行该应用。

图24示出了用户终端处通过备忘录应用控制特定活动应用中的特定操作的场景。例如，通过在已经执行了音乐播放应用的屏幕上执行备忘录应用来开启备忘录层。然后，当用户在屏幕上写下想要的歌曲的标题“Yeosu Night Sea”时，用户终端在活动应用中播放对应于“Yeosu NightSea”的音源。

图25示出了用户终端处通过备忘录功能控制特定活动应用的示例性场景。例如，如果用户在观看视频期间在备忘录层上写下要跳到的时刻“40:22”，则用户终端跳到40分22秒的时间点播放正在进行的视频。在听音乐期间以及在观看视频期间，可通过相同的方式执行该功能。

图26示出了用户终端处正在执行网络浏览器时使用备忘录功能尝试搜索的场景。例如，当正在使用网络浏览器阅读特定网页时，用户选择在屏幕上显示的内容的一部分，开启备忘录层，然后在备忘录层上写下文字“search”，由此命令使用所选内容作为关键字进行搜索。NLI引擎通过自然语言处理识别用户的意图并理解所选的内容。然后，NLI引擎使用所选内容通过设置的搜索引擎进行搜索，并在屏幕上显示搜索结果。

如上所述，用户终端可以对在提供特定应用的屏幕上一起输入的选择和基于备忘录功能的信息进行处理。

图27示出了通过备忘录功能获取地图应用中想要的信息的场景。例如，用户通过使用备忘录功能在地图应用的屏幕上的特定区域周围画闭合圈来选择该区域，并写下要搜索的信息，例如“famous place？”(著名景点？)，由此命令对所选区域内的著名景点进行搜索。

当识别到用户的意图时，NLI引擎在其预存的数据库或服务器的数据库中搜索有用信息，并附加地在当前屏幕上所显示的地图上显示检测到的信息。

图28示出了在激活了日程安排应用同时，通过备忘录功能输入想要的信息的场景。例如，在激活了日程安排应用同时，用户执行备忘录功能并在屏幕上写下信息，如直观地离线完成一样。例如，用户通过在日程安排屏幕上画闭合圈来选择特定日期，并针对该日期写下计划。即，用户选择2012年8月4日，并针对该日期写下“TF workshop”。然后，用户终端的NLI引擎请求输入时间作为附加信息。例如，NLI引擎在屏幕上显示问题“Time？”，以便提示用户通过备忘录功能写下准确时间，比如“3:00PM”。

图29和30示出了与符号学相关的示例性场景。

图29示出了在通过备忘录功能进行的问答流的上下文中解释手写符号的意思的示例。例如，可假定写下了记录“to Italy on business”和“Incheon→Rome”。由于符号→可被解释为从一个地点到另一地点的旅程，所以用户终端的NLI引擎向用户输出询问时间的问题，例如“When？”。

此外，NLI引擎可搜索关于在用户所写的日期(4月5日)从仁川到罗马的旅行可用的航班的信息，并将搜索结果提供给用户。

图30示出了结合所激活的应用解释通过备忘录功能所写的符号的意思的示例。例如，当用户在激活了地铁应用的屏幕上通过直观的方式使用符号(即箭头)选择出发地和目的地时。然后，用户终端可通过当前被激活的应用，提供关于去往目的地的火车的到达时间和到达目的地所花费的时间的信息。

根据以上描述可知，本发明通过在多种应用中支持备忘录功能并从而通过直观的方式控制应用，可使用户更加便利。

上述场景的特征在于，当用户在屏幕上开启备忘录层并在备忘录层写下信息时，用户终端识别该信息并执行对应于该信息的操作。针对这一目的，优选地，另外规定用于在屏幕上开启备忘录层的技术。

例如，可通过按压菜单按钮、输入特定手势、保持按压触摸笔的按钮或使用手指上下滚动屏幕来在当前屏幕上开启备忘录层。虽然在本发明的实施例中将屏幕向上滚动来开启备忘录层，但是许多其它技术也是可用的。

应理解，本发明的实施例可以硬件、软件或其组合来实现。软件可存储在易失性或非易失性存储设备(比如ROM)中，而不管是否可对数据进行删除或重写，可存储在诸如RAM的存储器、存储芯片、设备或集成电路中，或存储在可对数据进行光或磁记录并可由机器(例如计算机)从中读取数据的存储介质(比如CD、DVD、磁盘或磁带)中。

此外，本发明的用户终端中的UI装置和方法可实现在具有控制器和存储器的计算机或便携式终端中，存储器是适于存储包括用来实现本发明实施例的命令的一个或多个程序的机器可读(计算机可读)存储介质的示例。因此，本发明包括具有用于实现权利要求所限定的装置或方法的代码的程序以及存储该程序的可由机器读取的存储介质。可通过介质(诸如经由有线或无线连接发送的通信信号，它们及其等同物都包括在本发明中)对程序进行电传输。

用户终端中的UI装置和方法可从通过电缆或无线连接的程序提供设备接收程序并对其进行存储。程序提供设备可包括具有用来实现本发明实施例的命令的程序、用于存储本发明的实施例所需的信息的存储器、用于通过电缆或无线地与UI装置进行通信的通信模块、以及用于自动地或在UI装置请求时向UI装置发送程序的控制器。

例如，假定在本发明的实施例中配置UI的识别引擎基于识别结果对用户的意图进行分析，并向用户提供基于用户意图对输入进行处理的结果，这些功能在用户终端中处理。

然而，还可想到，用户与可通过网络访问的服务器一同执行实现本发明所需的功能。例如，用户终端通过网络向服务器发送识别引擎的识别结果。然后，服务器基于所接收的识别结果评估用户的意图，并向用户终端提供用户的意图。如果评估用户的意图或处理用户的意图需要附加信息，则服务器可通过与用户终端的问答过程接收附加信息。

此外，用户可将本发明的操作限制到用户终端，或者可以通过调整用户终端的设置来选择性地扩展本发明的操作，以通过网络与服务器互动。

尽管已经参照本发明的实施例具体示出和描述了本发明，但本领域技术人员应该理解，在不背离由所附权利要求及其等同物所限定的本公开的精神和范围的情况下，可在形式和细节方面进行各种改变。

Claims (15)

1.一种用户终端中的用户界面(UI)方法，包括：

根据由用户在备忘录屏幕上施加的笔输入接收笔输入事件；

根据笔输入事件识别笔输入内容；

根据所识别的笔输入内容确定命令和记录内容；以及

执行与所确定的命令相对应的应用，以及使用所确定的记录内容作为针对所述应用的输入数据。

2.根据权利要求1所述的UI方法，其中确定命令和记录内容包括：如果选择了区域且识别了对应于命令的输入，则将所述输入确定为命令并将所选区域中包括的笔输入内容确定为记录内容。

3.根据权利要求1所述的UI方法，其中识别笔输入内容包括：

接收由笔在备忘录屏幕上触摸的点的坐标；

将所触摸的点的坐标存储为笔画；

使用笔画生成笔画阵列；以及

使用预先存储的手写库和包括所生成的笔画阵列的笔画阵列列表，识别笔输入内容。

4.根据权利要求2所述的UI方法，其中所述输入是预定义的，所述预定义的输入对应于预设符号、图案、文本以及所述符号、图案和文本的组合中的至少一个或对应于由手势识别功能预设的至少一个手势。

5.根据权利要求2所述的UI方法，其中执行与所确定的命令相对应的应用包括：

确定所述命令是否包括在预先存储的同义词表中；

在存在与所述命令相匹配的同义词的情况下，读取对应于所述同义词的标识符(ID)值；

执行预定方法表中对应于所述ID值的方法；以及

通过所述方法执行对应于所述命令的应用并将记录内容发送到所述应用。

6.根据权利要求1所述的UI方法，还包括将笔输入内容和关于所执行的应用的信息存储为记录。

7.根据权利要求6所述的UI方法，其中从用户接收备忘录屏幕上的笔输入还包括：

在用户请求时获取预先存储的记录，以及在备忘录屏幕上显示所获取的记录的手写内容和关于针对所获取的记录已经执行的应用的信息；以及

从用户接收对所获取的记录的手写内容进行编辑的笔输入事件。

8.根据权利要求7所述的UI方法，还包括当从用户接收到对重新执行所述已经执行的应用的请求时，重新执行所述已经执行的应用。

9.根据权利要求1所述的UI方法，其中所述应用是发送应用、搜索应用、保存应用或翻译应用，以及执行应用包括接收所述记录内容作为针对发送应用、搜索应用、保存应用或翻译应用的输入数据并对记录内容进行发送、搜索、存储或翻译。

10.一种用户终端处的用户界面(UI)装置，包括：

触摸板单元，用于显示备忘录屏幕以及根据由用户施加到备忘录屏幕上的笔输入来输出笔输入事件；

命令处理器，用于根据笔输入事件识别笔输入内容，根据所识别的笔输入内容确定命令和记录内容；以及

应用执行器，用于执行与所确定的命令相对应的应用，以及使用所确定的记录内容作为针对所述应用的输入数据。

11.根据权利要求10所述的UI装置，其中如果选择了区域且识别了对应于命令的输入，则所述命令处理器将所述输入确定为命令并将所选区域中包括的笔输入内容确定为记录内容。

12.一种用户终端处的用户界面(UI)装置，包括：

触摸屏，用于显示备忘录屏幕；

控制器，用于在触摸屏上显示正在执行的第一应用，在触摸屏上接收和显示与用于执行不同于第一应用的第二应用的命令相对应的第一手写图像，响应于第一手写图像在触摸屏上显示用于询问关于第一手写图像的附加信息的文本，响应于所述文本在触摸屏上接收和显示与用于执行第二应用的输入数据相对应的第二手写图像，根据第一和第二手写图像的识别结果使用所述输入数据执行第二应用的功能，以及在触摸屏上显示功能执行的结果。

13.根据权利要求12所述的UI装置，其中询问关于第一手写图像的附加信息的文本显示在第一手写图像在触摸屏上显示的位置之下，以及其中采用言语气球的形式来显示询问关于第一手写图像的附加信息的文本。

14.一种用户终端处的用户界面(UI)装置，包括：

触摸屏，用于显示备忘录屏幕；

控制器，用于在触摸屏上显示正在执行的第一应用，在触摸屏上接收和显示请求搜索的第一手写图像，响应于第一手写图像在触摸屏上显示用于询问关于第一手写图像的附加信息的文本，响应于所述文本在触摸屏上接收和显示对应于附加信息的第二手写图像，通过根据第一和第二手写图像的识别结果执行搜索应用来搜索内容，以及在触摸屏上显示搜索结果。

15.根据权利要求14所述的UI装置，其中接收第一手写图像包括：

接收用户选择文字作为搜索关键字，其中所述用户选择文字是在备忘录屏幕上显示的内容的一部分；以及

接收询问所选文字的意思的命令，其中询问关于第一手写图像的附加信息的文本显示在第一手写图像在触摸屏上显示的位置之下，以及其中采用言语气球的形式来显示询问关于第一手写图像的附加信息的文本，其中控制器将第一手写图像、第二手写图像、询问附加信息的文本和关于所执行的搜索应用的信息存储为记录。