CN104471535B - 通过手写图像识别来控制应用的方法和设备 - Google Patents

Abstract

提供了一种通过手写图像识别控制应用的方法和设备。所述方法包括如下步骤：在触摸面板上显示执行的应用；检测预定义的用户输入；响应于检测到的用户输入而在应用之上显示包括手写输入区域和非手写输入区域的备忘录窗口；接收和识别在备忘录窗口的手写输入区域中的手写图像；以及，根据识别结果控制应用的功能。

Description

通过手写图像识别来控制应用的方法和设备

技术领域

本发明涉及一种用于通过手写图像识别来控制应用的方法和设备。更具体地讲，本发明涉及一种用于通过识别具有触摸面板的电子装置的手写输入来控制当前执行的应用的功能的方法和设备。

背景技术

随着便携式电子装置的最近增长，针对可进行直观输入/输出的用户界面(UI)的需求在增加。例如，由附加装置(诸如，键盘、键区、鼠标等)的手段输入信息的传统UI已演化为通过利用手指或触摸电子笔直接触摸屏幕或通过语音来输入信息的直观UI。

此外，UI技术已被开发为是直观和以人中心的以及用户友好的。利用这种UI技术，用户可通过语音与便携式电子装置交谈，从而输入意图信息或获得期望信息。

典型地，多个应用安装到普及的便携式电子装置(诸如，智能电话)且从安装的应用可应用新的功能。

典型地，安装在智能电话中的多个应用被单独运行，而不共同向用户提供新的功能或结果。

例如，尽管是支持直观UI的用户终端，但是日程应用仅允许在其支持的UI上的信息输入。

而且，仅为了利用输入装置(诸如，手指或电子笔)来编写笔记，用户使用触摸面板或通过触摸面板支持备忘录功能的用户终端，但是不存在与其它应用共同利用这些笔记的特定方法。

发明内容

技术问题

因此，存在针对在用户终端中利用基于手写的UI与用户交换信息的设备和方法的需要。

上述信息仅作为背景信息而呈现以帮助本公开的理解。针对上述信息中任意信息能否应用为相对于本发明的现有技术，没有做出任何确定以及没有做出任何声明。

技术方案

本发明的各方面至少旨在解决上述问题和/或缺点，并至少提供下述优点。因此，本发明的一方面在于提供一种在用户终端中在基于手写的用户界面(UI)上与用户交换信息的设备和方法。

本发明的另一方面在于提供一种用于在具有触摸面板的电子装置中通过手写识别来控制当前执行的应用的功能的设备和方法。更具体地讲，本发明的一方面在于提供一种用于通过识别用户输入到触摸面板的手写图像来控制当前执行的应用的功能的设备和方法。用户终端是具有触摸面板的电子装置。触摸面板用于各种电子装置中以提供用于显示图形和文本并支持用户与电子装置的交互的UI。

本发明的另一方面在于提供一种用于在用户终端中通过基于手写的备忘录功能来执行特定命令的UI设备和方法。

本发明的另一方面在于提供一种用于在用户终端中通过基于手写的备忘录功能与用户交换问题和回答的UI设备和方法。

本发明的另一方面在于提供一种用于在用户终端中接收用于处理通过备忘录功能已在屏幕上编写的笔记的选择的全部或一部分的命令的UI设备和方法。

本发明的另一方面在于提供一种用于在支持通过电子笔的备忘录模式的用户终端中支持备忘录模式与命令处理模式之间的切换的UI设备和方法。

本发明的另一方面在于提供一种用于在用户终端中通过备忘录功能启用输入命令来控制当前激活应用或另一应用的UI设备和方法。

本发明的另一方面在于提供一种用于在用户终端中分析用户的备忘录模式并考虑分析的备忘录模式来确定通过备忘录功能输入的信息的UI设备和方法。

根据本发明的一方面，提供了一种支持基于手写的备忘录功能的用户终端的UI方法。所述方法包括：在特定应用正在执行期间，将允许手写的备忘录层显示在特定应用的执行屏幕之上；当用户请求时，基于用户在备忘录层中编写的笔记识别用户意图；根据识别出的用户意图控制特定应用的操作。备忘录层可采用备忘录窗口的形式。因此，备忘录层和备忘录窗口可以以相同含义相互替换。

根据本发明的另一方面，提供了一种支持基于手写的备忘录功能的用户终端的UI设备。所述设备包括具有触摸面板的电子装置，在所述电子装置中，在特定应用正在执行期间，将允许手写的备忘录层显示在特定应用的执行屏幕之上；当用户请求时，基于用户在备忘录层中编写的笔记识别用户意图；根据识别出的用户意图控制特定应用的操作。

根据本发明的另一方面，提供了一种用于在具有触摸面板的电子装置中控制应用的方法。所述方法包括如下步骤：在触摸面板上显示执行的应用；显示预定义的用户输入；响应于检测到的用户输入而将包括手写输入区域和非手写输入区域的备忘录窗口显示在应用之上；接收和识别在备忘录窗口的手写输入区域中的手写图像；根据识别结果控制应用的功能。

从应用接收到的文本和图像中的至少一个可显示在备忘录窗口的非手写输入区域中。

当检测到对于非手写输入区域的触摸时，备忘录窗口可识别输入到手写输入区域的手写图像，将识别的手写图像转换为与该手写图像匹配的文本并将该文本提供给所述执行的应用。

应用可将从备忘录窗口接收到的文本分离为用于控制所述执行的应用的功能的命令以及与该命令相关的数据。

根据本发明的另一方面，提供了一种用于在具有触摸面板的电子装置中控制应用的方法。所述方法包括如下步骤：在触摸面板上显示表示与执行的应用相关的信息的图形对象以及用于控制所述执行的应用的功能的按钮；当检测到对于按钮的触摸时，控制与该按钮相应的应用的功能；当检测到对于触摸面板的预定义输入时，在触摸面板上的图形对象和按钮中之上显示包括手写输入区域和非手写输入区域的备忘录窗口；接收和识别在备忘录窗口的手写输入区域中的手写图像；根据识别结果控制所述执行的应用的功能。

从应用接收到的文本和图像中的至少一个可显示在备忘录窗口的非手写输入区域中。

当检测到对于文本和图像的触摸时，备忘录窗口可识别输入到手写输入区域的手写图像，将识别的手写图像转换为与该手写图像匹配的文本并将该文本提供给所述执行的应用。

当备忘录窗口被显示在按钮之上时，按钮可被失活。

根据本发明的另一方面，提供了一种用于在具有触摸面板的电子装置中控制应用的方法。所述方法包括如下步骤：当在第一模式下检测到触摸输入时，控制执行的应用的功能；在第二模式下，在应用正在执行期间，识别对于触摸面板的预定义的输入，根据识别的输入将允许手写输入的备忘录窗口显示在所述执行的应用之上，识别输入到备忘录窗口中的手写图像，并根据识别的手写图像控制所述执行的应用的功能。

在第二模式下，第一模式可被失活。

根据本发明的另一方面，提供了一种电子装置。所述电子装置包括：触摸面板，用于检测触摸；控制器，用于在触摸面板上显示执行的应用，响应于从触摸面板检测到的预定义输入而将包括手写输入区域和非手写输入区域的备忘录窗口显示在应用之上，识别在备忘录窗口的手写输入区域中的手写图像，以及根据识别结果控制所述执行的应用的功能。

控制器可进行控制以将从应用接收到的文本和图像显示在备忘录窗口的非手写输入区域中。

当检测到对于文本和图像的触摸时，控制器可识别输入到手写输入区域的手写图像，将识别的手写图像转换为与该手写图像匹配的文本并控制与该文本相应的所述执行的应用的功能。控制器可将所述文本分离为用于控制所述执行的应用的功能的命令以及与该命令相关的数据。

根据本发明的另一方面，提供了一种电子装置。所述电子装置包括：触摸面板，用于检测触摸；控制器，在触摸面板上显示表示与执行的应用相关的信息的图形对象以及用于控制所述执行的应用的功能的按钮中的至少一个，当检测到对于按钮的触摸时显示与该按钮相应的应用的功能，当检测到对于触摸面板的预定义输入时，在触摸面板上的图形对象和按钮之上显示包括手写输入区域和非手写输入区域的备忘录窗口，识别输入到备忘录窗口的手写输入区域的手写图像以及根据识别结果控制所述执行的应用的功能。

控制器可进行控制以将从应用接收到的文本和图像显示在备忘录窗口的非手写输入区域中。当检测到对于文本和图像的触摸时，控制器可识别输入到手写输入区域的手写图像，将识别的手写图像转换为与该手写图像匹配的文本并控制与该文本匹配的所述执行的应用的功能。当备忘录窗口显示在按钮之上时，控制器可控制按钮的失活。

根据本发明的另一方面，提供了一种电子装置。所述电子装置包括：触摸面板，用于检测触摸；控制器，以第一模式进行操作以及以第二模式进行操作，其中在所述第一模式下，当检测到触摸输入时控制器控制执行的应用的功能，其中在所述第二模式下，控制器识别在应用正在执行期间对于触摸面板的预定义的输入，根据识别的输入将允许手写输入的备忘录窗口显示在所述执行的应用之上，识别输入到备忘录窗口中的手写图像，并根据识别的手写图像控制所述执行的应用的功能。

根据本发明的另一方面，提供了一种电子装置。所述电子装置包括：触摸面板，用于检测触摸；控制器，在触摸面板上显示表示与执行的应用相关的信息的图形对象以及用于控制所述执行的应用的功能的按钮中的至少一个，当检测到对于按钮的触摸时控制与该按钮相应的应用的功能的执行，当检测到对于触摸面板的预定义输入时在显示了图形对象和按钮的屏幕之上显示允许手写输入的备忘录窗口，识别输入到备忘录窗口的手写输入图像并根据识别结果控制所述执行的应用的功能的执行。

通过下面结合公开了本发明的示例性实施例的附图进行的详细描述，本领域的其它方面、优点和显著特征将对本领域技术人员变得清楚。

技术效果

本发明的示例性实施例可通过在各种应用中支持备忘录功能来允许应用的直观控制，从而增加用户便利性。

本发明的示例性实施例的特点在于，当用户在屏幕上启用(launch)备忘录层并在备忘录层上编写信息时，用户终端识别该信息并执行与该信息相应的操作。为此，优选地，附加规定用于在屏幕上建立备忘录层的技术。

附图说明

本发明的特定示例性实施例的上述和其它方面、特点和优点将从下面结合附图进行的描述更加清楚，在附图中：

图1是根据本发明的示例性实施例的支持基于手写的自然语言交互(NLI)的用户终端的框图；

图2是根据本发明的示例性实施例的用户终端中用于支持基于手写的NLI的命令处理器的框图；

图3是示出根据本发明的示例性实施例的用于在用户终端中使用基于手写的NLI来支持用户界面(UI)的控制操作的流程图；

图4示出根据本发明的示例性实施例的通过备忘录功能请求基于特定应用或功能的操作；

图5示出根据本发明的示例性实施例的用户的实际备忘录模式；

图6示出根据本发明的示例性实施例的一个符号被解释为各种含义；

图7示出根据本发明的示例性实施例的包括文本和符号的组合的输入信息根据符号而被解释为不同含义；

图8示出根据本发明的示例性实施例的在符号学使用记号和符号；

图9示出根据本发明的示例性实施例的在机械/电气/计算机工学和化学使用记号和符号；

图10至图17示出根据本发明的示例性实施例的基于支持备忘录功能的应用的操作方案；

图18示出根据本发明的示例性实施例的在用户终端中用于通过备忘录功能控制激活应用的配置；

图19是示出根据本发明的示例性实施例的用于在用户终端中通过调用备忘录层来控制较低层应用的控制操作的流程图；

图20a至图20c示出根据本发明的示例性实施例的在用户终端中调用备忘录层的操作；

图21a至图21d示出根据本发明的示例性实施例的用户在用户终端的屏幕上显示的备忘录层上编写笔记；

图22示出根据本发明的示例性实施例的在用户终端中使用备忘录层控制当前执行的特定应用；

图23至图28示出根据本发明的示例性实施例的在特定应用被激活之后调用支持备忘录功能的应用以及通过调用的应用执行激活应用的方案；

图29至图30示出根据本发明的示例性实施例的与符号学相关的方案；

图31是示出根据本发明的示例性实施例的在用户终端中通过调用备忘录层来控制较低层应用的控制操作的流程图；

图32a至图36b示出根据本发明的示例性实施例的在具有触摸面板的电子装置中使用备忘录窗口控制当前执行的较低层应用的操作方案；

图37a和图37b示出根据本发明的示例性实施例的包括在较低层应用和备忘录层(备忘录窗口)应用中的软件模块。

贯穿附图，相同附图标记将被理解为指示相同部分、部件和结构。

具体实施方式

提供参照附图的以下描述以帮助由权利要求及其等同物限定的本发明的示例性实施例的全面理解。所述描述包括用于帮助理解的各种特定细节，但是这些应被理解为仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本发明的范围和精神的前提下，可对在此描述的实施例进行各种修改和变化。此外，为了清楚和简洁，可省略公知功能和结构的描述。

在下面的描述和权利要求书中使用的术语和词语不限于词典中的含义，而是仅由发明人使用以使本发明的理解清楚和一致。因此，对于本领域技术人员清楚的是，仅为了示出的目的，而非限制由权利要求及其等同物限定的本发明的目的而提供了本发明的示例性实施例的下面描述。

应理解的是，除非上下文另外明确指出，否则单数形式也包括复数形式。因此，例如，部件表面的指示包括一个或多个这种表面的指示。

术语“基本”表示无需精确获得其描述的特征、参数或值，但是在不排除所述特征意图提供的效果的前提下，可发生偏差或变化(包括例如公差、测量误差、测量精度限制以及本领域技术人员公知的其它因素)。

将提供本发明的示例性实施例以获得本发明的上述技术方面。在示例性实施方式中，限定实体可具有相同名称，但本发明不限于此。因此，可通过在具有相似技术背景的系统的相同或简单变形来实施本发明的示例性实施例。

本发明的示例性实施例意图在用户终端中进行通过备忘录功能与用户进行问答处理，其中，所述用户终端通过自然语言交互(NLI)应用了基于手写的用户界面(UI)技术(以下，称作“基于手写的NLI”)。

NLI通常涉及理解和创建。利用理解和创建功能，计算机理解输入并且显示人类容易理解的文本。因此，可以认为，NLI是使人与电子装置以自然语言进行对话的自然语言理解的应用。

例如，用户终端通过基于手写的NLI以问答处理来执行从用户接收到的命令或从用户获取执行输入命令所需的信息。

为了将基于手写的NLI应用于用户终端，优选地，在本发明的示例性实施例中，通过基于手写的UI在备忘录模式与命令处理模式之间有机地执行切换。在备忘录模式下，用户利用输入装置(诸如，手指或用户终端的电子笔)在由激活的应用显示的屏幕上编写笔记，而在命令处理模式下，在备忘录模式下编写的笔记和与当前激活的应用相关联的信息一起被处理。

例如，当按下电子笔的按钮时，即，当产生硬件的信号时，可在备忘录模式与命令处理模式之间发生切换。

虽然以电子笔用作用于支持备忘录功能的主要输入装置的情境下给出了下面的描述，但是本发明的示例性实施例不限于将电子笔用作输入装置的用户终端。换言之，应该理解，在本发明的示例性实施例中，用户可使用其来在触摸面板上输入信息的任意装置可被用作输入装置。

优选地，信息以初步双方约定在用户终端与用户之间共享，使得用户终端通过与用户交换问题和回答来从用户接收意图信息，从而用户终端可通过本发明的示例性实施例的基于手写的NLI来将处理接收到的信息的结果提供给用户。例如，为了请求操作模式切换，允许使用符号、图案、文本和它们的组合中的至少一个或通过手势输入识别功能来使用动作。主要地，备忘录模式至命令处理模式的切换或命令处理模式至备忘录模式的切换可被请求。

针对对于与符号、图案、文本或它们的组合相应的输入信息的约定(agreement)，优选地，分析用户的备忘录模式并考虑分析结果，从而使用户方便且直观地输入意图信息。

作为本发明的单独示例性实施例来描述根据基于手写的NLI通过备忘录功能控制各种激活的应用并输出控制结果的各种方案。

例如，将给出选择所有或部分笔记并通过特定命令来处理选择的笔记内容的方案，通过备忘录功能将特定信息输入到特定激活应用的屏幕的方案，以及使用基于手写的NLI的问答处理来处理特定命令的方案等的描述。

将参照附图对本发明的示例性实施例给出描述。在附图中，相同标号表示相同部件。将避免本发明的示例性实施例的公知功能和结构的描述，以避免这些描述混淆本发明的主题。

图1是根据本发明的示例性实施例的支持基于手写的NLI的用户终端的框图。虽然图1中仅示出了用户终端的支持基于手写的NLI所需的部件，但是清楚的是，为了执行其它功能，其它部件可被添加到用户终端。还可以以软件功能块和硬件功能块的形式构造图1中示出的每个部件。

参照图1，当用户请求时，应用执行器110与存储器(未示出)联动来安装通过网络或外部接口接收到的应用。当用户请求时，应用执行器110激活安装的应用之一，并根据外部命令控制激活的应用。外部命令指的是除了内部产生的命令之外的几乎任意的外部输入的命令。

例如，外部命令可以是与由用户通过基于手写的NLI输入的信息相应的命令以及与通过网络输入的信息相应的命令。在示例性实施方式中，外部命令限于与由用户通过基于手写的NLI输入的信息相应的命令，这不应被解释为限制本发明的示例性实施例。

应用执行器110通过基于手写的NLI将安装或激活特定应用的结果提供给用户。例如，应用执行器110将安装或激活特定应用的结果输出在触摸面板单元130的显示器上。触摸面板单元130可检测触摸。

触摸面板单元130被构造为处理通过基于手写的NLI的信息的输入/输出。触摸面板单元130执行显示功能和输入功能。显示功能一般指示在屏幕上显示信息的功能，输入功能一般指示从用户接收信息的功能。

但是，明显的是，用户终端可包括用于执行显示功能和输入功能的附加结构。例如，用户终端还可包括用于检测运动的相机。

在示例性实施方式中，触摸面板单元130将被描述为执行显示功能和输入功能，而不区分关于触摸面板单元30的操作的显示功能和输入功能。触摸面板单元130识别来自用户的特定信息或特定命令并将识别的信息或命令提供给应用执行器110和/或命令处理器120。

信息可以是关于由用户编写的笔记的信息或关于在根据基于手写的NLI的问答处理中的回答的信息。此外，信息可以是用于选择显示在当前屏幕上的笔记的全部或一部分的信息。

命令可以是请求安装特定应用的命令或请求激活已经安装的引用中的特定应用的命令。命令可以是请求执行由选择的应用支持的特定操作、功能等的命令。

信息或命令可以是线、符号、图案或它们的组合的形式的输入以及文本的输入。这种线、符号、图案等可通过约定而被预先设置。

触摸面板单元130将由应用执行器110激活特定应用或执行激活的应用的特定功能的结果显示在屏幕上。

在问答处理中，触摸面板单元130还在屏幕上显示问题或结果。例如，当用户输入特定命令时，触摸面板单元130显示从命令处理器120接收到的处理特定命令的结果，或显示问题以从用户获得处理特定命令所需的附加信息。当从用户接收到作为对于问题的回答的附加信息时，触摸面板单元130将接收到的附加信息提供给命令处理器120。

然后，触摸面板单元130显示用于根据命令处理器120的请求而获得其它信息的附加问题，或显示处理反映接收到的附加信息的特定命令的结果。

命令处理器120从触摸面板单元130接收用户输入的文本、符号、图像、图案等，并通过所述文本、符号、图像、图案等来识别用户意图的输入。

例如，命令处理器120可通过对于接收到的文本、符号、图像、图案等的自然语言处理来识别用户意图的输入。针对自然语言处理，命令处理器120采用基于手写的NLI。用户意图的输入包括请求激活特定应用或在当前激活应用中执行特定功能的命令或针对问题的回答。

当命令处理器120确定用户意图的输入是请求特定操作的命令时，命令处理器120处理确定的命令。具体地讲，命令处理器120可根据确定的命令来命令应用执行器110激活特定应用或执行当前激活的应用的特定功能。在这种情况下，命令处理器120从应用执行器110接收处理结果并将处理结果提供给触摸面板单元130。

应用执行器110可将处理结果直接提供给触摸面板单元130，而不提供给命令处理器120。

如果为了处理确定的命令而需要附加信息，则命令处理器120创建用于获得附加信息的问题，并将该问题提供给触摸面板单元130。然后，命令处理器120可从触摸面板单元130接收针对问题的回答。

命令处理器120可以与用户持续交换问题和回答，即，命令处理器120可通过触摸面板单元130与用户持续进行对话直到获得用于处理确定的命令的充足信息。例如，命令处理器120可通过触摸面板单元130重复问答处理。

为了执行上述操作，命令处理器120通过与触摸面板单元130相互作用，来采用基于手写的NLI。例如，命令处理器120通过经由基于手写的自然语言接口的备忘录功能，来使用户与电子装置之间的问答(即，对话)进行。用户终端处理用户命令或以对话将处理用户命令的结果提供给用户。

触摸面板单元130可检测触摸。命令处理器120和应用执行器110可被合并到控制器(未示出)，或者控制器可被构造为执行命令处理器120和应用处理器110的操作。控制器可在触摸面板上显示执行的应用，且可响应于从触摸面板检测到的预定义手势，而在应用上显示备忘录窗口。备忘录窗口被划分为手写输入区域和非手写输入区域。用户的触摸输入在手写输入区域中可被检测到，而用户的触摸输入在非手写输入区域中可被忽略。预定义手势可以是用户利用他或她的手指或电子笔在触摸面板上作出的触摸和拖动。预定义手势可以是用户通过手指或电子笔的手段在触摸面板上画出特定形状或图案的。

控制器可识别输入到备忘录窗口的手写输入区域的手写图像，且可根据识别结果来控制应用的功能的执行。

当用户在备忘录窗口的手写输入区域中编写笔记时，控制器可识别笔记的手写图像并输出与识别到的手写图像相应的文本。

手写图像可通过利用电子笔在触摸面板上编写笔记的用户动作产生。备忘录窗口具有其唯一标题且备忘录窗口的标题根据执行的应用而变化。例如，当前执行的应用具有将显示在备忘录窗口中的关于备忘录窗口的标题的信息。

控制器可进行控制以将从应用接收到的文本和图像显示在备忘录窗口的非手写输入区域中。文本可以是备忘录窗口的标题，且图像可以是图标。

当用户触摸图像时，备忘录窗口可消失。例如，图标等同于用户可操纵的按钮。

当检测到对于文本或图像的触摸时，控制器可识别在手写输入区域中编写的笔记的手写图像，将该手写图像转换为匹配文本，并基于文本控制应用的功能。文本可以是命令或针对其执行命令的数据。

控制器可将文本识别为用于控制应用的功能的命令或与这种命令相关联的数据。

根据本发明的示例性实施例，电子装置可包括用于检测触摸的触摸面板和控制器。控制器可控制在触摸面板上显示表示与执行的应用相关联的信息的图形对象和用于控制应用的功能的按钮。当执行应用时，包括文本或图像的图形对象可被显示在触摸面板上。此外，按钮可显示在触摸面板上，以从用户接收用于控制应用的功能的命令。当用户触摸按钮时，分配给该按钮的命令被传输给应用。

当检测到对于按钮的触摸时，控制器可控制应用的功能。此外，当检测到对于触摸面板的预定义手势时，控制器可在触摸面板上显示与图形对象和按钮重叠的备忘录窗口。例如，当用户在触摸面板上进行拖动时，备忘录窗口可被显示。

备忘录窗口可被划分为手写输入区域和非手写输入区域。控制器可识别输入到手写输入区域的手写图像，并且可根据识别结果控制应用的功能的执行。

控制器可控制在备忘录窗口的非手写输入区域中显示从应用接收到的文本和图像。

当检测到对于在备忘录窗口中的文本和图像的触摸时，控制器可识别输入到手写输入区域的手写图像，将这种手写输入图像转换为匹配第一文本，并根据第一文本控制应用的功能。第一文本从手写图像的识别结果获得。

控制器还可在按钮上显示指示按钮的功能的第二文本。如果第一文本与按钮上的第二文本完全或部分匹配，则控制器可执行与该按钮相应的应用的功能。第一文本可以与第二文本完美匹配。可选择地，第一文本可与第二文本部分匹配。例如，如果从识别用户输入手写图像而获得的第一文本是“删除”，而标注在按钮上的第二文本是“删除项目”，则第一文本与第二文本部分匹配。在这种情况下，控制器可控制应用的多个功能中的与第一文本相应的“删除”命令的执行。

当备忘录窗口以重叠方式显示在按钮之上时，控制器可控制按钮的失活。备忘录窗口可被渲染为半透明。由于备忘录窗口位于按钮之上，所以控制器可失活该按钮。从按钮的位置检测到的触摸输入可被忽略。

在本发明的示例性实施例中，电子装置可显示触摸面板且在触摸面板上显示表示关于执行的应用的信息的图像对象和用于控制应用的功能的按钮。当按钮被触摸时，电子装置可控制应用的与该按钮相应的功能的执行。当对于触摸面板输入预定义手势时，电子装置可在显示图形对象和按钮的屏幕之上显示允许手写输入的备忘录窗口，识别在备忘录窗口中的输入手写图像，并根据识别结果控制应用的功能的执行。

图2是根据本发明的示例性实施例的用户终端中的用于支持基于手写的NLI的命令处理器的框图。

参照图2，支持基于手写的NLI的命令处理器120包括识别引擎210和NLI引擎220。

识别引擎210包括识别管理器模块212、远程识别客户端模块214和本地识别模块216。本地识别模块216包括手写识别块215-1、光学字符识别块215-2和对象识别块215-3。

NLI引擎220包括对话模块222和智能模块224。对话模块222包括用于控制对话流程的对话管理块以及用于识别用户的意图的自然语言理解(NLU)块。智能模块224包括用于反映用户偏好的用户建模块、用于反映常识的常识推论块和用于反映用户状况的情境管理块。

识别引擎210可从与输入装置(诸如，电子笔)相应的绘画引擎和智能输入平台(诸如，相机)接收信息。智能输入平台(未示出)可以是光学字符识别器，诸如，光学字符读取器(OCR)。智能输入平台可读取采用打印或手写的文本、数字或符号的形式的信息，并将读取的信息提供给识别引擎210。绘画引擎是用于从输入装置(诸如，手指、对象、笔等)接收输入的部件。绘画引擎可检测从输入装置接收到的输入信息，并将检测到的输入信息提供给识别引擎210。因此，识别引擎210可识别从智能输入平台和触摸面板单元130接收到的信息。

作为示例，将在本发明的示例性实施例中描述触摸面板单元130从输入装置接收输入并将触摸输入识别信息和笔输入识别信息提供给识别引擎210的情况。

根据本发明的示例性实施例，识别引擎210从作为信息而接收到的文本、线、符号、图案、图像或它们的组合，识别用户选择的当前显示的笔记的全部或一部分或用户选择的命令。用户选择的命令是预定义输入。用户选择的命令可对应于预设符号、图案、文本或它们的组合中的至少一个或由手势识别功能预设的至少一个手势。

识别引擎210输出在上述操作获得的识别结果。

为此，识别引擎210包括：识别管理器模块212，用于提供整体控制以输出输入信息的识别结果；远程识别客户端模块214；本地识别模块216，用于识别输入信息。本地识别模块216至少包括：手写识别块215-1，用于识别手写输入信息；光学字符识别块215-2，用于从输入的光学信号识别信息；对象识别块215-3，用于从输入手势识别信息。

手写识别块215-1识别手写输入信息。例如，手写识别块215-1识别用户已利用触摸笔20在备忘录屏幕上编写的笔记。详细地讲，手写识别块215-1从触摸面板单元130接收在备忘录屏幕上触摸的点的坐标，将触摸的点的坐标存储为笔画并使用笔画产生笔画阵列。手写识别块215-1使用预先存储的手写库和包括产生的笔画阵列的笔画阵列列表，来识别手写笔记的内容。手写识别块215-1输出与笔记内容相应的识别结果和在识别内容中的命令。

光学字符识别块215-2接收由光学检测模块检测到的光学信号，并输出光学字符识别结果。对象识别块215-3接收由动作检测模块检测到的手势检测信号，识别手势并输出手势识别结果。

从手写识别块215-1、光学字符识别块215-2和对象识别块215-3输出的识别结果被提供给NLI引擎220或应用执行器110。

NLI引擎220通过处理(例如，分析)从识别引擎210接收到的识别结果)，来确定用户意图。例如，NLI引擎220根据从识别引擎接收到的识别结果确定用户意图输入信息。详细地讲，NLI引擎220通过根据基于手写的NLI与用户交换问题和回答来收集充足信息，并基于收集到的信息确定用户的意图。

为了这种操作，NLI引擎220的对话模块222创建用于与用户进行对话的问题，并将问题提供给用户，从而控制用于从用户接收回答的对话流程。对话模块222管理从问题和回答获得的信息(对话管理块)。对话模块222还通过考虑管理信息来执行对初始接收命令的自然语言处理，来了解用户的意图(NLU块)。

NLI引擎220的智能模块224产生将在通过自然语言处理来了解用户的意图时所参照的信息，并将参照信息提供给对话模块222。例如，智能模块224通过分析在制作笔记时的用户的习惯来对反映用户偏好的信息进行建模(用户建模块)，推导用于反映常识的信息(常识推论块)或管理表示当前用户状态的信息(情境管理块)。

因此，对话模块222可在从智能模块224接收到的信息的帮助下，控制与用户的问答处理中的对话流程。

同时，应用执行器110从识别引擎210接收可与命令相应的识别结果，在预先存储的同义词表中搜索命令，并且在同义词表中存在与命令匹配的同义词时读取相应于与该命令匹配的同义词的标识符(ID)。应用执行器110执行与所述ID相应的预先存储的方法表中列出的方法。因此，方法执行与所述命令相应的应用并且笔记内容被提供给应用。应用执行器110使用笔记内容执行应用的相关联功能。

图3是示出根据本发明的示例性实施例的用于在用户终端中支持使用基于手写的NLI的UI的控制操作的流程图。

参照图3，在步骤310，用户终端激活特定应用并提供激活的应用的功能。特定应用是基于用户请求而安装在用户终端中的应用中的由用户的请求已经激活的应用。

例如，用户可通过用户终端的备忘录功能而激活特定应用。例如，基于用户请求，用户终端可在屏幕上启用备忘录层。然后，当接收到特定应用的识别信息并且该信息对应于执行命令时，用户终端搜索特定应用并激活检测到的应用。这种方法对于快速执行安装在终端中的大量应用中的期望应用是有帮助的。

特定应用的识别信息可以是例如应用的名称。与执行命令相应的信息可以是预设为命令应用的激活的图像、符号、图案、文本等。

图4示出根据本发明的示例性实施例的通过备忘录功能请求基于特定应用或功能的操作。

参照图4，使用线、闭环、图像等来选择通过备忘录功能编写的笔记的一部分，并且使用另一应用来处理选择的笔记内容。例如，使用线来选择笔记内容“galaxy notepremium suite”，且用于使用文本发送应用来发送所选择的笔记内容的命令被发布。

如果在用户终端中不存在与用户输入匹配的应用，则相似应用的候选集合可被提供给用户，使得用户可从候选应用中选择期望的应用。

在另一示例中，可通过备忘录功能来执行用户终端支持的功能。为此，用户终端基于用户请求而调用备忘录层，并根据用户输入信息搜索安装的应用。

例如，为了从安装在用户终端中的应用中搜索特定应用，搜索关键词被输入到针对备忘录功能而显示的备忘录屏幕。然后，用户终端搜索与输入的关键词匹配的应用。例如，如果用户通过备忘录功能在屏幕上编写“汽车游戏”，则用户终端从安装的应用中搜索与“汽车游戏”相关的应用并在屏幕上提供搜索结果。

在另一示例中，用户可通过备忘录功能在屏幕上输入安装时间，例如，2011年2月。然后，用户终端搜索在2011年2月安装的应用。例如，当用户通过备忘录功能在屏幕上编写“2011年2月”时，用户终端从安装的应用中搜索在“2011年2月”安装的应用，并在屏幕上提供搜索结果。

如上所述，在大量应用安装在用户终端的情况下，基于用户的笔记激活或搜索特定应用是有用的。

为了更有效搜索应用，安装的应用优选被做索引。被做索引的应用可按诸如特点、领域、功能等的种类被分类。

当用户输入特定键或手势时，备忘录层可被调用以允许用户输入将被激活的应用的识别信息或输入索引信息，以搜索特定应用。

按上述方式激活或搜索到的特定应用包括备忘录应用、日程应用、地图应用、音乐应用和地铁应用。

返回参照图3，当特定应用被激活时，在步骤312，用户终端监视手写信息的输入。除了文本之外，输入信息可采用线、符号、图案或它们的组合的形式。用户终端可监视指示选择在当前屏幕上编写的笔记的全部或一部分的区域的信息的输入。

如果笔记被部分或全部选择，则在步骤312，用户终端继续监视与用于处理选择的笔记内容的命令相应的信息的附加输入。

当检测到手写信息的输入时，在步骤314，用户终端执行用于识别检测到的输入信息的操作。例如，所选择的全部或部分笔记内容的文本信息被识别或采用线、符号、图案或它们的组合以及文本的形式的输入信息被识别。在图2中示出的识别引擎210负责识别输入信息。

一旦用户终端识别出检测到的输入信息，则用户终端执行对识别出的文本信息的自然语言处理，以理解识别出的文本信息的内容。NLI引擎220负责识别出的文本信息的自然语言处理。

如果确定输入信息是文本和符号的组合，则与自然语言处理一起，用户终端也对符号进行处理。

在符号处理中，用户终端分析用户的实际备忘录模式，并通过分析备忘录模式来检测用户频繁使用的主要符号。然后，用户终端分析使用检测到的主要符号的意图，并基于分析结果确定主要符号的含义。

用户对于每个主要符号的意图的含义建立到数据库中，以在之后用于解释之后输入的符号。例如，准备的数据库可被用于符号处理。

图5示出根据本发明的示例性实施例的用户的实际备忘录模式。

参照图5，用户频繁使用符号→、()、_、-、+和？。例如，符号→用于附加描述或分段，符号()表示在()内的内容是术语的限定或描述。

同一符号可被解释为具有不同含义。例如，符号→可表示“时间流逝”、“因果关系”、“位置”、“属性之间的关系的描述”、“用于分簇的参考点”、“改变”等。

图6示出根据本发明的示例性实施例的一个符号被解释为各种含义。

参照图6，符号→可被用于时间流逝、因果关系、位置等的含义。

图7示出根据本发明的示例性实施例的包括文本和该符号的组合的输入信息根据该符号被解释为具有不同含义。

参照图7，用户输入信息“Seoul-Busan”可被解释为暗示“从Seoul至Busan”，还暗示“Seoul”被改变为“Busan”。可考虑附加信息或与先前或后续信息的关系来解释允许多个含义的符号。但是，这种解释可导致用户意图的不精确估计。

为了处理这种情况，需要对于符号识别/理解的扩展研究和努力。例如，在人文科学领域的符号学中正在研究符号识别与理解之间的关系，且广告、文学、电影、交通信号等中利用这种研究。在广义上，符号学是对于记号和符号的功能、分析、解释、含义和表示以及与交流相关的各种体系的理论和研究。

还可从工程科学的观点研究记号和符号。例如，在机械/电气/计算机工学的领域中，对于流程图和蓝图的符号识别进行研究。这种研究被用于草图(手绘图)识别。此外，在化学领域中，研究复杂化学结构式的识别，且这种研究被用于手绘化学图识别。

图8示出根据本发明的示例性实施例的在符号学中使用记号和符号，图9示出根据本发明的示例性实施例的在机械/电气/计算机工学以及化学领域中使用记号和符号。

返回参照图3，在步骤318，用户终端通过对识别出的结果的自然语言处理来理解用户输入信息的内容，且基于识别出的内容估计关于输入信息的用户的意图。

一旦用户终端确定关于输入信息的用户意图，则在步骤322，用户终端执行与用户意图相应的操作或输出与用户意图相应的响应。在执行与用户意图相应的操作之后，用户终端可将操作的结果输出给用户。

相反，如果用户终端未能估计出关于输入信息的用户意图，则在步骤320，用户终端通过与用户的问答处理来获得附加信息，以确定用户意图。为了该目的，用户终端创建用于询问用户的问题，并将该问题提供给用户。当用户通过回答该问题来输入附加信息时，用户终端考虑新输入信息以及先前通过自然语言处理理解的内容，来再次估计用户意图。

虽未示出，但是用户终端可附加执行步骤314和316以理解新输入信息。

直到精确估计出用户意图为止，用户终端可在步骤320通过与用户交换问题和答案(即，通过与用户进行对话)来获得确定用户意图所需的大部分信息。

一旦用户终端在问答处理中确定用户意图，则在步骤322，用户终端向用户输出与用户意图相应的操作的结果或输出与用户意图相应的响应结果。

可在各种情况中考虑用户终端的UI设备的配置和这种UI设备的使用基于手写的NLI的UI方法。

图10至图17示出根据本发明的示例性实施例的基于支持备忘录功能的应用的操作方案。

更详细地讲，图10至图17示出通过调用另一应用来处理用户已在支持备忘录功能的应用中输入的笔记。

图10示出根据本发明的示例性实施例的使用用户终端的备忘录功能来通过邮件发送笔记的一部分的方案。

参照图10，用户通过备忘录功能在用户终端的屏幕上编写笔记，且通过线、符号、闭环等的方式选择笔记的一部分。例如，全部笔记的部分区域可通过绘制闭环而被选择，从而选择在闭环内的笔记的内容。

然后，用户使用预设或直观可识别符号和文本，来输入请求处理所选择的内容的命令。例如，用户绘制指示选择的区域的箭头并编写指示人的文本(Senior，Hwa Kyong-KIM)。

当接收到信息时，用户终端将用户意图解释为所选择区域的笔记内容将被发送给“Senior，Hwa Kyong-KIM”的含义。然后，用户终端从安装的应用中提取能够发送所选择笔记内容的推荐应用，并在屏幕上显示提取的推荐应用，使得用户可请求选择或激活推荐应用。

当用户选择推荐应用之一时，用户终端启用所选择应用并通过该应用将所选择笔记内容发送给“Senior，Hwa Kyong-KIM”。

如果关于接收方的信息是未预先注册的，则用户终端可询问用户“Senior，HwaKyong-KIM”的邮件地址。在这种情况下，用户终端可响应于从用户接收到邮件地址而发送所选择笔记内容。

在如用户意图一样进行处理之后，用户终端在屏幕上显示处理结果，使得用户可确认符合用户意图的合适处理。例如，用户终端在显示指示完成邮件发送的消息的同时询问用户是否将所发送邮件的细节存储在列表中。当用户请求将所发送邮件的细节存储到列表中时，用户终端将所发送邮件的细节注册到列表中。

上述方案可通过允许用户终端将在会议期间编写的笔记的必要内容发送至对方(无需从一个应用改变至另一应用)并通过与用户的交互来存储所发送邮件的细节，来帮助增加效率。

图11a和图11b示出根据本发明的示例性实施例的用户终端通过备忘录功能发送全部笔记的方案。

参照图11a和图11b，用户通过备忘录功能在屏幕上编写笔记(编写备忘录)。然后，用户使用线、符号、闭环等来选择全部笔记(触发)。例如，当用户绘制围绕全部笔记的闭环时，用户终端可识别出在闭环内的笔记的全部内容被选择。

用户通过编写预设或直观可识别文本(例如，“send text”)来请求所选择内容的文本发送(编写命令)。

基于用户输入信息配置UI的NLI引擎识别出用户意图发送在文本中的所选择区域的内容。然后，当确定信息不足以文本发送时，NLI引擎还通过与用户交换问题和回答，来获得必需信息。例如，NLI引擎(例如，通过“To whom？”)询问用户将文本发送给谁。

用户通过备忘录功能作为针对问题的回答而输入关于用于接收文本的接收方的信息。接收方的姓名或电话号码可被直接输入为关于接收方的信息。在图11b中，“HwaKyong-KIM”和“Ju Yun-BAE”被输入为接收方信息。

NLI引擎在目录中检测映射到输入名称“Hwa Kyong-KIM”和“Ju Yun-BAE”的电话号码，并将具有所选择笔记内容的文本作为正文发送到所述电话号码。如果所选择笔记内容是图像，则用户终端可附加地将图像转换为文本使得对方可识别该文本。

当完成文本发送时，NLI引擎显示指示处理结果的通知(例如，消息“text hasbeen sent”)。因此，用户可确认处理已经如意图地被合适完成。

图12a和图12b示出根据本发明的示例性实施例的在用户终端中通过备忘录功能寻找笔记的一部分的含义的方案。

参照图12a和图12b用户通过备忘录功能在屏幕上编写笔记(编写备忘录)。然后，用户使用线、符号、闭环等来选择笔记的一部分(触发)。例如，用户可通过绘制围绕笔记的部分区域中编写的词语的闭环，来选择该词语。

用户通过编写预设或直观可识别的符号(例如，“？”)，来请求所选择文本的含义(编写命令)。

基于用户输入信息配置UI的NLI引擎询问用户使用哪个引擎来寻找所选择词语的含义。为此，NLI引擎使用与用户的问答处理。例如，NLI引擎通过在屏幕上显示“Whichsearch engine？”，来提示用户输入选择搜索引擎的信息。

用户通过备忘录功能输入“wikipedia”作为回答。因此，NLI引擎将用户输入用作关键词，来识别出用户意图使用“wikipedia”作为搜索引擎。NLI引擎使用“wikipedia”寻找所选择的词语“MLS”的含义，并显示搜索结果。因此，用户从显示在屏幕上的信息知道“MLS”的含义。

图13a和图13b示出根据本发明的示例性实施例的在用户终端中将通过备忘录功能编写的笔记的一部分注册为另一应用的信息的方案。

参照图13a和图13b，用户通过备忘录功能在用户终端的屏幕上编写用于准备中国旅行的准备事项(编写备忘录)。然后，用户选择使用线、符号、闭环等选择笔记的一部分(触发)。例如，用户可通过绘制围绕文本的闭环来选择笔记的一部分中的“pay remainingbalance of airline ticket”。

用户通过编写预设或直观可识别的文本，来请求将所选择的笔记内容注册到准备事项中(编写命令)。

基于用户输入信息配置UI的NLI引擎识别出用户意图请求与笔记的所选择内容相应的任务的调度。然后，当确定信息不足以进行调度时，NLI引擎还通过与用户的问答处理来获得必需信息。例如，NLI引擎通过询问日程(例如，“Enter finish date”)，来提示用户输入信息。

用户通过备忘录功能作为回答而输入“May 2”作为应执行所述任务的日期。因此，NLI引擎将所选择内容存储为在5月2日执行的事项。

在处理用户的请求之后，NLI引擎显示处理结果(例如，消息“saved”)。因此，用户知道如意图地已执行了合适处理。

图14a和图14b示出根据本发明的示例性实施例的在用户终端中使用锁定功能存储通过备忘录功能编写的笔记的方案。图14c示出根据本发明的示例性实施例的读取通过锁定功能存储的笔记的方案。

参照图14a和图14b，用户通过备忘录功能，使用图片和笔记在用户终端的屏幕上编写大阪旅行期间的用户体验(编写备忘录)。然后，用户还用线、符号、闭环等来选择笔记的全部或一部分(触发)。例如，用户可通过绘制围绕笔记的闭环，来选择全部笔记。

用户通过编写预设或直观可识别文本(例如，“lock”)，来请求通过锁定功能注册所选择笔记内容(编写命令)。

基于用户输入信息配置UI的NLI引擎识别出用户意图通过锁定功能存储笔记的内容。然后，当确定信息不足以设置锁定功能时，NLI引擎还通过与用户的问答处理来获得必需信息。例如，NLI在屏幕上显示询问密码(例如，消息“Enter password”)的问题以设置锁定功能。

为了设置锁定功能，用户通过备忘录功能作为回答而输入作为密码的“3295”。因此，NLI引擎使用密码“3295”存储所选择的笔记内容。

在通过锁定功能存储笔记内容之后，NLI引擎显示处理结果，例如，消息“saved”。因此，用户知道如意图地已执行了合适处理。

参照图14c，用户从通过锁定功能存储的笔记中选择一个笔记(选择备忘录)。当由用户选择了特定笔记时，如果确定需要密码来提供所选择笔记，则NLI引擎通过问答处理来提示用户输入密码(编写密码)。例如，NLI引擎显示用户可输入密码的备忘录窗口。

当用户输入有效密码时，NLI引擎在屏幕上显示所选择笔记。

图15示出根据本发明的示例性实施例的在用户终端中使用通过备忘录功能编写的笔记的一部分来执行特定功能的方案。

参照图15，用户通过备忘录功能在用户终端的屏幕上编写笔记(编写备忘录)。然后，用户使用线、符号、闭环等来选择笔记的一部分(触发)。例如，用户可通过绘制围绕整个笔记中的电话号码“010-9530-0163”的闭环，来选择该电话号码。

用户通过编写预设或直观可识别文本(例如，“呼叫”)，来请求呼叫所述电话号码(编写命令)。

基于用户输入信息配置UI的NLI引擎通过将所选择电话号码翻译为自然语言来识别所选择的电话号码，并企图呼叫电话号码“010-9530-0163”。

图16a和图16b示出根据本发明的示例性实施例的在用户终端中隐藏通过备忘录功能编写的笔记的一部分的方案。

参照图16a和图16b，用户通过备忘录功能在用户终端的屏幕上编写针对每个网站的ID和密码(编写备忘录)。然后，用户使用线、符号、闭环等来选择笔记的全部或一部分(触发)。例如，用户可通过绘制围绕整个笔记中的密码“wnse3281”的闭环，来选择该密码。

用户通过编写预设或直观可识别文本(例如，“hide”)，来请求隐藏所选择的内容(编写命令)。

基于用户输入信息配置UI的NLI引擎识别出用户意图隐藏所选择笔记内容。为了使用隐藏功能，当确定需要附加信息时，NLI引擎还通过问答处理来获得必需信息。NLI引擎输出询问密码的问题(例如，消息“Enter the password”)以设置隐藏功能。

当用户通过备忘录功能作为回答而编写作为密码的“3295”以设置隐藏功能时，NLI引擎通过将“3295”翻译为自然语言来识别出“3295”，并存储“3295”。然后，NLI引擎隐藏所选择笔记内容，使得密码不出现在屏幕上。

图17示出根据本发明的示例性实施例的在用户终端中翻译通过备忘录功能编写的笔记的一部分的方案。

参照图17，用户通过备忘录功能在用户终端的屏幕上编写笔记(编写备忘录)。然后，用户使用线、符号、闭环等来选择笔记的一部分(触发)。例如，用户可通过在语句“receive requested document by 11AM tomorrow”下面划线，来从全部笔记中选择该语句。

用户通过编写预设或直观可识别文本(例如，“translate”)，来请求翻译所选择内容(编写命令)。

基于用户输入信息配置UI的NLI引擎识别出用户意图请求翻译所选择笔记内容。然后，NLI引擎通过问答处理，来显示询问所选择笔记内容将被翻译成的语言的问题。例如，NLI引擎通过在屏幕上显示消息“Which language”，来提示用户输入意图的语言。

当用户作为回答而通过备忘录功能编写作为语言的“Italian”时，NLI引擎识别出“Italian”是用户的意图语言。然后，NLI引擎将识别的笔记内容(即，语句“'receiverequested document by 11AM tomorrow”)翻译为意大利语，并输出翻译结果。因此，用户读取屏幕上的请求语句的意大利语翻译结果。

图18示出根据本发明的示例性实施例的在用户终端中通过备忘录功能控制激活应用的配置。图18所示出的配置在用户终端中以重叠方式在当前执行的特定应用的屏幕之上显示备忘录层，从显示的备忘录层中编写的笔记识别用户意图，并根据用户的意图控制执行的应用的操作。执行的特定应用将被称为“较低层应用”。此外，通过执行较低层应用而触发的在屏幕上重叠显示备忘录层暗示额外地执行支持备忘录功能的应用。

参照图18，较低层应用激活引擎1810执行用户请求的特定应用(即，较低层应用)，并通过识别用户意图来提供对执行的较低层应用的整体控制。

更具体地讲，当用户调用备忘录层并通过在备忘录层中编写笔记来发布操作命令时，较低层应用激活引擎1810根据操作命令而控制执行的较低层应用的操作。

为此，较低层应用激活引擎1810可考虑较低层应用的功能菜单来将特定信息提供给备忘录层应用激活引擎1820，以指示用于此刻控制执行的较低层应用的操作所需的信息。特定信息包括较低层应用的类型和基于较低层应用而当前执行的功能菜单中的至少一个。

在这种情况下，较低层应用激活引擎1810可接收用于控制当前执行的较低层应用的操作的更精确信息。

备忘录层应用激活引擎1820持续监视以约定的预设形式的用户输入的接收，以请求执行支持备忘录功能的应用。例如，预设形式可以是对于较低层应用的执行屏幕的触摸和拖动。触摸和拖动可在屏幕上指向右侧、左侧、上侧或下侧。任何可识别工具可被用于进行触摸和拖动。所述工具可主要是手指或电子笔。

当从用户接收到用于执行支持备忘录功能的应用的请求时，备忘录层应用激活引擎1820调用允许用户编写笔记的备忘录层。调用的备忘录层与较低层应用的执行屏幕重叠。

优选地，备忘录层以如下方式与较低层应用的执行屏幕重叠，所述方式为：较低层应用的执行屏幕通过备忘录层显示。备忘录层与屏幕重叠的区域可通过用户请求而被设置。例如，备忘录层可根据设置而与屏幕全部或部分重叠。可选择地，在备忘录层与屏幕部分重叠之后，用户可通过选择拖动备忘录层的轮廓线或顶点，来改变备忘录层的尺寸。

如上所述，备忘录层应用激活引擎1820控制用于在较低层应用正被执行的同时基于用户请求显示用于允许用户编写笔记的备忘录层的整体操作。

如果较低层应用激活引擎1810指示控制较低层应用所需的信息，则备忘录层应用激活引擎1820还显示“通知用户将进行输入的信息的消息”。例如，如果音乐播放应用作为较低层应用正被执行，则消息“输入歌曲的名称”或“输入音乐家名称”被显示在备忘录层中。

在屏幕上显示备忘录层之后，备忘录层应用激活引擎1820基于由用户编写的笔记识别出用户意图。然后，备忘录层应用激活引擎1820将用户意图的与激活较低层应用相关的控制信息提供给较低层应用激活引擎1810。

为了识别出完成手写笔记，备忘录层应用激活引擎1820还可在显示的备忘录层中显示输入菜单按钮。在这种情况下，当用户按下输入菜单按钮时，备忘录层应用激活引擎1820基于在备忘录层中编写的笔记的内容开始执行用于识别用户意图的操作。

已如上描述了基于在备忘录层中编写的笔记识别用户意图以及根据识别出的用户意图来控制相关联应用的操作。因此，上述描述还可应用于用户意图识别和操作控制。因此，在此将省略用户意图识别和操作控制的多余描述。

图19是示出根据本发明的示例性实施例的在用户终端中通过调用备忘录层来控制较低层应用的控制操作的流程图。

参照图19，在步骤1910，用户终端基于用户请求而激活特定应用，即，较低层应用。在激活较低层应用之后，用户终端控制关于激活的较低层应用的整体操作。用户终端在屏幕上显示较低层应用的操作状态，使得用户可识别较低层应用的操作状态。

当较低层应用正被执行时，在步骤1912，用户终端持续监视用户是否已调用了备忘录层。例如，当用户触摸较低层应用的执行屏幕并拖动屏幕上的触摸时，用户终端调用备忘录层。触摸和拖动可被指向为右侧、左侧、上侧或下侧。任意可识别工具可被用于进行触摸和拖动。所述工具可主要是用户手指或电子笔。

图20a至图20c示出根据本发明的示例性实施例的在用户终端中调用备忘录层的操作。

参照图20a，当用户触摸音乐播放应用中的支持播放列表的功能菜单被激活的屏幕且从左向右拖动该触摸(参照图20a)时，菜单层例如被调用。

可选择地，当用户按下电子笔的功能按钮的同时接近音乐播放应用中的支持播放列表的功能菜单被激活的屏幕的预设范围(悬浮功能)(参照图20c)时，菜单层可被调用。

返回参照图19，在步骤1914，用户终端在较低层应用的执行屏幕之上显示通过用户请求调用的备忘录层。用户终端还可在显示在屏幕上的备忘录层中显示“指示通过用户将输入的信息的消息”。

参照图20b，例如，调用的菜单层以如下方式与显示音乐播放应用中的支持播放列表的激活功能菜单的屏幕重叠，所述方式为所述屏幕通过重叠的菜单层显示。在图20b中，消息“Enter a song title！”显示在备忘录层中。

虽未示出，用户终端可根据用户请求而设置备忘录层重叠的区域。例如，备忘录层可以与屏幕全部或部分重叠。备忘录层的尺寸可通过选择和拖动显示在屏幕的一部分中的备忘录层的轮廓线或顶点，而被改变。

在步骤1916，用户终端确定用户是否已结束在显示的备忘录层中编写笔记。例如，“输入菜单按钮”还可被显示在备忘录层中，使得通过确定所述输入菜单按钮是否已被按下来做出对于用户是否结束编写备忘录的确定。

参照图20b，表示搜索功能的图标作为输入菜单按钮而显示在显示备忘录层的屏幕的右下角处。

但是，清楚理解的是，输入菜单按钮不限于表示搜索功能的图标，而是根据输入到备忘录层的信息而改变。

图21a至图21d示出根据本发明的示例性实施例的在用户终端中用户在屏幕上显示的备忘录层上编写笔记。

参照图21a，包括标题“Enter an application name”和表示与所述应用名称相关的执行的菜单执行按钮的备忘录层被显示。用户在显示的备忘录层中编写“schedule”。当用户按下在备忘录层中的与应用执行请求相应的菜单执行按钮时，用户终端执行日程应用。

参照图21b，包括标题“Enter a song”和表示与所述标题相关的执行的菜单执行按钮的备忘录层被显示。用户在显示的备忘录层中编写“Alone”。当用户按下在备忘录层中的与音乐播放请求相应的菜单执行按钮时，用户终端搜索歌曲“Alone”并播放检测到的歌曲。

参照图21c，包括标题“Enter an artist name”和表示与所述标题相关的执行的菜单执行按钮的备忘录层被显示。用户在显示的备忘录层中编写“Beom Su-KIM”。当用户按下在备忘录层中的与搜索请求相应的菜单执行按钮时，用户终端搜索由“Beom Su-KIM”演唱的歌曲或专辑并显示搜索结果。

参照图21d，包括标题“Enter a called party's name”和表示与所述标题相关的执行的菜单执行按钮的备忘录层被显示。用户在显示的备忘录层中编写“Ha Young-KIM”。当用户按下在备忘录层中的与呼叫请求相应的菜单执行按钮时，用户终端试图呼叫作为较低层应用而正被执行的联系人列表中的针对“Ha young-KIM”而列出的电话号码。

当检测到完成笔记时，在步骤1918，用户终端基于在屏幕上显示的备忘录层中编写的笔记，识别用户意图。然后，在步骤1920，用户终端根据识别出的用户意图控制当前执行的较低层应用的操作。

虽然上述描述基于由激活较低层应用触发的屏幕已经被显示的假设，但是还可以预期如下的可选示例性实施例，即，在没有执行应用的情况下菜单层基于用户请求而显示在主屏幕上，并且基于在显示的菜单层手写的信息而执行用户意图操作。

图22示出根据本发明的示例性实施例的在用户终端中使用备忘录层当前执行的特定应用的控制。

参照图22，当音乐播放应用作为较低层应用而正被执行时，用户终端监视用户是否已调用备忘录层(参见图22的(a))。当用户调用备忘录层时，用户终端在屏幕上激活具有标题和设置了输入菜单按钮的菜单层。例如，具有标题和设置了输入菜单按钮的菜单层显示在音乐播放应用的执行屏幕之上(参见图22的(b))。在图22的(b)中，备忘录层的标题被示出为“Enter asong！”。

用户终端监视UE是否已编写笔记(例如，“Alone”)并且按下显示的输入菜单按钮。当检测到用户按下输入菜单按钮时，用户终端识别作为“Alone”的笔记并将识别的文本“Alone”提供给当前执行的音乐播放应用(参见图22的(d))。

音乐播放应用搜索具有接收到的标题“Alone”的歌曲，并播放检测到的歌曲。可通过用户设置来设置搜索范围。例如，搜索范围可以是存储在用户终端中的歌曲或提供音乐服务的网站。为了将网站设置为搜索范围，需要由用户终端管理或由用户输入用于访问网站而进行认证所需的信息。

如果多个搜索结果与“Alone”匹配，则与搜索结果相应的多个歌曲可被顺序播放或用户被提示选择所述多个歌曲之一。例如，可优选以列表形式将搜索结果显示在屏幕上，使得用户可从所述列表选择歌曲。图23至图28示出在特定应用被激活之后，支持备忘录功能的另一应用被启用且激活的应用通过启用的应用被执行的示例性方案。

图23示出根据本发明的示例性实施例的在用户终端的主屏幕上执行备忘录层且在备忘录层上执行特定应用的方案。

参照图23，当接收到关于应用“Chaton”的识别信息(例如，应用的名称)时，用户终端通过在主屏幕上执行备忘录应用来在主屏幕上启用备忘录层并执行应用。

图24示出根据本发明的示例性实施例的在用户终端中通过备忘录功能来控制特定激活应用的特定操作的方案。

参照图24，通过在已经执行音乐播放应用的屏幕上执行备忘录应用来启用备忘录层。然后，当用户在屏幕上编写意图的歌曲的标题“Yeosu Night Sea”时，用户终端在激活的应用中播放与“Yeosu Night Sea”相应的声音源。

图25示出根据本发明的示例性实施例的在用户终端中通过备忘录功能控制特定激活应用的方案。

参照图25，如果用户在观看视频期间在备忘录层上编写用于跳到的时间(“40:22”)，则用户终端跳到40分22秒的时间点以播放正在播放的视频。在收听音乐期间可以以与在观看视频期间相同方式执行这种功能。

当在电子书阅读器应用的执行期间，用户启用备忘录层且在备忘录层上编写用于跳到的页数(例如，“105”)时，用户终端跳到用户正在阅读的电子书的105页。

图26示出根据本发明的示例性实施例的在用户终端中在Web浏览器正在被执行时使用备忘录功能企图进行搜索的方案。

参照图26，当使用Web浏览器读取特定Web页面时，用户选择显示在屏幕上的内容的一部分，启用备忘录层并在备忘录层上编写词语“search”，从而将选择的内容作为关键词命令进行搜索。NLI引擎识别用户意图，并通过自然语言处理理解选择的内容。然后，NLI引擎使用选择的内容进行使用设置搜索引擎的搜索，并在屏幕上显示搜索结果。

如上所述，还可以预期用户终端通过提供特定应用的屏幕上的选择和基于备忘录功能的信息输入，来处理内容。

图27示出根据本发明的示例性实施例的通过备忘录功能在地图应用中获得意图信息的方案。

参照图27，用户通过使用备忘录功能在地图应用的屏幕上绘制围绕区域的闭环来选择该区域，并编写用于搜索的信息(例如，“famouse places？”)，从而命令搜索在选择的区域内的著名地方。

当识别出用户意图时，用户终端的NLI引擎在其保存的数据库中或服务器的数据库中搜索有用信息，并在当前屏幕上显示的地图上附加地显示检测到的信息。

图28示出根据本发明的示例性实施例的在日程应用正在被激活时通过备忘录功能输入意图信息的方案。

参照图28，当日程应用正在被激活时，用户执行备忘录功能并如离线直观地进行一样在屏幕上编写信息。例如，用户通过在日程屏幕上绘制闭环来选择特定日期并编写针对该日期的计划。例如，用户选择2012年8月14日，并针对该日期编写“TF workshop”。然后，用户终端的NLI引擎请求输入时间作为附加信息。例如，NLI引擎在屏幕上显示问题“Time？”，以提示用户通过备忘录功能编写精确时间(诸如，“3:00PM”)。

图29和图30示出根据本发明的示例性实施例的与符号学相关的方案。

参照图29，该图示出解释通过备忘录功能做出的问答流程的情境中的手写符号的含义的示例。例如，可假设编写了两个笔记“to Italy on business”和“Incheon→Rome”。由于符号→可被解释为从一个地点至另一地点的旅行，所以用户终端的NLI引擎将询问时间的问题(例如，“When？”)输出给用户。

此外，NLI引擎可搜索关于可用于用户编写的日期(4月5日)从仁川至罗马的旅行的航班的信息，并将搜索结果提供给用户。

参照图30，该图示出结合激活应用来解释通过备忘录功能编写的符号的含义的示例

例如，用户以直观方式使用符号(即，箭头)在地铁应用正被激活的屏幕上选择出发地和目的地。然后，用户终端可通过当前激活应用提供关于前往目的地的列车的到达时间以及达到目的地所需的时间的信息。

图31是示出根据本发明的另一示例性实施例的在用户终端中通过调用备忘录层来控制较低层应用的控制操作的流程图。

参照图31，当在步骤3110，用户开始较低层应用时，控制器确定较低层应用是否已经将将被显示在备忘录层中的信息发送给备用层。备忘录层可以是不同应用。备用层可以以窗口的形式显示在触摸面板上。将在理解术语“备忘录窗口”与术语“备忘录层”相互替换使用的情况下给出下面的描述。

控制器确定是否在较低层应用正在执行期间在触摸面板上已创建了预定义手势。控制器可将整体控制提供给电子装置的操作。图1所示出的应用执行器110和命令处理器120可共同地形成控制器。预定义手势可以是通过用户手指或电子笔的手段进行的对于触摸面板的触摸和拖动。可选择地，预定义手势可以是利用用户手指或电子笔在触摸面板上绘制特定形状或图案。当在较低层应用正在执行期间检测到预定义手势时，控制器可调用备忘录层。

当在较低层应用正在执行期间，用户触摸触摸面板的特定区域时，控制器可调用备忘录层。备忘录层可通过不同应用被激活。此外，备忘录层可以是合并到较低层应用中的软件模块。

请求用户输入的信息可被显示在备忘录层中。在步骤3120，较低层应用可将将被显示在备忘录层中的信息发送给备忘录层。

当备忘录层被调用时，在步骤3140，从较低层应用接收到的信息可被显示在备忘录层中。备忘录层可包括显示备忘录层的标题的标题区域。备忘录层还可包括手写输入区域以及可由用户操纵的按钮。当在步骤3150，用户在备忘录层中编写笔记时，控制器可在步骤3160识别笔记的手写图像，并且可在步骤3170将与识别的手写图像相应的文本发送给较低层应用。较低层应用将接收到的文本与自己管理的命令进行比较。如果从备忘录窗口接收到的文本与管理的命令全部或部分匹配时，在步骤3180，较低层应用可执行与该命令相关的操作。

图32a至图32c示出根据本发明的示例性实施例的用于在较低层应用正在执行期间执行备忘录层的操作。备忘录层可以是显示在显示应用的层之上的单独层。备忘录层可以是备忘录窗口。在下面描述中，备忘录层可被称作备忘录窗口。

在下面描述中，触摸输入是指对于显示在触摸面板上的图形对象的触摸，并且手写输入是指利用电子笔或手指编写字符。

参照图32a，当前执行的应用显示在电子装置的触摸面板上。当应用被执行时，控制器可将表示关于执行的应用的信息的图形对象和用于控制应用的功能的菜单项显示在触摸面板上。菜单项可采用按钮的形式。用户可通过触摸菜单项来执行应用的功能。当检测到对于菜单项的触摸时，控制器可控制与菜单项相应的应用的功能。

例如，当目录应用被执行时，与目录应用相关的图形对象和用于控制目录应用的功能的菜单项3216、3218、3220、3222、3224和3226显示在触摸面板上。目录应用包括第一菜单区域、搜索窗口3208、目录项3210、3212和3214以及第二菜单区域。第一菜单区域可包括四个菜单项3202、3203、3204和3206。菜单项3202、3203、3204和3206中的每个菜单项包括表示菜单项的图标和菜单名称。例如，菜单项3202包括电话接收器形状的图标和文本“Calllog”。菜单项3203包括人形图标和文本“Contacts”。当用户触摸菜单项3202、3203、3204和3206中的一个时，触摸的菜单项可改变为不同颜色。当菜单项被选择时，目录项的内容可被改变。例如，目录项3210、3212和3214可被改变。菜单项3216、3218、3220、3222、3224和3226可显示在第二菜单区域中。当检测到对于菜单项3216、3218、3220、3222、3224和3226中的一个的触摸时，控制器可控制与触摸的菜单项相应的应用的功能。

例如，菜单项3216可包括回收箱图标和命令“Delete”。当选择菜单项3216、3218、3220、3222、3224和3226中的一个时，可对目录项3210、3212和3214执行与选择的菜单项相应的命令。如果菜单项3216被选择，则目录项3210、3212和3214可以与另一目录同步。如果菜单项3224被选择，则从目录项3210、3212和3214中选择的目录项可以与关于在另一目录中列出的同一人的信息合并。

第二菜单区域可显示在目录项3210、3212和3214之上。六个目录项可初始显示在触摸面板上。当第二菜单区域显示在触摸面板上时，六个目录项中的三个目录项3210、3212和3214显示在触摸面板上，而其它目录项(未示出)隐藏在第二菜单区域之后。

参照图32b，第一菜单项3252、3254、3256和3256显示在触摸面板上。目录区域3230还可被显示在触摸面板上。目录区域3230可包括多个目录项。可针对目录项执行命令。例如，当命令被执行时目录项可被用作数据。当用户触摸目录项3238、3240、3242、3244、3246和3248中的一个时，触摸的目录项被选择且与其它目录项在视觉上可被区分。例如，当用户触摸目录项3238时，目录项3238可以与其它目录项3240、3242、3244、3246和3248区分的不同颜色被显示。备忘录窗口3231可被渲染为半透明。备忘录窗口3231可以重叠在作为较低层应用的目录应用之上，并且目录项3240、3242、3255、3246和3248可通过备忘录窗口3231显示。当在目录应用正在执行期间，用户将预定义手势输入到触摸面板之上时，控制器从触摸面板检测到该预定义手势且响应于检测到的手势而与目录应用重叠地显示备忘录窗口3231。备忘录窗口3231被划分为手写输入区域和非手写输入区域。由于目录应用显示在触摸面板上且备忘录窗口显示在目录应用之上，所以目录应用被称作较低层应用。

预定义手势可以是对于触摸面板的特定区域的触摸。可选择地，预定义手势可以是在触摸面板上的拖动。可选择地，预定义手势可以是使用电子笔在触摸面板上绘制义形状。电子笔可以是触控笔。可选择地，预定义手势可以是使用触控笔在触摸面板上进行刷动。

如上陈述，备忘录窗口3231可包括非手写输入区域。在非手写输入区域中，从较低层应用接收到的文本和图像可被显示。非手写输入区域可以是标题区域3232。另外，非手写输入区域可包括可由用户操纵的按钮3236。按钮3236可以是从较低层应用接收到的图像。

备忘录窗口3231可包括用于接收由用户编写的笔记的手写输入区域3233。

备忘录窗口3231的标题可显示在标题区域3232中。可从较低层应用接收备忘录窗口3231的标题。例如，控制器可从较低层应用接收将被显示在标题区域3232中的标题，并将该标题显示在备忘录窗口3231的标题区域3232中。输入到标题区域3232的触摸可被忽略。在目录项3238、3240、3242、3244、3246和3248被显示的情况下，控制器可检测触摸。当备忘录窗口3231被显示时，控制器可忽视从标题区域3231检测到的触摸输入。当备忘录窗口3231被激活时，控制器可仅通过备忘录窗口3231的手写输入区域3233来执行用于控制较低层应用的命令。另外，当备忘录窗口3231被激活时，控制器可忽视从用于控制较低层应用的第一菜单项3252、3254、3256和3258产生的触摸输入。

例如，“Memo Layer”可被显示在备忘录窗口3231的标题区域3232中。

文本“Memo Layer”可从作为较低层应用的目录应用接收。

手写输入区域3233可从用户接收手写输入。手写输入可以是对于触摸面板的触摸的持续移动。手写输入可通过利用触控笔或手指在触摸面板上输入字符的用户的动作而被创建。

当用户在手写输入区域3233中编写笔记时，控制器可在手写输入区域3233中显示笔记的手写图像。例如，控制器可接收用户利用触控笔或手指在手写输入区域中编写的笔记。

在备忘录窗口3231被显示之前，控制器可检测在触摸面板上的手写输入区域3233中的触摸，并执行与该触摸相应的功能。例如，在备忘录窗口3231被显示之前，目录项3238、3240、3242、3244和3246可被显示在触摸面板上。当用户触摸目录项3238时，控制器可响应于该触摸而改变目录项3238的颜色。当备忘录窗口3231显示在触摸面板上时，控制器可忽略输入到触摸面板的触摸。当备忘录窗口3231被显示时，可不允许用户触摸目录项3238、3240、3242、3244和3246。例如，当备忘录窗口3231显示在按钮(菜单项)之上时，按钮(菜单项)被失活。

当备忘录窗口3231被显示时，用户可通过手写输入将命令和执行该命令所需的数据输入到当前执行的应用。例如，在备忘录窗口3231被显示之前，用户可通过触摸输入将命令和执行该命令所需的数据输入到当前执行的应用。一旦备忘录窗口3231被显示，用户可通过手写输入将命令和执行该命令所需的数据输入到当前执行的应用。

可通过移动触控笔来创建手写输入。当用户利用触控笔触摸触摸面板并移动该触摸时，控制器可检测在触摸面板上的触控笔的移动，并在触摸面板上显示触控笔的移动轨迹。触控笔的移动轨迹是手写图像。手写输入还可通过移动用户手指而被创建。

可用于用户操纵的按钮3236可被显示在备忘录窗口3231中。按钮3236可由较低层应用提供。较低层应用具有将被显示在备忘录窗口3231的按钮3236的图像。这种图像可以是文本、图像、图标等。

当检测到对于显示在备忘录窗口中的文本或图像的触摸时，控制器可识别输入到手写输入区域中的手写图像，将手写图像转换为匹配文本并将该文本提供给应用。

例如，当控制器触摸按钮3236时，控制器可识别输入手写图像并根据识别结果执行应用的功能。

另外，控制器可识别在手写输入区域3233中的手写图像。当用户触摸按钮3236时，控制器将显示在手写输入区域3233中的手写图像发送给识别引擎210。识别引擎210可识别手写图像并将手写图像转换为文本。例如，当用户通过手写在手写输入区域3233中编写笔记时，控制器显示笔记的手写图像3234。当用户通过显示在手写输入区域3233中的手写图像3234来触摸按钮3236时，控制器将手写图像3234发送给识别引擎210，并且识别引擎210识别手写图像并将文本“Merge”提供给控制器。识别引擎210可以是软件模块。控制器可将识别结果提供给较低层应用。控制器可控制作为较低层应用的目录应用的“Merge”功能的执行。

识别图像可以是请求执行较低层应用的特定功能的命令。较低层应用可定义和管理用于执行特定功能的命令。如果识别的手写图像被确认为是命令，则控制器可控制较低层应用的与该命令相应的操作的执行。例如，目录应用可将“Delete”、“Profile”、“Sync”和“Merge”作为用于执行功能的命令而进行定义和管理。命令与包括在图32a的第二菜单区域中的菜单项3216、3218、3220、3222、3224和3226的文本全部或部分匹配。

当用户触摸按钮3236时，控制器可消除备忘录窗口3231，并控制较低层应用的与识别结果相应的操作的执行。

图32c示出根据本发明的示例性实施例的用户在备忘录窗口中输入手写图像。

参照图32c，目录区域3270可显示在触摸面板上。当用户在手写输入区域3272中编写笔记时，手写图像3274被显示。控制器可识别手写图像3274并且控制较低层应用的与识别结果相应的操作的执行。

控制器可以以两种模式控制显示在触摸面板上的较低层应用进行操作。一旦较低层应用被执行，则控制器可将表示关于较低层应用的信息的图形对象和用于控制较低层应用的功能的按钮(菜单项)显示在触摸面板上。控制器可支持第一模式和第二模式。控制器可在第一模式下控制通过触摸输入执行应用的功能，而在第二模式下，控制器识别在应用正在执行期间在触摸面板上的预定义手势，根据识别结果显示允许在应用之上进行手写输入的备忘录窗口，识别输入到备忘录窗口的手写图像，并控制应用的功能。另外，控制器可在第二模式下控制第一模式的失活。

图33a和图33b示出根据本发明的示例性实施例的处理用户输入到备忘录窗口的手写图像的操作。

参照图33a，当用户在备忘录窗口3310中编写笔记时，控制器显示手写图像3311、3312和3314。当用户触摸按钮3316时，手写图像3311、3312和3314可被识别。结果，控制器可获得文本“010-1234-1234”、“John T.W.”和“Create”，并将这些文本提供给较低层应用。较低层应用可将从备忘录窗口3310接收到的文本分离为用于控制较低层应用的功能的命令以及用于将被执行的命令的数据。例如，文本“Create”在作为较低层应用的目录应用中被管理为命令。控制器可控制目录应用产生新联系人以执行“Create”命令。为了产生新联系人，需要电话号码和联系人姓名。因此，控制器可控制目录应用将“010-1234-1234”存储为电话号码。控制器还可控制目录应用将“JohnT.W.”存储为联系人姓名。以这种方式，识别的手写图像可被分类为较低层应用的命令和用于执行该命令的数据。

参照图33b，目录区域3320可显示在触摸面板上。当用户在备忘录窗口3321中编写笔记时，控制器显示手写图像3322和3324。控制器可根据手写图像3322和3324输入顺序，将手写图像3322和3324识别为数据和命令。例如，如果用户首先输入手写图像3322，然后输入手写图像3324并触摸按钮3326，则控制器将手写图像3322处理为数据以及将手写图像3324处理为命令。为了将手写图像3324处理为命令，控制器可将手写图像3322的识别结果与在目录应用中管理的命令进行比较，并控制与匹配命令相应的功能的执行。控制器可通过手写识别识别显示在触摸面板上的手写图像3322和3324，来将“Hanna”添加到“Favorites”。例如，控制器将“Hanna”用作将被执行的命令的数据来执行目录应用的“Favoriates”命令。

图34示出根据本发明的示例性实施例的在闹铃应用正在执行期间显示备忘录窗口并接收输入手写图像的操作。

参照图34，闹铃应用的执行屏幕3402显示在触摸面板3400上。当在闹铃应用正在执行期间，用户输入预定义手势时，备忘录窗口3410显示在触摸面板3400上。当用户利用触控笔将手写图像3412和3414输入到备忘录窗口3410时，控制器可显示输入的手写图像3412和3414。例如，当用户在备忘录窗口3410中编写“AM 7:00”和“Add alarm”时，控制器在备忘录窗口3410中显示手写图像3412和3414。当用户触摸按钮3416时，控制器可控制手写图像3412和3414的识别。控制器可将识别结果发送给闹铃应用，并控制闹铃应用在上午7：00发出闹铃。此外，控制器可分别将手写图像3412处理为数据并将手写图像3414处理为命令。命令可被预设和管理在闹铃应用中。

图35示出根据本发明的示例性实施例的在图库应用正在执行期间显示备忘录窗口且根据输入手写图像执行命令的操作。

参照图35，图库应用显示在触摸面板上。图库应用是用于在屏幕上显示图像文件的应用。当在图库应用正在执行期间，用户输入预定义手势时，控制器在图库应用的屏幕之上显示备忘录窗口3510。当用户在备忘录窗口3510中编写笔记且触摸按钮3516时，控制器识别笔记的输入的手写图像3512和3514并将手写图像3512和3514转换为文本。控制器可将手写图像3512处理为数据且将手写图像3514处理为命令。

例如，用户执行图库应用，并因此图像3507显示在触摸面板上。在这种状态下，备忘录窗口3510被启用。当用户在备忘录窗口3510中编写“Gallery 2”和“Move to Folder”时，控制器将图库应用的显示图像3507移动到文件夹“Gallery 2”。控制器可根据手写图像的输入顺序将手写图像分别处理为数据和命令。如果从识别用户输入手写图像获得的文本与在应用中管理的命令全部或部分匹配，则控制器可将文本处理为命令。

图36a和图36b示出根据本发明的示例性实施例的根据手写输入执行命令的应用。

参照图36a，用于输入和编辑关于联系人的信息的区域3610和用于输入用于调用联系人的符号的区域3620显示在触摸面板3600上。

关于联系人的信息可包括联系人的姓名3602、图片3604、移动电话号码3606和工作电话号码3608。如果用户已输入了关于联系人的信息，则关于联系人的信息可显示在触摸面板3600上。否则，关于联系人的信息可以是空的。

用户可在区域3610中输入或编辑联系人信息，并且可通过手写在区域3620中输入用于调用联系人的符号。例如，用户可绘制作为手写图像的“心形”符号3622以调用联系人。

参照图36b，键区3656显示在触摸面板3650上。键区可以是目录应用的一部分。当在目录应用正在执行期间，用户选择键区菜单3660以呼叫“Samuel”时，控制器控制键区3656显示在触摸面板3650上。用户可通过预定义手势调用备忘录窗口3652。然后，当用户利用触控笔在备忘录窗口3652中绘制特定形状时，控制器识别特定形状。控制器将特定形状的识别结果提供给目录应用。目录应用可在目录数据库中搜索包括关于特定形状的数据的联系人。控制器可呼叫包括关于特定形状的数据的联系人。

例如，当用户在备忘录窗口3652中绘制“心形”3654时，控制器可识别“心形”3654并搜索包括“心形”3654的“Samuel”的电话号码。另外，控制器可根据搜索结果呼叫作为联系人的包括“心形”3654的“Samuel”。

图37a和图37b示出根据本发明的示例性实施例的包括在较低层应用和备忘录层(备忘录窗口)应用中的软件模块。

在包括检测触摸的触摸面板的电子装置中，当应用被执行时，表示关于执行应用的信息的图形对象和用于控制应用的功能的按钮显示在触摸面板上。

当检测到对于按钮的触摸时，控制器可控制与按钮相应的应用的功能。当检测到对于触摸面板的预定义手势时，控制器可在触摸面板上的图形对象和按钮之上显示备忘录窗口。备忘录窗口被划分为手写输入区域和非手写输入区域。应用包括定义了显示备忘录窗口(即，备忘录层)所需的参数的软件模块。

当应用被执行时，参数被存储在存储器(未示出)的特定区域中且被用作表示备忘录窗口的标题的文本和显示在备忘录窗口中的按钮图像。

参照图37a，示出了包括在较低层应用中的软件模块3710。软件模块3710定义在软件模块3710中使用的参数3714、3716和3718以及模块标题3712。当较低层应用被执行时，存储器(未示出)的一部分可被分配给较低层应用。将被用作参数3714、3716和3718的数据可存储在存储器的所述部分区域中。

参照图37b，示出了用于显示备忘录窗口的软件模块3720。软件模块3720定义了用于显示备忘录窗口的参数3722、3724和3726。参数3722、3724和3726与包括在较低层应用的软件模块3710的参数3714、3716和3718相同。例如，在较低层应用的软件模块3710中定义的参数3722、3724和3726可用于显示备忘录窗口。

例如，STRING TITLE 3714、BITMAP_BTN_PRESSED 3718和BITMAP_BTN_NON 3716在软件模块3710中被定义为参数。

用于显示备忘录窗口的标题的文本数据存储在STRING TITLE 3714中。

用于显示备忘录窗口中的按钮的图像数据存储在BITMAP_BTN_PRESSED 3718和BITMAP_BTN_NON 3716中。

为了在触摸面板上显示备忘录窗口，控制器可使用存储在针对备忘录层设置的存储器区域中的数据。控制器可读取在分配给较低层应用的存储器区域中的参数3714、3716和3718并使用这些参数来显示备忘录窗口。

从上述描述清楚的是，本发明的示例性实施例可通过在各种应用中支持备忘录功能来增加用户便利性，因此允许应用的直观控制。

上述方案的特点在于，当用户在屏幕上启用备忘录层且在备忘录层上编写信息时，用户终端识别该信息并执行与该信息相应的操作。为此，优选地附加规定用于在屏幕上启用备忘录层的技术。

例如，可通过按下菜单按钮，输入特定手势，保持触摸笔按下的按钮、利用手指向上或向下滚动等来在当前屏幕上启用备忘录层。虽然在本发明的示例性实施例中屏幕被向上滚动而启用备忘录层，但是可应用其它技术。

将理解的是，本发明的示例性实施例可被实现为硬件、软件或硬件和软件的组合。软件可存储在易失性存储器装置或非易失性存储器装置(诸如，不考虑数据是否是可删除的或可重写的只读存储器(ROM))、存储器中(诸如，随机存取存储器(RAM)、存储器芯片、装置或集成电路)或可光学或磁学地记录数据和可通过机器(例如，计算机)读取数据的存储介质(诸如，紧凑盘(CD)、数字视频盘(DVD)、磁盘或磁带)。

此外，根据本发明的示例性实施例的通过手写图像识别控制应用可实现在计算机或具有控制器和存储器的便携式终端中，且所述存储器是适合于存储包括用于实现本发明的示例性实施例的命令的一个程序或多个程序的机器可读(计算机可读)存储介质的示例。因此，本发明的示例性实施例包括具有用于实现由权利要求限定的设备或方法的代码的程序以及可由机器读取的存储有程序的存储介质。程序可通过介质(诸如，经由有线或无线连接传输的通信信号、包括在本发明的示例性实施例中的等同物)而被电传输。

用于通过手写图像识别来控制应用的示例性方法和设备可通过电缆或无线地从程序提供装置接收程序并存储程序。程序提供装置可包括：程序，具有用于实现本发明的示例性实施例的命令；存储器，存储本发明的示例性实施例所需的信息；通信模块，通过电缆或无线地与设备进行通信；控制器，自动或基于设备的请求将程序发送给设备。

例如，假设在本发明的示例性实施例中，配置UI的识别引擎基于识别结果分析用户意图并将基于用户意图处理了输入的结果提供给用户，且这些功能在用户终端中被处理。

但是，还可预期用户终端结合通过网络可访问的服务器来执行用于实现本发明的示例性实施例的所需的功能。例如，用户终端通过网络将识别引擎的识别结果发送给服务器。然后，服务器基于接收到的识别结果估计用户意图并将用户意图提供给用户终端。如果需要附加信息来估计用户意图或处理用户意图，则服务器可通过与用户的问答处理来接收附加信息。

另外，用户可将本发明的示例性实施例的操作限制在用户终端或可通过调整用户终端的设置来将本发明的示例性实施例的操作选择性扩展为通过网络与服务器进行交互。

虽然参照本发明的特定示例性实施例示出和描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的前提下，可进行各种形式和细节的改变。

Claims (14)

1.一种用于控制具有触摸面板的电子装置中的应用的方法，所述方法包括如下步骤：

在触摸面板上显示第一应用的执行屏幕；

检测预定义的用户输入；

响应于检测到的所述预定义的用户输入而在第一应用的执行屏幕之上显示第二应用的执行屏幕，其中，第二应用的执行屏幕包括手写输入区域和非手写输入区域；

在第二应用的执行屏幕的手写输入区域中接收手写图像；

响应于接收到手写图像，将与在第二应用的执行屏幕的手写输入区域中接收到的手写图像相应的文本发送到第一应用；

如果所述文本与在第一应用中的管理的命令相匹配，则控制第一应用执行与所述文本相关的操作，

其中，所述方法还包括：响应于所述文本不足以使第一应用执行与所述文本相关的操作，在第二应用的执行屏幕上显示用于询问执行与所述文本相关的操作所需的附加信息的内容，

其中，控制第一应用执行与所述文本相关的操作的步骤包括：基于所述文本以及用户根据所述内容输入的附加信息，控制第一应用执行与所述文本相关的操作。

2.根据权利要求1所述的方法，其中，用户输入是对于触摸面板的手势、对于触摸面板中的虚拟按钮的触摸和物理按钮的用户选择中的一个。

3.根据权利要求1所述的方法，其中，从第一应用接收到的文本和图像中的至少一个显示在第二应用的执行屏幕的非手写输入区域中。

4.根据权利要求3所述的方法，还包括：

当检测到对于非手写输入区域的触摸时，识别输入到手写输入区域的手写图像；

将识别的手写图像转换为与该手写图像相应的文本；

将该文本发送到第一应用。

5.根据权利要求4所述的方法，还包括：

通过第一应用，将从第二应用接收到的文本分离为用于控制第一应用的功能的命令以及与该命令相关的数据。

6.一种用于控制具有触摸面板的电子装置中的应用的方法，所述方法包括如下步骤：

在触摸面板上显示表示与第一应用相关的信息的图形对象以及用于控制第一应用的功能的按钮；

当检测到对于按钮的触摸时，控制第一应用的与该按钮相应的功能；

当检测到对于触摸面板的预定义的输入时，在触摸面板上的图形对象和按钮中的至少一个之上显示第二应用的执行屏幕，其中，第二应用的执行屏幕包括手写输入区域和非手写输入区域；

在第二应用的执行屏幕的手写输入区域中接收手写图像；

响应于接收到手写图像，将与在第二应用的执行屏幕的手写输入区域中接收到的手写图像相应的文本发送到第一应用；

如果所述文本与在第一应用中的管理的命令相匹配，则控制第一应用执行与所述文本相关的操作，

其中，所述方法还包括：响应于所述文本不足以使第一应用执行与所述文本相关的操作，在第二应用的执行屏幕上显示用于询问执行与所述文本相关的操作所需的附加信息的内容，

其中，控制第一应用执行与所述文本相关的操作的步骤包括：基于所述文本以及用户根据所述内容输入的附加信息，控制第一应用执行与所述文本相关的操作。

7.根据权利要求6所述的方法，其中，当第二应用的执行屏幕被显示在按钮之上时，按钮被失活。

8.一种用于控制具有触摸面板的电子装置中的应用的方法，所述方法包括如下步骤：

在第一模式下，当检测到触摸输入时，控制第一应用的功能；

在第二模式下，在第一应用正在执行期间，识别对于触摸面板的预定义的输入；

在第二模式下，根据识别的输入将第二应用的执行屏幕显示在第一应用之上；

在第二应用的执行屏幕的手写输入区域中接收手写图像；

响应于接收到的手写图像，在第二模式下，将与在第二应用的执行屏幕的手写输入区域中接收到的手写图像相应的文本发送到第一应用；

如果所述文本与在第一应用中的管理的命令相匹配，则在第二模式下控制第一应用执行与所述文本相关的操作，

其中，所述方法还包括：响应于所述文本不足以使第一应用执行与所述文本相关的操作，在第二应用的执行屏幕上显示用于询问执行与所述文本相关的操作所需的附加信息的内容，

其中，在第二模式下控制第一应用执行与所述文本相关的操作的步骤包括：基于所述文本以及用户根据所述内容输入的附加信息，控制第一应用执行与所述文本相关的操作。

9.根据权利要求8所述的方法，其中，在第二模式下，第一模式被失活。

10.一种电子装置，包括：

触摸面板，被配置为检测触摸；

控制器，被配置为：

在触摸面板上显示第一应用的执行屏幕；

响应于从触摸面板检测到的预定义的输入而将第二应用的执行屏幕显示在第一应用之上，其中，第二应用的执行屏幕包括手写输入区域和非手写输入区域；

在第二应用的执行屏幕的手写输入区域中接收手写图像；

响应于接收到手写图像，将与在第二应用的执行屏幕的手写输入区域中接收到的手写图像相应的文本发送到第一应用；

如果所述文本与在第一应用中的管理的命令相匹配，则控制第一应用执行与所述文本相关的操作，

其中，控制器还被配置为：响应于所述文本不足以使第一应用执行与所述文本相关的操作，在第二应用的执行屏幕上显示用于询问执行与所述文本相关的操作所需的附加信息的内容，

其中，控制器基于所述文本以及用户根据所述内容输入的附加信息，控制第一应用执行与所述文本相关的操作。

11.根据权利要求10所述的电子装置，其中，控制器进行控制以在第二应用的执行屏幕的非手写输入区域中显示从第一应用接收到的文本和图像中的至少一个，并且当感测到对于非手写输入区域的触摸时控制器识别输入到手写输入区域的手写图像，将识别的手写图像转换为与该手写图像相应的文本并将该文本发送到第一应用。

12.根据权利要求11所述的电子装置，其中，控制器将所述文本分离为用于控制第一应用的功能的命令以及与该命令相关的数据。

13.一种电子装置，包括：

触摸面板，被配置为检测触摸；

控制器，被配置为：

在触摸面板上显示表示与第一应用相关的信息的图形对象以及用于控制第一应用的功能的按钮；

当检测到对于按钮的触摸时控制第一应用的与该按钮相应的功能；

当检测到对于触摸面板的预定义的输入时，在触摸面板上的图形对象和按钮中的至少一个之上显示第二应用的执行屏幕，其中，第二应用的执行屏幕包括手写输入区域和非手写输入区域；

在第二应用的执行屏幕的手写输入区域中接收手写图像；

响应于接收到手写图像，将与在第二应用的执行屏幕的手写输入区域中接收到的手写图像相应的文本发送到第一应用；

如果所述文本与在第一应用中的管理的命令相匹配，则控制第一应用执行与所述文本相关的操作，

其中，控制器还被配置为：响应于所述文本不足以使第一应用执行与所述文本相关的操作，在第二应用的执行屏幕上显示用于询问执行与所述文本相关的操作所需的附加信息的内容，

其中，控制器基于所述文本以及用户根据所述内容输入的附加信息，控制第一应用执行与所述文本相关的操作。

14.一种电子装置，包括：

触摸面板，被配置为检测触摸；

控制器，被配置为：

在第一模式下，当检测到触摸输入时控制第一应用的功能，并且在第二模式下在第一应用正在执行期间识别对于触摸面板的预定义的输入；

在第二模式下根据识别的输入将第二应用的执行屏幕显示在第一应用之上；

在第二应用的执行屏幕的手写输入区域中接收手写图像；

响应于接收到手写图像，在第二模式下将与在第二应用的执行屏幕的手写输入区域中接收到的手写图像相应的文本发送到第一应用；

如果所述文本与在第一应用中的管理的命令相匹配，则在第二模式下控制第一应用执行与所述文本相关的操作，

其中，控制器还被配置为：响应于所述文本不足以使第一应用执行与所述文本相关的操作，在第二应用的执行屏幕上显示用于询问执行与所述文本相关的操作所需的附加信息的内容，

其中，控制器在第二模式下基于所述文本以及用户根据所述内容输入的附加信息，控制第一应用执行与所述文本相关的操作。