CN104583927B - 用户终端中的用户接口装置以及用于支持该用户接口装置的方法 - Google Patents

用户终端中的用户接口装置以及用于支持该用户接口装置的方法 Download PDF

Info

Publication number
CN104583927B
CN104583927B CN201380042913.3A CN201380042913A CN104583927B CN 104583927 B CN104583927 B CN 104583927B CN 201380042913 A CN201380042913 A CN 201380042913A CN 104583927 B CN104583927 B CN 104583927B
Authority
CN
China
Prior art keywords
user
hand
information
user terminal
written
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380042913.3A
Other languages
English (en)
Other versions
CN104583927A (zh
Inventor
裵婤允
金成洙
金桦庆
全珍河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201810948693.5A priority Critical patent/CN109254718A/zh
Priority to CN201810949677.8A priority patent/CN109240586A/zh
Publication of CN104583927A publication Critical patent/CN104583927A/zh
Application granted granted Critical
Publication of CN104583927B publication Critical patent/CN104583927B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

提供了在用户终端中的同时支持手写和语音二者的混合用户接口(UI)装置以及用于支持该装置的方法。该装置被配置为：当用户选择了在屏幕上笔记的内容的全部或部分时，显示用于处理所选择的内容的菜单图标，以及，当用户选择了所显示的菜单图标之一时，通过与所选择的菜单图标相对应的功能来处理所选择的内容。

Description

用户终端中的用户接口装置以及用于支持该用户接口装置的 方法
技术领域
本公开涉及用户终端中的用户接口装置以及用于支持该用户接口装置的方法。更具体地，本公开涉及在用户终端中支持手写和语音二者的混合用户接口装置以及用于支持该用户接口装置的方法。
背景技术
伴随着最近的便携式电子设备的发展，对使能直观的输入/输出的用户接口(UI)的用户需求已经增加。例如，使用例如键盘、小键盘(keypad)、鼠标等等附加设备来输入信息的传统的UI方案，已经逐步地演进为通过采用手指、触摸电子笔直接触摸屏幕或者通过语音来输入信息的直观的UI方案。
UI技术的发展趋势是朝向直观的和以人为中心的技术以及为了增加用户的便利的技术。在可用的UI技术应用中，用户能够与便携式电子设备对话并且基于该对话来输入或获取想要的信息。
典型地，在诸如智能电话的通用便携式电子设备上安装各种应用，并且通过在诸如智能电话的通用便携式电子设备中所安装的应用可以使用新的功能。
然而，所安装的应用通常在智能电话中独立地被执行，并且因此新的功能或应用结果并不通过各种应用之间的交互工作来提供。
例如，即使用户终端可以在日程安排(schedule)应用中支持直观UI，用户也只能通过该日程安排应用所支持的UI来输入信息。
而且，在用户终端通过触摸屏支持备忘录(memo)功能的情况下，用户简单地使用例如手指、电子笔等等输入工具来做笔记(note)；不存在与其他应用一起使用该笔记的内容的特定方法。
从而，即使用户终端可以支持各种直观UI，也不存在如下的特定方法：其用于使得用户能够便利地选择和使用来自任何其他应用的直观UI中的任何一个。
因此，存在对如下方法和装置需求：用于同时支持手写和语音两种方式的用户终端中的混合用户接口的方法和装置。
以上信息被提供作为背景信息，仅仅用于帮助理解本发明。关于上述任何内容就本公开而言是否可适用为现有技术，没有作出判定，也没有作出断言。
发明内容
技术问题
本公开的各方面要解决至少上述问题和/或缺点并提供至少下述优点。因此，本公开的一方面将提供一种装置和方法，其用于在用户终端中借助基于手写的用户接口(UI)与用户交换信息。
本公开的另一方面将提供用于在用户终端中使用基于手写的备忘录功能来执行特定命令的UI装置，以及支持该UI装置的方法。
本公开的另一方面将提供用于在用户终端中使用基于手写的备忘录功能来交换问题与回答的UI装置，以及支持该UI装置的方法。
本公开的另一方面将提供用于在用户终端中通过手写和语音来执行与用户的问答过程(question and answer procedure)的UI装置，以及支持该UI装置的方法。
本公开的另一方面将提供一种UI装置和方法，其用于在用户终端中使用备忘录功能接收处理所选择的显示在屏幕上的笔记的全部或部分的命令。
本公开的另一方面将提供一种UI装置和方法，其用于通过电子笔来支持在支持备忘录功能的用户终端中的在备忘录模式和命令处理模式之间的切换。
本公开的另一方面将提供一种UI装置和方法，其用于在用户终端中使得用户能够输入命令以用于控制特定应用或者在正在执行该特定应用期间控制其他应用。
本公开的另一方面将提供一种UI装置和方法，其用于在用户终端中分析用户的备忘录样式并且考虑到分析出的备忘录样式来确定通过备忘录功能输入的信息。
本公开的另一方面将提供一种UI装置和方法，其用于：当用户选择笔记内容时，在提供多个直观UI的用户终端中、在屏幕上显示用于处理用户所选择的笔记内容的菜单图标。
本公开的再一方面将提供一种UI装置和方法，其用于支持用户所选择的笔记内容以便基于备忘录的UI和基于语音的UI可以在用户终端中选择性地使用。
技术方案
根据本公开的实施例，提供了一种用户终端中的UI方法。该方法包括：当用户选择了在屏幕上显示的笔记的内容的全部或部分时，显示用于处理所选择的内容的菜单图标，以及，当用户选择了所显示的菜单图标之一时，通过与所选择的菜单图标相对应的功能来处理所选择的内容。
根据本公开的另一实施例，提供了一种用户终端中的UI装置。该终端被配置为：当用户选择了在屏幕上显示的笔记的内容的全部或部分时，显示用于处理所选择的内容的菜单图标，以及，当用户选择了所显示的菜单图标之一时，通过与所选择的菜单图标相对应的功能来处理所选择的内容。
对于本领域的技术人员来说，从以下结合附图进行的本公开的各种实施例的详细描述中，本公开的其它方面、优点和显著特征将变得明显。
附图说明
通过以下结合附图的描述，本公开的某些实施例的上述和其他目的、特征和优点将会更加清楚，附图中：
图1为根据本公开的实施例的用于支持基于手写的自然语言交互(NaturalLanguage Interaction，NLI)的用户终端的框图；
图2为根据本公开的实施例的在用户终端中用于支持基于手写的NLI的命令处理器的框图；
图3为示出根据本公开的实施例的在用户终端中用于支持使用基于手写的NLI的用户接口(UI)的控制操作的流程图；
图4示出根据本公开的实施例的通过备忘录功能请求基于特定应用或功能的操作的示例；
图5示出根据本公开的实施例的用户的实际备忘录样式(memo pattern)；
图6示出根据本公开的实施例的示例，其中一个符号被解释为具有各种不同的含义；
图7示出根据本公开的实施例的示例，其中包括组合的文本和符号的输入信息可以被解释为依赖于符号而具有不同的含义；
图8示出根据本公开的实施例的使用符号学中的记号(sign)和符号(symbol)的示例；
图9示出根据本公开的实施例的在机械/电气/计算机工程和化学领域中使用记号和符号的示例；
图10、11a、11b、12a、12b、13a、13b、14a、14b、14c、15、16a、16b和17示出根据本公开的实施例的UI技术的操作场景；
图18、19、20、21、22和23示出根据本公开的实施例的如下场景：在特定应用被激活之后调用支持备忘录功能的应用，然后使用所调用的应用来执行该被激活的应用；以及
图24和25示出根据本公开的实施例的与符号学相关的场景；
图26为示出根据本公开的实施例的在用户终端中用于支持使用混合技术的UI(混合UI)的控制操作的流程图；
图27示出根据本公开的实施例的在该用户终端中处理混合UI的示例；
图28示出根据本公开的实施例的在该用户终端中处理混合UI的另一示例；
图29示出根据本公开的实施例的在该用户终端中处理所选择的、与基于备忘录的命令执行相对应的菜单图标的示例；
图30示出根据本公开的实施例的在该用户终端中处理所选择的、与语音命令执行相对应的菜单图标的示例；以及
图31a和图31b示出根据本公开的实施例的在该用户终端中支持混合UI的场景。
贯穿附图，相同的附图参考标号将被理解为指代相同的部件、组件、和结构。
具体实施方式
提供以下参照附图的描述来帮助全面理解权利要求及其等效物所限定的本发明的各种实施例。所述描述包括各种具体细节来帮助理解，但这些具体细节应被看作仅仅是示例性的。因此，本领域普通技术人员将会认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简洁，可能省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和字词不受限于字面含义，而只是被发明人用来使得能够对于本公开有清楚且一致的理解。从而，本领域技术人员应当清楚，提供以下对本公开的各种实施例的描述只是为了说明，而不是为了限制如所附权利要求及其等同物所限定的本公开。
要理解，单数形式的“一”、“一个”和“所述”包括复数所指物，除非上下文明确地另有规定。从而，例如，对“一组件表面”的提及包括对一个或多个这样的表面的提及。
将参考本公开的代表性实施例以达到本发明的技术目的。所定义的相同的名称可以被用于相同的实体。然而，这些名称不限制本发明的范围并且能够相同地或者稍加修改地被应用于具有类似技术背景的系统。
将在之后被描述的本公开的实施例旨在将作为自然语言交互(NLI)的基于手写的用户接口(UI)技术(在下文中，被称为“基于手写的NLI”)应用于用户终端，从而使能在用户终端中通过备忘录功能与用户进行问答过程。
NLI通常涉及理解和创造(understanding and creation)。采用该理解和创造功能，来理解输入并且显示人类容易理解的文本。因此，可以说，NLI是使能人类和电子设备之间以自然语言形式进行对话的应用。
在实施例中，用户终端通过NLI执行从用户接收的命令或者在问答过程中获取执行来自该用户的输入命令所需的信息。
然而，在本公开中，问答过程并不一定基于备忘录功能。即，问答过程不限于只是通过备忘录功能在用户和用户终端之间交换的问题和回答。
在实施例中，用户终端可以通过语音来提出问题，而用户可以通过手写来回答问题，反之亦然。此外，用户可以通过语音来提出问题而用户终端可以通过手写来回答问题，反之亦然。
在实施例中，用户终端可以通过手写和语音来提出问题，或者可以通过手写和语音来回答用户的问题。
通过语音和手写在用户和用户终端之间的信息输入/输出被称为‘混合NLI’。
如之前所述，被用于用户和用户终端之间的问答过程的直观UI可以在用户终端中由用户来设置和改变。以下描述将主要在基于手写的问答过程的上下文中给出。然而，将理解的是，本公开不限于基于手写的问答过程。
为将基于手写的NLI应用于用户终端，在本公开中，备忘录模式和命令处理模式之间的切换应通过基于手写的NLI有机地(organically)执行。备忘录模式包括如下状态：其中用户终端支持采用诸如手指或电子笔的输入工具在通过激活的应用显示的屏幕上书写笔记；而命令处理模式支持结合与当前激活应用相关联的信息来处理在备忘录模式中接收的笔记。
在实施例中，备忘录模式和命令处理模式之间的切换可以通过按下电子笔的按钮(即，通过以硬件的方式生成信号)而发生。
尽管如下描述是在电子笔被用作支持备忘录功能的主要输入工具的上下文中给出的，但本公开不限于使用电子笔作为输入工具的用户终端。换言之，将理解的是，在本公开的实施例中在触摸面板上输入信息的任何工具都能够被用作输入工具。
在实施例中，信息在用户终端和用户之间共享，以便用户终端可以通过与用户交换问题和回答从用户接收到期望的信息，从而可以通过本公开的基于手写的NLI技术来向用户提供处理所接收的信息的结果。在实施例中，可以达成这样的协定：为了请求操作模式的切换，符号、图案、文本或其组合中的至少一者被使用，或者通过手势识别功能使用手势。在实施例中，可以请求从备忘录模式到命令处理模式的切换或者从命令处理模式到备忘录模式的切换。
关于与符号、图案、文本或它们的组合相对应的输入信息的协定，可选的是，分析用户的备忘录样式并考虑该分析结果，由此使得用户能够直观而便利地输入期望的信息。
通过以基于手写的NLI为基础的备忘录功能来控制当前激活的应用并输出控制结果的各种场景将作为本公开的单独实施例详细描述。
在实施例中，将对以下各个场景给出详细的描述：选择笔记的内容的全部或部分并根据特定命令来处理所选择的笔记内容的场景、通过备忘录功能向特定应用的屏幕输入特定信息的场景、在使用基于手写的NLI的问答过程中处理特定命令的场景、等等。
将参照附图对本公开的实施例进行参考。将避免对本公开中的通常熟知的功能和结构进行详细描述，以免它模糊本公开的主题。
图1是根据本公开的实施例的支持基于手写的NLI的用户终端的框图。尽管在图1中仅仅示出根据本公开的实施例的支持基于手写的NLI所需的用户终端的组件，但显而易见的是，可以向该用户终端添加组件以便执行其他功能。还可以用软件功能块以及硬件功能块的形式来配置图1中所示的每个组件。
参照图1，当用户请求时，应用执行器110结合存储器(未示出)来安装通过网络或者外部接口接收的应用。应用执行器110根据用户请求激活所安装的应用中一个(或多个)，并且根据外部命令来控制所激活的应用。外部命令是指相对于内部生成的命令的、几乎任何外部输入的命令。
在实施例中，外部命令可以是与由用户通过基于手写的NLI输入的信息相对应的命令，以及与通过网络输入的信息相对应的命令。即，外部命令不限于与由用户通过基于手写的NLI输入的信息相对应的命令，其不应被理解为是对本公开的限制。
应用执行器110通过基于手写的NLI来向用户提供安装或激活特定应用的结果。在实施例中，应用执行器110在触摸面板单元130的显示器上输出安装或激活特定应用的结果。
触摸面板单元130处理通过基于手写的NLI输入/输出的信息。触摸面板单元130执行显示功能和输入功能。显示功能一般是指在屏幕上显示信息的功能，而输入功能一般是指接收来自用户的信息的功能。
在实施例中，用户终端可以包括用于执行显示功能和输入功能的附加的结构。在实施例中，用户终端还可以包括用于感测手势的相机。
下面的描述将基于这样的理解给出：触摸面板单元130执行显示功能和输入功能二者，而不是它的操作被分割成显示功能和输入功能。
触摸面板单元130识别从用户接收的特定信息或特定命令，并提供所识别的信息或命令到应用执行器110和/或命令处理器120。
该信息可以是关于由用户书写的笔记的信息或者关于在基于手写的NLI的问答过程中的回答的信息。在实施例中，该信息可以是用于选择显示在当前屏幕上的笔记的内容的全部或部分的信息。
该命令可以是请求安装特定应用的命令或者请求激活已经安装的应用当中的特定应用的命令。在实施例中，该命令可以是请求执行所选择的应用所支持的特定操作、功能等的命令。
该信息或命令可以以线、符号、图案或它们的组合的形式来输入，以及以文本的形式来输入。这种线、符号、图案等等可以根据协定预设或者由学习功能(learningfunction)来预设。
触摸面板单元130在屏幕上显示由应用执行器110激活特定应用或执行所激活的应用的特定功能的结果。
在问答过程中，触摸面板单元130还在屏幕上显示问题或结果。在实施例中，当用户输入特定命令时，触摸面板单元130可以显示从命令处理器120接收的、处理该特定命令的结果，或者可以显示问题以获取处理该特定命令所需的附加信息。当从用户接收到作为该问题的回答的附加信息时，触摸面板单元130向命令处理器120提供所接收的附加信息。
随后，触摸面板单元130根据命令处理器120的请求显示获取其他信息的附加问题，或者显示反映所接收的附加信息的、处理该特定命令的结果。
命令处理器120可以从触摸面板单元130接收用户输入的文本、符号、数字、图案等等，并且可以通过该文本、符号、数字、图案等等来识别用户期望的输入。
在实施例中，命令处理器120可以通过对所接收的文本、符号、数字、图案等等的自然语言处理来识别用户期望的输入。对于自然语言处理，命令处理器120使用基于手写的NLI。用户期望的输入包括请求激活特定应用或执行当前激活的应用中的特定功能的命令，或者包括问题的回答。
当命令处理器120确定用户期望的输入为请求某些操作的命令时，该命令处理器120处理所确定的命令。在实施例中，根据所处理的命令，命令处理器120命令应用执行器110激活特定应用或执行当前激活的应用的特定功能。在这种情况下，命令处理器120从应用执行器110接收处理的结果并将该处理的结果提供到触摸面板单元130。
应用执行器110可以直接地向触摸面板单元130提供处理的结果，而不让处理的结果通过命令处理器120。
若处理所确定的命令需要附加信息，则命令处理器120可以创建获取该附加信息的问题，并且可以向触摸面板单元130提供该问题。然后，命令处理器120可以从触摸面板单元130接收问题的回答。
命令处理器120可以连续地与用户交换问题和回答，即，可以通过触摸面板单元130连续与用户对话，直到获取足够的信息以处理所确定的命令为止。即，命令处理器120可以通过触摸面板单元130重复问答过程。
为执行上述操作，命令处理器120通过与触摸面板单元130交互工作来采用基于手写的NLI。即，命令处理器120通过使用备忘录功能和基于手写的自然语言接口来使能问答，即，用户和电子设备之间的对话。用户终端可以在对话中处理用户命令或者向用户提供处理该用户命令的结果。
图2为根据本公开的实施例的在用户终端中用于支持基于手写的NLI的命令处理器的框图。
参照图2，支持基于手写的NLI的命令处理器120包括识别引擎210和NLI引擎220。
识别引擎210包括识别管理器模块212、远程识别客户端模块214以及本地识别模块216。本地识别模块216包括手写识别块215-1、光学字符识别块215-2以及物体识别块215-3。
NLI引擎220包括对话模块222和智能模块224。对话模块222包括用于控制对话流程的对话管理块以及用于识别用户的意图的自然语言理解(NLU)块。智能模块224包括用于反映用户偏好的用户建模块、用于反映常识的常识推理块、以及反映用户上下文的上下文管理块。
识别引擎210可以从与例如电子笔的输入工具相对应的绘图引擎(drawingengine)或者从例如相机的智能输入平台，接收信息、手写图像、物体等等。在识别引擎210处接收的信息可以采取如下形式：文本、线、符号、图案或它们的组合。
识别引擎210可以从作为所述信息接收的文本、线、符号、图案、数字或它们的组合中，识别包括在当前显示的笔记的用户选择区域中的或用户指示的命令中的笔记内容。识别引擎210输出在以上操作中获得的识别结果。
在实施例中，识别引擎210包括：用于提供总体控制以输出对输入信息的识别结果的识别管理模块212、用户识别输入信息的远程识别客户端模块214和本地识别模块216。本地识别模块216至少包括用于识别手写输入信息的手写识别块215-1、用于从输入的光学信号识别信息的光学字符识别块215-2、或者用于从输入手势识别信息的物体识别块215-3。
从手写识别块、光学字符识别块和物体识别块输出的识别结果被提供到NLI引擎220。
NLI引擎220通过处理从识别引擎210接收的识别结果来确定用户的意图。即，NLI引擎220从识别引擎210接收的识别结果来确定用户期望的输入信息。具体而言，NLI引擎220基于手写的NLI通过与用户交换问题和回答来收集足够的信息，并且基于所收集的信息确定用户的意图。
为了这个操作，NLI引擎220的对话模块222创建问题以与用户进行对话，并向用户提供问题，由此控制对话流程以从用户接收回答。对话模块222管理从问答获取的信息(即，对话管理块)。对话模块222通过考虑到所管理的信息(即，NLU块)对初始接收的命令执行自然语言处理，来理解用户的意图。
NLI引擎220的智能模块224通过自然语言处理生成将被参考的信息以用于理解用户的意图，并且将该参考信息提供到对话模块222。在实施例中，智能模块224通过分析用户在记笔记中的习惯来对反映用户偏好的信息进行建模(即，用户建模块)、产生用于反映常识的信息(即，常识推理块)、或管理代表当前用户上下文的信息(即，上下文管理块)。
因此，NLI引擎220的对话模块222可以在从智能模块224接收到的信息的帮助下，控制与用户的问答过程中的对话流程。
图3为示出根据本公开的实施例的在用户终端中用于支持使用基于手写的NLI的UI的控制操作的流程图。
参考图3，在操作310处，用户终端激活特定应用并提供所激活的应用的功能。该特定应用是安装在该用户终端中的应用当中的、用户请求激活的应用。
在实施例中，用户可以通过用户终端的备忘录功能来激活特定应用。即，用户终端根据用户请求在屏幕上启动(launch)的备忘录层(memo layer)。接着，在接收到该特定应用的标识信息和与执行命令相对应的信息时，该用户终端搜索特定应用并激活检测到的应用。这个方法对于从安装在用户终端中的大量应用当中快速执行期望的应用是有用的。
例如，特定应用的标识信息可以是该应用的名称。与该执行命令相对应的信息可以被预设为命令该应用的激活的数字、符号、图案、文本等等。
一旦在操作310处该应用已被激活，则在操作312处确定用户是否已经输入手写信息。然后，在操作314处该应用可以识别输入信息并且在操作316处对识别出的输入信息的结果执行自然语言处理。若在操作318处确定已理解用户的意图，则在操作322处基于该用户的意图的相应操作或输出响应将产生。否则，在操作320处，该应用可以通过问答过程来获取附加信息。
图4示出通过备忘录功能请求基于特定应用或功能的操作的示例。
参照图4，使用线、闭合圆圈(closed loop)或数字来选择通过备忘录功能书写的笔记的一部分，并且所选择的笔记内容使用另一应用来处理。在实施例中，笔记内容“galaxy note premium suite”使用线来选择，并且发出命令以使用文本发送应用(textsending application)来发送所选择的笔记内容。
若在该用户终端中不存在与该用户输入匹配的应用，则相似应用的候选集合可以被提供给用户，以便用户可以从该候选应用当中选择期望的应用。
在另一示例中，该用户终端所支持的功能可以通过备忘录功能来执行。为了这个目的，该用户终端根据用户请求调用(invoke)备忘录层并且根据用户输入的信息来搜索安装的应用。
例如，向针对备忘录功能显示的备忘录屏幕输入搜索关键词，从而从在用户终端中安装的应用当中搜索特定应用。然后该用户终端搜索与该输入的关键词匹配的应用。即，若用户通过备忘录功能在该屏幕上书写‘car game(赛车游戏)’，则该用户终端从安装的应用当中搜索与‘car game(赛车游戏)’相关的应用并将搜索结果提供在该屏幕上。
在另一实施例中，用户可以通过备忘录功能在该屏幕上输入安装月份，例如2011年2月。然后该用户终端搜索在2011年2月中安装的应用。即，当通过备忘录功能在该屏幕上书写‘February 2011(2011年2月)’时，用户终端从安装的应用当中搜索在‘February 2011(2011年2月)’中安装的应用并将搜索结果提供在该屏幕上。
如上所述，在用户终端中安装了大量的应用的情况下，基于用户的笔记来激活或搜索特定应用可能是有用的。
在实施例中，为了更高效地搜索应用，可以对安装的应用编制索引。被索引的应用可以按照例如特征、领域、功能等种类进行分类。
当从用户接收到特定键的输入或特定手势输入时，该备忘录层可以被调用以允许用户输入将被激活的应用的标识信息或者输入搜索特定应用的索引信息。
以上述方式激活或搜索的特定应用包括备忘录应用、日程安排应用、地图应用、音乐应用和地铁应用。
返回参考图3，当激活特定应用时，在操作312处该用户终端监视所描述的手写信息的输入。该输入信息可以采用以下形式：文本、线、符号、图案或它们的组合。在实施例中，在操作312处用户终端可以监视如下的信息的输入：其选择在当前屏幕上书写的笔记的全部或部分。
若选择了笔记的全部或部分，在操作312处，该用户终端继续监视与命令相对应的附加信息的输入，以便处理所选择的笔记内容。
当感测到手写信息的输入时，在操作314处用户终端执行用于识别感测到的输入信息的操作。在实施例中，所选择的全部或部分笔记内容的文本信息被识别，或者采用线、符号、图案或它们的组合的形式的输入信息以及文本被识别。图2中所示的识别引擎210负责识别输入信息。
一旦该用户终端识别出感测到的输入信息，在操作316处，该用户终端对识别出的文本信息执行自然语言处理以理解识别出的文本信息的内容。NLI引擎220对识别出的文本信息执行自然语言处理。
若确定输入信息为文本和符号的组合，则该用户终端还伴随该自然语言处理一起处理该符号。
在符号处理中，该用户终端分析用户的实际备忘录样式并通过对备忘录样式的分析来检测用户经常使用的主要符号(main symbol)。然后，该用户终端分析使用该检测到的主要符号的意图并且基于分析结果来确定该主要符号的含义。
用户期望通过每个主要符号表达的含义被纳入数据库，以供之后在解释之后输入的符号中使用。即，准备好的数据库可被用于符号处理。
图5示出根据本公开的实施例的用户的实际备忘录样式。
参照图5，所示的备忘录样式表明用户经常使用符号→、()、_、-、+和？。例如，符号→用于附加描述或段落分隔，并且符号()指示()中的内容是术语的定义或者说明。
相同的符号可以被解释为不同的含义。例如，符号→可以表示‘时间段(timepassage)’、‘因果关系’、‘位置’、‘属性之间的关系的说明’、‘聚簇参考点(referencepoint for clustering)’、‘改变’等。
图6示出根据本公开的实施例的示例，其中一个符号被解释为具有不同的含义。
参照图6，符号→可以在下列含义中使用：时间段、因果关系、位置等。
图7示出根据本公开的实施例的示例，其中包括文本和符号的组合的输入信息可以被解释为依赖于符号而具有不同的含义。
参照图7，用户输入信息‘Seoul(首尔)→Busan(釜山)’可以被解释为暗指‘从首尔改变为釜山’以及‘从首尔到釜山’。
允许多个含义的符号可以考虑到附加信息或者与之前或之后的信息的关系来解释。然而，这个解释可能导致对用户的意图的不准确的评估。
为克服该问题，需要对符号识别/理解做出广泛的研究和努力。在实施例中，符号识别和理解之间的关系正在人文学科领域的符号学中进行研究，并且该研究被用于广告、文学、电影、交通信号等等。广义上讲，符号学是关于记号和符号(sign and symbol)的功能、分析、理解、含义和表示，以及各种与交流相关的系统的理论和研究。
记号和符号还从工程学的角度来研究。在实施例中，对机械/电气/计算机工程领域的流程图和蓝图(blueprint)进行研究。该研究被用于草图(sketch)(即，手绘图(hand-drawn diagram))识别中。此外，在化学领域中研究复杂的化学结构式的识别，并且这个研究被用在手绘的化学图的识别中。
图8示出根据本公开的实施例的在符号学中使用记号和符号的示例。
图9示出在机械/电气/计算机工程和化学领域中记号和符号的示例。
返回参照图3，在操作318处，用户终端通过对识别结果的自然语言处理来理解用户输入的信息的内容，然后基于识别出的内容来评估与输入信息有关的、用户的意图。
一旦用户终端确定与输入信息有关的、用户的意图，在操作322处，该用户终端执行与该用户的意图相对应的操作或输出与该用户的意图相对应的响应。在执行与该用户的意图相对应的操作之后，该用户终端可以向用户输出操作的结果。
反之，若该用户终端无法评估与输入信息有关的、用户的意图，则在操作320处，该用户终端通过与用户的问答过程来获取附加信息从而确定用户的意图。为了这个目的，该用户终端创建问题以向用户提问并且向该用户提供问题。当用户通过回答问题来输入附加信息时，在操作318处，该用户终端考虑到除了之前通过自然语言处理理解的内容之外的新输入的信息，来重新评估用户的意图。
尽管没有示出，但该用户终端可以另外地执行操作314至316以理解新输入的信息。
直到准确地评估用户的意图为止，在操作320处，该用户终端可以通过与用户交换问题和回答(即与用户对话)，来获取确定用户的意图所需的大部分信息。
一旦该用户终端在之前描述的问答过程中确定了用户的意图，则在操作322处，该用户终端向用户输出与该用户的意图相对应的操作的结果或者输出与该用户的意图相对应的响应结果。
用户终端中的UI装置的配置和在该UI装置中使用基于手写的NLI的UI方法可以在各种场景中来考虑。
图10、11a、11b、12a、12b、13a、13b、14a、14b、14c、15、16a、16b和17示出根据本公开的实施例的UI技术的操作场景。
参照图10、11a、11b、12a、12b、13a、13b、14a、14b、14c、15、16a、16b和17，这些附图示出处理用户已经在应用中输入的笔记的示例，该应用通过调用另一应用来支持备忘录功能。
参照图10，示出了在用户终端中使用备忘录功能通过邮件来发送笔记的一部分的场景。
在图10中，用户通过备忘录功能在用户终端的屏幕上书写笔记并且通过线、符号、闭合圆圈等来选择笔记的一部分。在实施例中，全部笔记的部分区域可以通过绘出闭合圆圈来选择，由此选择该闭合圆圈之内的笔记的内容。
然后，用户使用预设的或者直观可识别的符号和文本，输入请求处理所选择的内容的命令。在实施例中，用户绘出指示所选择的区域的箭头并且书写指示人员的文本(例如，上级(Senior)，Hwa Kyong-KIM)。
当接收到该信息时，该用户终端将用户的意图解释为如下含义：所选择的区域的笔记内容将被发送给‘上级，Hwa Kyong-KIM’。然后，该用户终端从安装的应用当中提取能够发送所选择的笔记内容的推荐应用，并且在该屏幕上显示所提取的推荐应用，以便用户可以请求选择或激活该推荐应用。
当用户选择了推荐应用之一时，该用户终端调用所选择的应用并通过该应用将所选择的笔记内容发送给‘上级，Hwa Kyong-KIM’。
若关于收件人的信息没有预先登记(pre-registered)，则该用户终端向用户询问‘上级，Hwa Kyong-KIM’的邮件地址。在这种情况下，该用户终端可以响应于从用户接收到邮件地址而发送所选择的笔记内容。
在按照用户的意图进行处理之后，该用户终端在该屏幕上显示处理的结果，以便该用户可以确认符合用户的意图的适当的处理。在实施例中，该用户终端在显示指示该邮件发送完成的消息的同时，询问用户是否在列表中存储所发送的邮件的细节。当用户请求在列表中存储所发送的邮件的细节时，该用户终端在列表中登记(register)所发送的邮件的细节。
上述场景能够有助于：通过允许用户终端将会议期间记录的笔记的必要内容发送到另一方而无需从一个应用切换到另一应用来提高吞吐量，并且通过与用户的交互来存储所发送的邮件的细节。
图11a和11b示出在用户终端中通过备忘录功能发送全部笔记的场景。
参照图11a，用户通过备忘录功能在屏幕上书写笔记(即，书写备忘录)。然后，该用户使用线、符号、闭合圆圈等来选择全部笔记(即，触发)。在实施例中，当用户在整个笔记的周围画闭合圆圈时，用户终端可以意识到在该闭合圆圈之内的全部笔记内容被选择。
用户通过书写预设的或直观地可识别的文本，例如‘发送文本(send text)’(即，书写命令)来请求对所选择的内容进行文本发送(text-sending)。
参照图11b，基于用户输入信息来配置UI的NLI引擎意识到：用户期望以文本发送所选择的区域中的内容。然后，当确定信息不足以进行文本发送时，该NLI引擎通过与用户交换问题和回答进一步获取必要的信息。在实施例中，该NLI引擎向用户询问向谁发送文本，例如，通过‘发给谁(To whom)？’来询问。
该用户通过备忘录功能输入有关将接收文本的收件人的信息，以作为该问题的回答。收件人的名字和电话号码可以作为有关收件人的信息被直接输入。在图11b中，‘HwaKyong-KIM’和‘Ju Yun-BAE’作为收件人信息被输入。
该NLI引擎在通信录(directory)中检测映射到输入的名字‘Hwa Kyong-KIM’和‘Ju Yun-BAE’的电话号码，并向该电话号码发送具有所选择的笔记内容作为文本正文(text body)的文本。若所选择的笔记内容为图像，则该用户终端可以另外地将该图像转换为文本，以便另一方可以识别它。
在完成文本发送时，该NLI引擎显示指示处理的结果的通知，例如，消息‘文本已发送’。因此，用户可以确认该处理已经按照预期适当地完成。
图12a和12b示出在用户终端中通过备忘录功能查找笔记的部分的含义的场景。
参照图12a，用户通过备忘录功能在屏幕上书写笔记(即，书写备忘录)。然后，该用户通过线、符号、闭合圆圈等来选择笔记的部分(即，触发)。在实施例中，用户可以通过在笔记的部分区域中书写的一个词(word)的周围画闭合圆圈来选择该词。
用户通过书写预设的或直观地可识别的符号，例如‘？’(即，书写命令)来询问所选择的词的含义。
参照图12b，基于用户输入信息来配置UI的NLI引擎向用户询问使用哪个引擎，以便查找所选择的词的含义。为了这个目的，该NLI引擎使用与用户的问答过程。在实施例中，该NLI引擎通过在屏幕上显示‘哪个搜索引擎(Which search engine)？’来提示用户输入用于选择搜索引擎的信息。
用户通过备忘录功能输入‘维基百科(wikipedia)’作为回答。然而，该NLI引擎意识到：该用户期望使用‘维基百科(wikipedia)’作为搜索引擎，使用用户输入作为关键词。该NLI引擎使用‘维基百科(wikipedia)’来查找所选择的词‘MLS’的含义，并显示搜索结果。因此，该用户从在屏幕上显示的信息得知‘MLS’的含义。
图13a和13b示出在用户终端中通过备忘录功能将书写的笔记的部分登记作为用于另一应用的信息的场景。
参照图13a，用户通过备忘录功能在用户终端的屏幕上书写准备中国之行(Chinatrip)的事项的待办事项列表(to-do-list)(即，书写备忘录)。然后，该用户使用线、符号、闭合圆圈等来选择笔记的部分(即，触发)。在实施例中，用户通过在笔记的部分中的文本‘支付机票的余额(pay remaining balance of airline ticket)的周围画闭合圆圈来选择该文本。
用户通过书写预设的或直观地可识别的文本，例如‘在待办事项列表中登记(register in to-do-list)’(即，书写命令)来请求将所选择的笔记内容登记在待办事项列表中。
参照图13b，基于用户输入信息来配置UI的NLI引擎意识到：用户期望请求对与所选择的笔记的内容相对应的任务进行日程安排。然后，当确定信息不足以进行日程安排时，该NLI引擎通过与用户的问答过程进一步获取必要的信息。在实施例中，该NLI引擎通过询问时间表来提示用户输入信息，例如，‘输入完成日期(Enter finish date)’。
用户通过备忘录功能输入该任务应完成的日期‘5月2日(May 2)’作为回答。从而，该NLI引擎存储所选择的内容作为在5月2日之前要处理的事项。
处理了该用户请求之后，该NLI引擎显示处理的结果，例如，消息‘已保存’。因此，用户得知已经按照预期执行了适当的处理。
图14a示出在用户终端中使用锁定功能(lock function)存储通过备忘录功能书写的笔记的场景。图14b示出读取已通过锁定功能存储的笔记的场景。图14c示出从通过锁定功能存储的笔记当中选择笔记的场景。
参照图14a，用户通过备忘录功能在用户终端的屏幕上使用照片和笔记来书写在大阪之行期间的用户经历(即，书写备忘录)。然后，该用户使用线、符号、闭合圆圈等来选择笔记的全部或部分(即，触发)。在实施例中，用户通过在全部笔记的周围画闭合圆圈来选择全部的笔记。
用户通过书写预设的或直观地可识别的文本，例如‘锁定(lock)’(即，书写命令)来请求通过锁定功能登记所选择的笔记内容。
参照图14b，基于用户输入信息来配置UI的NLI引擎意识到：用户期望通过锁定功能来存储笔记的内容。然后，若确定设置锁定功能需要附加信息，则该NLI引擎通过与用户的问答过程进一步获取必要的信息。在实施例中，该NLI在该屏幕上显示询问密码的问题，例如，消息‘输入密码(Enter password)’以设置锁定功能。
用户通过备忘录功能书写密码‘3295’作为回答，以便设置锁定功能。从而，该NLI引擎使用密码‘3295’来存储所选择的笔记内容。
通过锁定功能存储笔记内容之后，该NLI引擎显示指示处理的结果的通知，例如，消息‘已保存’。因此，用户得知已经按照预期执行了适当的处理。
参照图14c，用户从通过锁定功能存储的笔记当中选择笔记(即，书写备忘录)。当由用户选择特定笔记时，若确定提供所选择的笔记需要密码，则该NLI引擎通过问答过程提示用户输入密码(书写密码)。在实施例中，该NLI引擎显示备忘录窗口，用户可以在该窗口中输入密码。
当用户输入有效密码时，该NLI引擎在屏幕上显示所选择的笔记。
图15示出在用户终端中使用通过备忘录功能书写的笔记的部分来执行特定功能的场景。
参照图15，用户通过备忘录功能在用户终端的屏幕上书写笔记(即，书写备忘录)。然后，该用户使用线、符号、闭合圆圈等来选择笔记的一部分(即，触发)。在实施例中，用户可以通过在整个笔记中的电话号码‘010-9530-0163’的周围画闭合圆圈来从整个笔记中选择该电话号码。
用户通过书写预设的或直观地可识别的文本，例如‘call(呼叫)’(即，书写命令)来请求拨打该电话号码。
基于用户输入的信息来配置UI的NLI引擎通过将该电话号码翻译为自然语言来识别所选择的电话号码并尝试拨打电话号码‘010-9530-0163’。
图16a和16b示出在用户终端中隐藏(hiding)通过备忘录功能书写笔记的部分的场景。
参照图16a，用户通过备忘录功能在用户终端的屏幕上书写用于用户访问的每个网站的ID和密码(即，书写备忘录)。然后，该用户使用线、符号、闭合圆圈等来选择笔记的全部或部分(即，触发)。在实施例中，用户通过在书写在笔记的部分中的密码‘wnse3281’的周围画闭合圆圈来选择该密码。
用户通过书写预设的或直观地可识别的文本，例如‘hide(隐藏)’(即，书写命令)来隐藏所选择的内容。
参照图16b，基于用户输入信息来配置UI的NLI引擎意识到：用户期望隐藏所选择的笔记内容。为了使用隐藏功能，若确定需要附加信息，则该NLI引擎通过问答过程从用户获取必要的信息。该NLI引擎输出询问密码的问题，例如，消息‘输入密码(Enter thepasscode)’，从而设置隐藏功能。
当用户通过备忘录功能书写密码‘3295’作为回答以设置隐藏功能时，该NLI引擎通过将其翻译为自然语言来识别‘3295’并存储‘3295’。然后，该NLI引擎隐藏所选择的笔记内容，以便该密码‘wnse3281’不在屏幕上出现。
图17示出在用户终端中翻译通过备忘录功能书写的笔记的部分的场景。
参照图17，用户通过备忘录功能在用户终端的屏幕上书写笔记(即，书写备忘录)。然后，该用户使用线、符号、闭合圆圈等来选择笔记的部分(即，触发)。在实施例中，用户通过在句子下面划线来选择被书写在笔记的部分中的句子‘明天上午11点之前接收所请求的文档(receive requested document by 11AM tomorrow)’。
用户通过书写预设的或直观地可识别的文本，例如‘翻译(translate)’(即，书写命令)来翻译所选择的内容。
基于用户输入信息来配置UI的NLI引擎意识到：用户期望请求翻译所选择的笔记内容。然后，该NLI引擎通过问答过程显示询问所选择的笔记内容将被翻译成哪种语言的问题。在实施例中，该NLI引擎通过在屏幕上显示消息‘哪种语言(Which language)？’来提示用户输入期望的语言。
当用户通过备忘录功能书写‘意大利语(Italian)’作为回答时，该NLI引擎意识到‘意大利语(Italian)’是用户所期望的语言。然后，该NLI引擎将识别出的笔记内容(即‘明天上午11点之前接收所请求的文档receive requested document by 11AM tomorrow’)翻译为意大利语并输出翻译结果。因此，该用户在屏幕上读取所请求的句子的意大利语翻译。
当在上述操作场景中在用户和用户终端之间基于手写执行问答过程时，这些操作场景可以使用同时支持基于语音的UI和基于手写的UI二者的NLI，而不限于基于手写的问答过程。
图18、19、20、21、22和23示出根据本公开的实施例的如下场景：在特定应用被激活之后调用支持备忘录功能的应用，然后使用所调用的应用来执行所激活的应用。
参照图18，该附图示出如下场景：在用户终端的主屏幕(home screen)上运行备忘录层并在该备忘录层上运行特定应用。在实施例中，该用户终端通过在主屏幕上运行备忘录应用来在主屏幕上启动备忘录层，然后在接收到书写的有关该应用的标识信息(如，该应用的名称)‘Chaton’时运行该应用。
参照图19，该附图示出在该用户终端中通过备忘录功能来控制在特定激活应用中的特定操作的场景。在实施例中，在其上音乐播放应用已经被运行的屏幕上，通过运行备忘录应用来启动备忘录层。然后，当用户在该屏幕上书写期望的歌曲名‘Yeosu Night Sea’时，该用户终端在该激活应用中播放与‘Yeosu Night Sea’相对应的声音源。
参照图20，该附图示出在该用户终端中通过备忘录功能来控制特定激活应用的场景。在实施例中，若用户在观看视频期间在备忘录层上书写将跳转到的时间‘40:22’，则该用户终端跳转到时间点40分22秒来播放该正在播放的视频。这个功能可以在听音乐以及观看视频期间以相同的方式执行。
此外，当正使用电子书(e-book)应用读书时，用户可以通过调用备忘录层来书写将跳转到的页面，例如，‘105’。然后，该用户终端跳转到书的第105页。
参照图21，该附图示出当网络浏览器正在该用户终端中运行时尝试使用备忘录功能进行搜索的场景。在实施例中，当使用该网络浏览器阅读特定网页时，用户选择(如，使用笔)显示在屏幕上的内容的部分、启动备忘录层、然后在备忘录层上书写词‘搜索(search)’作为书写命令，由此命令使用所选择的内容作为关键词来搜索。该NLI引擎通过自然语言处理来识别用户的意图并理解所选择的内容。然后，该NLI引擎执行该命令，并使用所选择的内容通过所设置的搜索引擎来搜素，并且，在屏幕上显示搜索结果。
如上所述，该用户终端可以在如下场景中操作：同时考虑在提供特定应用的屏幕上输入的选择和基于备忘录功能的信息二者。
参照图22，该附图示出通过备忘录功能在地图应用中获取期望的信息的场景。在实施例中，该用户通过使用备忘录功能在地图应用的屏幕上在特定区域的周围画闭合圆圈来选择该特定区域，并且书写要搜索的信息，例如，‘著名的地方(famous place)？’，由此命令在所选择的区域之内搜索著名的地方。
当识别到用户的意图时，该NLI引擎在其保存的数据库或服务器的数据库中搜索有用的信息，并在显示在当前屏幕上的地图上另外地显示检测到的信息。
参照图23，该附图示出当日程安排应用处在激活状态时通过备忘录功能输入期望的信息的场景。在实施例中，当日程安排应用处在激活状态时，用户执行备忘录功能并在屏幕上书写信息，如在线下直观地所做的那样。例如，用户通过在日程安排屏幕上画闭合圆圈来选择特定日期并书写针对该日期的计划。即，用户选择2012年3月13日并书写针对该日期的‘TF研讨会(TF workshop)’。然后，该用户终端100的NLI引擎请求输入时间作为附加信息。在实施例中，该NLI引擎在屏幕上显示问题‘时间(Time)？’，从而提示用户通过备忘录功能输入例如‘下午3点(3:00PM)’的准确时间。
图24和25示出根据本公开的实施例的与符号学相关的场景。
参照图24，该附图示出在通过备忘录功能进行的问答流程的上下文中解释手写符号的含义的示例。在实施例中，可以假设‘去意大利出差(to Italy on business)’和‘仁川到罗马(Incheon→Rome)’这两个笔记都被书写。由于符号→可以被解释为从一个地方到另一地方的旅程，因此该用户终端100的NLI引擎向用户输出询问时间的问题，例如，‘何时(When)？’
此外，该NLI引擎可以搜索与在用户书写的日期4月5日时从仁川到罗马的旅程可用的航班有关的信息，并向用户提供搜索结果。
参照图25，该附图示出结合激活的应用来解释通过备忘录功能书写符号的含义的示例。在实施例中，用户在地铁应用处于激活状态的屏幕上，以直观的方式使用符号(即，箭头)选择出发地和目的地。然后，该用户终端可以通过当前激活的应用来提供关于前往该目的地的火车的到达时间以及抵达该目的地所花费的时间的信息。
如上所述，本公开通过在各种应用中支持备忘录功能并从而以直观的方式来控制这些应用，能够增加用户的便利。
上述场景的特征在于：当用户在屏幕上启动备忘录层并在备忘录层上书写信息时，该用户终端识别该信息并执行与该信息相对应的操作。为了这个目的，另外指定用于在屏幕上启动备忘录层的技术可能是有用的。
在实施例中，可以通过以下方式来在当前屏幕上启动备忘录层：按下菜单按钮、输入特定手势、保持触控笔的按钮被按下、或者用手指向上或向下滚动屏幕。虽然，作为示例，在图5中通过向上滚动屏幕来启动备忘录层，但许多其他技术是可用的。
图26为示出根据本公开的实施例的在用户终端中用于支持使用混合技术的UI(被称为混合UI)的控制操作的流程图。
参照图26，该混合技术是指选择性地处理手写命令和语音命令的技术。该手写命令是用户在该用户终端中通过备忘录功能书写的命令，而该语音命令是用户通过语音输入的命令。
具有如图1中所示的配置的用户终端可以执行如图26中所示的控制操作。在实施例中，该用户终端的命令处理器120包括用于处理手写命令的组件和用于处理语音命令的组件。
参照图26，在操作2610处，该用户终端监视对显示在屏幕上的用户手写笔记的全部或部分的选择。显示在屏幕上的笔记可以是实时地从用户接收的或者由用户从预先存储的笔记当中检索的。当用户选择了显示在屏幕上的用户手写笔记的全部或部分时，在操作2612处，该用户终端显示用于处理所选择的笔记的内容的菜单图标。当用户选择了特定菜单图标时，在操作2616处，该用户终端确定处理与所选择的菜单图标相对应的命令是否需要附加信息。若确定需要附加信息，则在操作2618处，该用户终端执行问答过程以从该用户获取附加信息。另一方面，若不需要另外的信息，则在操作2620处，该用户终端通过与所选择的菜单图标相对应的功能来处理识别出的笔记内容。
图27示出根据本公开的实施例的在该用户终端中处理混合UI的示例。图28a、28b和28c示出根据本公开的实施例的在该用户终端中处理混合UI的另一示例。
参照图27a和28a，在图27的(a)和图28的(a)中在该用户终端中笔记被显示在屏幕上。
在实施例中，用户通过在显示在屏幕上的笔记的全部或部分内容下面划线，来选择期望的笔记的全部或部分。该用户终端将带下划线的笔记内容翻译为自然语言并且通过经翻译的自然语言来识别用户选择的笔记的内容的全部或部分。
参照图27的(b)和图28的(b)，用户通过在图27的(b)和图28的(b)的‘galaxy notepremium suite(galaxy笔记高级套件)’下面划线来选择显示在该用户终端的屏幕上的笔记的部分，即‘galaxy note premium suite(galaxy笔记高级套件)’。
当用户选择了显示在屏幕上的用户书写的笔记的全部或部分时，在操作2612处，该用户终端显示用于处理所选择的笔记的内容的菜单图标。该用户终端可以在屏幕上只显示与可用于处理所选择的笔记的内容的功能相对应的菜单图标，由此帮助用户选择特定的菜单图标。为便利用户选择菜单图标，这些菜单图标可以被显示在所选择的笔记的内容的附近。由于用户通常从左到右画下划线，所以，例如，这些菜单图标可以被显示在下划线的终点附近。
参照图27的(c)，作为示例，用于基于笔记来执行特定功能的菜单图标(如上面的菜单图标)和用于基于语音命令来执行特定功能的菜单图标(如下面的菜单图标)被显示。
参照图28的(c)，用于执行与邮件发送、呼叫和搜索相对应的功能的菜单图标(如上面的三个菜单图标)和用于通过输入的语音命令来执行特定功能的菜单图标(如最下面的菜单图标)被显示。虽然在图28的(c)中未示出，但显而易见的是用于执行特定功能的菜单图标可以扩展为进一步包括用于执行与消息发送相对应的功能的菜单图标。
在操作2614处，该用户终端一直监视对显示在屏幕上的菜单图标当中的菜单图标的用户选择。在实施例中，用户可以通过触摸屏幕上的菜单图标来选择期望的菜单图标。
当用户选择特定的菜单图标时，在操作2616处，该用户终端确定处理与所选择的菜单图标相对应的命令是否需要附加信息。即，该用户终端确定是否有足够信息来执行与所选择的菜单图标相对应的命令。
若确定需要附加信息，则在操作2618处，该用户终端执行问答过程以从该用户获取附加信息。即，该用户终端在屏幕上显示提示用户输入附加信息的消息，从而响应于该消息从用户获取附加信息。
图29示出根据本公开的实施例的在该用户终端中处理所选择的、与基于备忘录的命令执行相对应的菜单图标的示例。图30示出根据本公开的实施例的在该用户终端中处理所选择的、与语音命令执行相对应的菜单图标的示例。
参照图29，例如，该用户终端从与用户选择的菜单图标相对应的命令的识别结果确定：用户期望在以‘文本(text)’发送笔记内容‘galaxy note premium suite’。然而，该用户终端确定：由于缺乏关于收件人的信息，用户期望的功能菜单不可用。
若确定需要关于收件人的附加信息，则该用户终端在屏幕上显示‘您要将该消息发送给谁(To whom will you send the message)？’。当用户通过备忘录功能书写关于文本收件人的信息时，即，名字(如Ju Yun-BAE)或收件人的电话号码，该用户终端将书写的信息识别为附加信息。
当从用户接收到附加信息时，该用户终端确定是否需要更多的附加信息。若需要更多的附加信息，则该用户终端重复以上操作以获取附加信息。
另一方面，若不需要另外的信息，则在操作2620处，该用户终端通过与所选择的菜单图标相对应的功能来处理所识别的笔记内容。为了执行与所选择的菜单图标相对应的功能，该用户终端可以执行与该菜单图标匹配的应用。在实施例中，当用户选择了与邮件发送相对应的菜单图标时，该用户终端可以通过激活邮件应用并基于预设的邮件账号来显示包括被插入邮件正文中的所选择的笔记内容的邮件书写屏幕。
参照图29，若用户已选择与消息发送功能相对应的菜单图标，则该用户终端显示消息以向用户询问：谁是接收消息的收件人(参照图29的(a))。在读取该消息之后，用户在屏幕上书写标识消息收件人的信息(如，收件人的名字)(参照图29的(b))。
参照图30，若用户已选择用于执行语音命令的菜单图标，则该用户终端在屏幕上显示提示用户输入处理所选择的内容的命令的消息(参照图30的(a))或者通过语音输出该消息。在读取或听到该消息之后，用户通过语音输入用于处理所选择的内容的命令(如，‘谷歌搜索(Google search)’)(参照图30的(b))。在这种情况下，该用户终端可以使用搜索引擎——Google来执行关于‘galaxy note premium suite’的搜索操作，并可以在屏幕上输出搜索结果。
即，该用户终端从书写的笔记或语音输入来确定用户的意图，并根据用户的意图来处理所选择的内容。
图31a和图31b示出根据本公开的实施例的在该用户终端中支持混合UI的场景。
参照图31a和图31b，当用户在该用户终端中通过备忘录功能在书写在屏幕上的笔记的部分‘三星站附近的酒店(hotel near Samsung station)’下面画下划线时，该用户终端响应于画下划线向用户显示可用的菜单图标(参照①)。
当用户从显示在屏幕上的菜单图标当中选择与语音识别相对应的菜单图标时，该用户终端显示消息‘请说话(Speak)’以提示用户通过语音输入信息(参照②)。该用户终端可以同时以文本和通过语音输出消息‘请说话(Speak)’。
若响应于来自该用户终端的请求用户说出‘Naver搜索’，则该用户终端用自然语言来分析该言语‘Naver搜索’并从而评估用户的意图(参照③)。然而，该用户终端确定：用户期望使用‘Naver’来搜索‘三星站附近的酒店’。因此，该用户终端在屏幕上输出来自‘Naver’的关于‘三星站附近的酒店’的搜索结果。
因此，用户可以通过该用户终端来查看搜索结果。然后，用户书写‘估计洲际酒店的费用(estimate cost for Intercontinental hotel)’，并且通过使用备忘录功能来调用菜单层并通过在该笔记上画下划线来选择这个笔记作为将处理的内容。然后，用户在此处书写命令‘文本(text)’并将‘文本(text)’选择为命令(参照⑤)。
然而，发送文本需要关于收件人的信息。因此，该用户终端显示向用户询问谁是收件人的消息，即‘您要将该消息发送给谁(To whom will you send the message)？’(参照⑥)。
当该用户响应于该询问消息通过备忘录功能在屏幕上书写‘Ju Yun-BAE’时，该用户终端确定用户期望“发送内容‘估计洲际酒店的费用(estimate cost forIntercontinental hotel)’给‘Ju Yun-BAE’”(参照⑦)。该用户终端应确定在通信录中是否有任何映射到‘Ju Yun-BAE’的电话号码。若不存在任何映射到‘Ju Yun-BAE’的电话号码，则该用户终端可以提示用户输入‘Ju Yun-BAE’的电话号码并向从用户接收的电话号码发送消息。
虽然未示出，但当完成消息发送时，该用户终端可以在屏幕上输出通知消息发送的完成的消息，以便用户可以按照请求确认处理该命令的结果。
从以上描述显而易见的是，本公开能够促进在用户终端中采用电子笔的备忘录功能的使用和语音识别功能的使用。由于直观的接口被提供给用户，所以在本公开中用户能够方便地使用该用户终端所支持的功能。
将理解的是，本公开的实施例可以在硬件、软件或它们的组合中实施。该软件可以被存储在例如ROM的易失性或非易失性存储设备中而不考虑数据是可删除的还是可重写的；存储在例如RAM的存储器、存储器芯片、设备或集成电路中；或者存储在数据能够以光或磁的方式记录在其中并且其中的数据可以由机器读取的存储介质中，例如CD、DVD、磁盘或磁带。
根据本公开的用户终端中的UI装置和支持该UI装置的方法可以在具有控制器和存储器的计算机或便携式终端中实施，并且该存储器是适用于存储包括实施本公开的实施例的命令的程序或多个程序的机器可读存储介质的一个示例。因此，本公开包括：具有用于实施权利要求所定义的装置或方法的代码的程序，以及存储该程序的机器(如计算机)可读存储介质。该程序可以通过诸如经由有线的或无线的连接发送的通信信号的介质来以电子方式传送，该程序及其等同物被包括在本公开中。
此外，根据本公开的用户终端中的UI装置和支持该UI装置的方法可以从有线地或无线地连接的程序提供设备接收程序并存储该程序。该程序提供设备可以包括：用于存储具有请求在UI装置中实现本公开的方法的命令以及实现该方法所需的信息的程序的存储器，用于无线地或有线地与UI装置通信的通信模块，以及用于自动地或根据UI装置的请求发送程序到UI装置的控制器。
在实施例中，在本公开的以上实施例中，在该用户终端中执行：基于配置UI的识别引擎的识别结果来评估用户的意图以及向用户提供执行与用户的意图相对应的处理的结果的总体操作。
然而，该用户终端可以结合可通过网络访问的服务器执行本公开所必须的功能。在实施例中，该用户终端可以通过网络向特定服务器提供识别引擎的识别结果，并且该特定服务器可以基于所接收的识别结果来评估用户的意图并向该用户终端提供评估结果。若对于只基于识别结果的用户的意图的评估或对于处理评估出的用户的意图需要附加信息，则可以通过与该用户终端的问答过程来获取附加信息。
在实施例中，用户可以通过调整该用户终端的设置，来选择性地将本公开的操作限制于该用户终端，或者将本公开的操作扩展到通过网络与服务器的交互工作。
在这一点上，应注意的是，如上所述的本公开的各种实施例通常在某种程度上涉及输入数据的处理和输出数据的生成。这个输入数据的处理和输出数据的生成可以在硬件中或软件结合硬件中实施。例如，特定电子组件可以在用于实施与如上所述的本公开的各种实施例相关联的功能的移动设备或相似或相关的电路中采用。可替代地，根据存储的指令操作的一个或多个处理器可以实施与如上所述的本公开的各种实施例相关联的功能。若是这种情况，则可以被存储在一个或多个非暂态处理器可读介质上的这种指令属于本公开的范围之内。处理器可读介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备。处理器可读记录介质还可分布在耦合计算机系统的网络上，从而指令可以以分布式的方式被存储和执行。此外，用于实现本公开的功能性计算机程序、指令和指令段能够容易地被本公开所述技术领域的编程人员所理解。
虽然已参考本公开的各种实施例示出和描述了本公开，但本领域技术人员应理解，在不脱离如权利要求及其等同物所限定的本公开的精神和范围的情况下，可对本公开进行形式和细节上的各种改变。

Claims (11)

1.一种用于在用户终端中操作用户接口UI的方法，该方法包括：
在触摸屏上显示手写内容；
通过用户的手写选择所显示的手写内容的全部或部分；
根据对所显示的手写内容的全部或部分的选择，接收用户在触摸屏上的手写信息；
识别所接收的手写信息；
基于所识别的手写信息确定用户的意图；
如果基于所识别的手写信息没有确定用户的意图，则通过与用户进行问答过程来获取附加信息以确定用户的意图；
基于所识别的手写信息和所获取的附加信息来确定用户的意图；
显示与所确定的用户的意图相关联的至少一个菜单图标；
根据对所显示的至少一个菜单图标中的一个的选择，启动与所选择的菜单图标相对应的应用；以及
基于所启动的应用来处理所选择的手写内容，
其中获取附加信息还包括：
在触摸屏上显示基于所识别的手写信息和附加信息生成的问题，
响应于所显示的问题接收另外的手写信息，以及
获取所述另外的手写信息作为所述附加信息。
2.如权利要求1所述的方法，其中，所述至少一个菜单图标包括与邮件发送、呼叫、搜索和消息发送当中的至少一个相关联的至少一个菜单图标。
3.如权利要求1所述的方法，其中，手写信息是使用手指或触摸电子笔在触摸屏上输入的。
4.如权利要求1所述的方法，其中，其中手写信息被输入到由备忘录应用提供的触摸屏上。
5.如权利要求1所述的方法，其中，其中所述手写信息包括用于处理所选择的内容的至少一个手写命令。
6.一种用于操作用户接口UI的终端，该终端包括：
触摸屏，被配置为显示手写内容；和
至少一个处理器，被配置为：
通过用户的手写选择所显示的手写内容的全部或部分；
根据对所显示的手写内容的全部或部分的选择，接收用户在触摸屏上的手写信息并且识别所接收的手写信息；
基于所识别的手写信息确定用户的意图；
如果基于所识别的手写信息没有确定用户的意图，则通过与用户进行问答过程来获取附加信息以确定用户的意图；
在触摸屏上显示基于所识别的手写信息和附加信息生成的问题；
响应于所显示的问题接收另外的手写信息；
获取所述另外的手写信息作为所述附加信息；
基于所识别的手写信息和所获取的附加信息来确定用户的意图；
显示与所确定的用户的意图相关联的至少一个菜单图标；
根据对所显示的至少一个菜单图标中的一个的选择，启动与所选择的菜单图标相对应的应用；以及
基于所启动的应用来处理所选择的手写内容。
7.如权利要求6所述的终端，其中，所述至少一个菜单图标包括与邮件发送、呼叫、搜索和消息发送当中的至少一个相关联的菜单图标。
8.如权利要求6所述的终端，其中，手写信息是使用手指或触摸电子笔在触摸屏上输入的。
9.如权利要求6所述的终端，其中，其中手写信息被输入到由备忘录应用提供的触摸屏上。
10.如权利要求6所述的终端，其中，所述手写信息包括用于处理所选择的内容的至少一个手写命令。
11.用于存储指令的计算机程序的至少一个非暂态的处理器可读介质，该指令被配置为可由至少一个处理器读取以用于指示所述至少一个处理器执行：用于执行如权利要求1-5之一所述的方法的计算机过程。
CN201380042913.3A 2012-08-30 2013-08-30 用户终端中的用户接口装置以及用于支持该用户接口装置的方法 Expired - Fee Related CN104583927B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810948693.5A CN109254718A (zh) 2012-08-30 2013-08-30 提供导航信息的方法、电子设备和存储设备
CN201810949677.8A CN109240586A (zh) 2012-08-30 2013-08-30 操作用户接口的终端及其方法和处理器可读介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0095950 2012-08-30
KR1020120095950A KR102150289B1 (ko) 2012-08-30 2012-08-30 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
PCT/KR2013/007855 WO2014035195A2 (en) 2012-08-30 2013-08-30 User interface apparatus in a user terminal and method for supporting the same

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201810948693.5A Division CN109254718A (zh) 2012-08-30 2013-08-30 提供导航信息的方法、电子设备和存储设备
CN201810949677.8A Division CN109240586A (zh) 2012-08-30 2013-08-30 操作用户接口的终端及其方法和处理器可读介质

Publications (2)

Publication Number Publication Date
CN104583927A CN104583927A (zh) 2015-04-29
CN104583927B true CN104583927B (zh) 2018-09-21

Family

ID=50184545

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810949677.8A Pending CN109240586A (zh) 2012-08-30 2013-08-30 操作用户接口的终端及其方法和处理器可读介质
CN201810948693.5A Pending CN109254718A (zh) 2012-08-30 2013-08-30 提供导航信息的方法、电子设备和存储设备
CN201380042913.3A Expired - Fee Related CN104583927B (zh) 2012-08-30 2013-08-30 用户终端中的用户接口装置以及用于支持该用户接口装置的方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810949677.8A Pending CN109240586A (zh) 2012-08-30 2013-08-30 操作用户接口的终端及其方法和处理器可读介质
CN201810948693.5A Pending CN109254718A (zh) 2012-08-30 2013-08-30 提供导航信息的方法、电子设备和存储设备

Country Status (7)

Country Link
US (2) US10877642B2 (zh)
EP (2) EP3543831A1 (zh)
JP (1) JP2015530658A (zh)
KR (1) KR102150289B1 (zh)
CN (3) CN109240586A (zh)
RU (1) RU2015111172A (zh)
WO (1) WO2014035195A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102207443B1 (ko) * 2013-07-26 2021-01-26 삼성전자주식회사 그래픽 유저 인터페이스 제공 방법 및 장치
KR20160062565A (ko) * 2014-11-25 2016-06-02 삼성전자주식회사 디바이스 및 디바이스의 필기 컨텐트 제공 방법
CN105653113A (zh) * 2014-12-05 2016-06-08 深圳富泰宏精密工业有限公司 手势翻页方法及系统
CN105488112B (zh) * 2015-11-20 2019-09-17 小米科技有限责任公司 信息推送方法及装置
KR102481881B1 (ko) 2016-09-07 2022-12-27 삼성전자주식회사 외부 디바이스를 제어하는 서버 및 그 방법
CN106789204A (zh) * 2016-12-09 2017-05-31 邯郸美的制冷设备有限公司 一种智能配网的方法、装置及智能设备
US20180284844A1 (en) * 2017-04-04 2018-10-04 Microsoft Technology Licensing, Llc Foldable display device with interactable user interface surface on the external shell
CN108305618B (zh) * 2018-01-17 2021-10-22 广东小天才科技有限公司 语音获取及搜索方法、智能笔、搜索终端及存储介质
CN109388570A (zh) * 2018-10-12 2019-02-26 东软集团股份有限公司 业务逻辑检测方法、装置及计算机可读存储介质
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN110704585A (zh) * 2019-09-29 2020-01-17 出门问问信息科技有限公司 一种问答方法、装置及计算机可读介质
CN111638807A (zh) * 2020-04-29 2020-09-08 上海元趣信息技术有限公司 一种基于智能手写笔的学习辅助系统
US20230222281A1 (en) * 2022-01-07 2023-07-13 Google Llc Modifying the presentation of drawing objects based on associated content objects in an electronic document

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063600A (en) * 1990-05-14 1991-11-05 Norwood Donald D Hybrid information management system for handwriting and text
US5550930A (en) * 1991-06-17 1996-08-27 Microsoft Corporation Method and system for training a handwriting recognizer at the time of misrecognition
JP2773614B2 (ja) * 1993-12-28 1998-07-09 日本電気株式会社 手書き図形入力装置
US20060129944A1 (en) * 1994-01-27 2006-06-15 Berquist David T Software notes
US5748974A (en) * 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
JP3477329B2 (ja) 1996-10-22 2003-12-10 株式会社ザナヴィ・インフォマティクス ナビゲーション装置
GB9722766D0 (en) * 1997-10-28 1997-12-24 British Telecomm Portable computers
US6438523B1 (en) * 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
IL140805A0 (en) * 1998-10-02 2002-02-10 Ibm Structure skeletons for efficient voice navigation through generic hierarchical objects
US7720682B2 (en) * 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
AUPQ363299A0 (en) 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US6622119B1 (en) * 1999-10-30 2003-09-16 International Business Machines Corporation Adaptive command predictor and method for a natural language dialog system
US7392185B2 (en) * 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US6664991B1 (en) 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
WO2003050799A1 (en) * 2001-12-12 2003-06-19 International Business Machines Corporation Method and system for non-intrusive speaker verification using behavior models
US20010035880A1 (en) 2000-03-06 2001-11-01 Igor Musatov Interactive touch screen map device
EP1282855B1 (en) 2000-03-17 2011-10-12 Microsoft Corporation System and method for abstracting and visualizing a route map
US6424933B1 (en) 2000-03-17 2002-07-23 Vicinity Corporation System and method for non-uniform scaled mapping
DE10041800A1 (de) 2000-08-25 2002-03-21 Siemens Ag Verfahren zum Betrieb eines Navigationsgeräts und Anordnung zur Durchfürung des Verfahrens
US7003308B1 (en) * 2000-09-12 2006-02-21 At&T Corp. Method and system for handwritten electronic messaging
US7224991B1 (en) * 2000-09-12 2007-05-29 At&T Corp. Method and system for handwritten electronic messaging
GB2386724A (en) * 2000-10-16 2003-09-24 Tangis Corp Dynamically determining appropriate computer interfaces
JP2002133586A (ja) 2000-10-30 2002-05-10 Matsushita Electric Ind Co Ltd 情報送受信システムおよび情報送受信方法
US20020146175A1 (en) 2001-02-12 2002-10-10 Josh Goldfoot Method of shape recognition using postulated lines
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US6658147B2 (en) 2001-04-16 2003-12-02 Parascript Llc Reshaping freehand drawn lines and shapes in an electronic document
JP5109212B2 (ja) 2001-05-01 2012-12-26 ソニー株式会社 ナビゲーション装置、情報表示装置、オブジェクト生成方法、記憶媒体
US20030011638A1 (en) 2001-07-10 2003-01-16 Sun-Woo Chung Pop-up menu system
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US7039234B2 (en) * 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
CA2397451A1 (en) 2001-08-15 2003-02-15 At&T Corp. Systems and methods for classifying and representing gestural inputs
US20030093419A1 (en) 2001-08-17 2003-05-15 Srinivas Bangalore System and method for querying information using a flexible multi-modal interface
US7634403B2 (en) * 2001-09-05 2009-12-15 Voice Signal Technologies, Inc. Word recognition using word transformation commands
US7467089B2 (en) * 2001-09-05 2008-12-16 Roth Daniel L Combined speech and handwriting recognition
US7225130B2 (en) * 2001-09-05 2007-05-29 Voice Signal Technologies, Inc. Methods, systems, and programming for performing speech recognition
US8229753B2 (en) * 2001-10-21 2012-07-24 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting
US6886061B2 (en) * 2001-11-22 2005-04-26 Nec Corporation Electronic record system and control program device with display and tablet function for manipulating display area functions with pen stylus
US7797204B2 (en) 2001-12-08 2010-09-14 Balent Bruce F Distributed personal automation and shopping method, apparatus, and process
US7805302B2 (en) * 2002-05-20 2010-09-28 Microsoft Corporation Applying a structured language model to information extraction
US7546382B2 (en) * 2002-05-28 2009-06-09 International Business Machines Corporation Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
US7424447B2 (en) 2002-08-26 2008-09-09 Aperture Investments, Llc List-based selection system and methods for using same
US20040119754A1 (en) 2002-12-19 2004-06-24 Srinivas Bangalore Context-sensitive interface widgets for multi-modal dialog systems
US20040148170A1 (en) * 2003-01-23 2004-07-29 Alejandro Acero Statistical classifiers for spoken language understanding and command/control scenarios
DE602004013732D1 (de) 2003-02-26 2008-06-26 Tomtom Int Bv Navigationseinrichtung und verfahren zum austausch von daten zwischen residenten anwendungen
US7216034B2 (en) 2003-02-27 2007-05-08 Nokia Corporation System and method for an intelligent multi-modal user interface for route drawing
US7448048B1 (en) * 2003-05-27 2008-11-04 International Business Machines Corporation Method for performing real-time analytics using a business rules engine on real-time heterogeneous materialized data views
US20040240739A1 (en) * 2003-05-30 2004-12-02 Lu Chang Pen gesture-based user interface
US8311835B2 (en) * 2003-08-29 2012-11-13 Microsoft Corporation Assisted multi-modal dialogue
US7349845B2 (en) * 2003-09-03 2008-03-25 International Business Machines Corporation Method and apparatus for dynamic modification of command weights in a natural language understanding system
JP3924683B2 (ja) * 2003-10-02 2007-06-06 株式会社ナビタイムジャパン ナビゲーション装置、ナビゲーション方法およびプログラム
US7552221B2 (en) 2003-10-15 2009-06-23 Harman Becker Automotive Systems Gmbh System for communicating with a server through a mobile communication device
US20050096913A1 (en) 2003-11-05 2005-05-05 Coffman Daniel M. Automatic clarification of commands in a conversational natural language understanding system
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
US7706616B2 (en) * 2004-02-27 2010-04-27 International Business Machines Corporation System and method for recognizing word patterns in a very large vocabulary based on a virtual keyboard layout
US20060089794A1 (en) 2004-10-22 2006-04-27 Depasqua Louis Touch display fishing boat steering system and method
US8487879B2 (en) * 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
JP4297442B2 (ja) * 2004-11-30 2009-07-15 富士通株式会社 手書き情報入力装置
JP4927347B2 (ja) 2005-04-26 2012-05-09 クラリオン株式会社 ナビゲーション装置
FR2886750B1 (fr) 2005-06-06 2007-09-07 Boozter Technologies Sarl Formant d'enregistrement de donnees et procedes l'utilisant.
KR20060133389A (ko) * 2005-06-20 2006-12-26 엘지전자 주식회사 이동 단말기의 데이터 처리 장치 및 그 방법
US8670925B2 (en) 2005-06-21 2014-03-11 Calabrese Holdings L.L.C. Navigation system and method
US8196055B2 (en) * 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
US7809360B2 (en) 2006-05-24 2010-10-05 International Business Machines Corporation Optimization of calendar, itinerary, route plan, and PIM efficiencies according to assimilated wireless service availability conditions
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8031184B2 (en) * 2007-01-19 2011-10-04 Lg Electronics Inc. Inputting information through touch input device
KR101319390B1 (ko) 2007-04-25 2013-10-17 엘지전자 주식회사 대중 교통 정보를 제공하고 이를 이용하는 방법 및 장치
US8219406B2 (en) * 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
WO2009021078A1 (en) 2007-08-06 2009-02-12 Decarta Inc. Generalization of features in a digital map using round number coordinates
US8983497B2 (en) 2007-10-04 2015-03-17 Zos Communications, Llc Method for managing a geo-targeted campaign
US8060298B2 (en) 2007-10-11 2011-11-15 Microsoft Corporation Multiple directions to a destination without providing a specific origin
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
KR101476439B1 (ko) * 2008-01-04 2014-12-26 엘지전자 주식회사 휴대 단말기 및 이를 이용한 네트워크 컨텐츠 제공 방법
US8046226B2 (en) * 2008-01-18 2011-10-25 Cyberpulse, L.L.C. System and methods for reporting
US8498870B2 (en) * 2008-01-24 2013-07-30 Siemens Medical Solutions Usa, Inc. Medical ontology based data and voice command processing system
US8077975B2 (en) * 2008-02-26 2011-12-13 Microsoft Corporation Handwriting symbol recognition accuracy using speech input
JP4506855B2 (ja) 2008-03-05 2010-07-21 株式会社デンソー カーナビゲーションシステム
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
AU2008203110A1 (en) 2008-07-14 2010-01-28 Canon Kabushiki Kaisha A line stroking method and system
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
CN101648077A (zh) 2008-08-11 2010-02-17 巍世科技有限公司 语音指令游戏控制装置及其方法
US8510664B2 (en) 2008-09-06 2013-08-13 Steven L. Rueben Method and system for displaying email thread information
US20100083162A1 (en) * 2008-09-30 2010-04-01 Selina Hernandez Hand-held portable electronic bible
KR20100037487A (ko) 2008-10-01 2010-04-09 엘지전자 주식회사 차량 네비게이션 방법 및 그 장치
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8869070B2 (en) * 2008-12-30 2014-10-21 T-Mobile Usa, Inc. Handwriting manipulation for conducting a search over multiple databases
GB0823706D0 (en) * 2008-12-31 2009-02-04 Symbian Software Ltd Fast data entry
JP5531412B2 (ja) * 2009-01-14 2014-06-25 シャープ株式会社 電子機器および情報処理方法
US8401775B2 (en) 2009-01-30 2013-03-19 The Boeing Company Systems and method for managing airport ground traffic
US8447066B2 (en) * 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8510665B2 (en) * 2009-03-16 2013-08-13 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
KR101559178B1 (ko) * 2009-04-08 2015-10-12 엘지전자 주식회사 명령어 입력 방법 및 이를 적용한 이동 통신 단말기
US9080872B2 (en) 2009-04-22 2015-07-14 Gps Tuner Kit GPS tuner
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
CN101893444A (zh) * 2009-05-18 2010-11-24 深圳富泰宏精密工业有限公司 车载导航系统及导航方法
JP5402322B2 (ja) 2009-07-02 2014-01-29 ソニー株式会社 情報処理装置および情報処理方法
KR101077005B1 (ko) 2009-07-30 2011-10-26 성균관대학교산학협력단 전자펜을 이용한 필기 인식 시스템
US20110202864A1 (en) * 2010-02-15 2011-08-18 Hirsch Michael B Apparatus and methods of receiving and acting on user-entered information
US20110224896A1 (en) 2010-03-09 2011-09-15 Nokia Corporation Method and apparatus for providing touch based routing services
US8984409B2 (en) * 2010-03-12 2015-03-17 Salesforce.Com, Inc. Service cloud console
JP2011191577A (ja) * 2010-03-16 2011-09-29 Aisin Aw Co Ltd 地図表示装置、地図表示方法及びプログラム
JP2011197938A (ja) 2010-03-18 2011-10-06 Toshiba Tec Corp 地図情報処理装置、地図情報処理プログラム
US8631350B2 (en) * 2010-04-23 2014-01-14 Blackberry Limited Graphical context short menu
US8478516B2 (en) 2010-05-17 2013-07-02 Fujitsu Limited Method and system for providing navigation assistance on a mobile device
KR20110127894A (ko) * 2010-05-20 2011-11-28 주식회사 인프라웨어 웹 이미지 다이렉트 삽입을 통한 문서 작성 방법 및 웹 이미지 다이렉트 삽입을 통한 문서 작성 장치, 그리고 웹 이미지 다이렉트 삽입을 통한 문서 작성 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
SA110310576B1 (ar) * 2010-07-06 2015-08-10 راكان خالد يوسف الخلف جهاز، نظام وطريقة لتسجيل وتوثيق التواقيع المخطوطة باليد
KR101718027B1 (ko) * 2010-09-09 2017-03-20 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법
US8594997B2 (en) 2010-09-27 2013-11-26 Sap Ag Context-aware conversational user interface
US20120083294A1 (en) 2010-09-30 2012-04-05 Apple Inc. Integrated image detection and contextual commands
US20120092266A1 (en) 2010-10-14 2012-04-19 Motorola Mobility, Inc. Method and Apparatus for Providing a Navigation Path on a Touch Display of a Portable Device
US8863256B1 (en) 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
CN102087662A (zh) * 2011-01-24 2011-06-08 深圳市同洲电子股份有限公司 一种信息的搜索方法及搜索装置
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
CN102855079B (zh) * 2011-05-24 2016-06-08 Lg电子株式会社 移动终端
US9215096B2 (en) * 2011-08-26 2015-12-15 Salesforce.Com, Inc. Computer implemented methods and apparatus for providing communication between network domains in a service cloud
US20130138521A1 (en) 2011-11-30 2013-05-30 Google Inc. Contactless Payment System Providing Supplemental Content Associated with the Transaction
CN103257994A (zh) 2012-02-16 2013-08-21 吉菲斯股份有限公司 用于通过网络提供定制信息的方法和系统
CN102622183A (zh) * 2012-04-20 2012-08-01 北京协进科技发展有限公司 一种在触控屏上操作电子地图的方法和装置
US9197513B2 (en) * 2012-05-03 2015-11-24 Salesforce.Com, Inc. Computer implemented methods and apparatus for representing a portion of a user interface as a network address
US8635021B2 (en) 2012-05-04 2014-01-21 Google Inc. Indicators for off-screen content
US9429435B2 (en) 2012-06-05 2016-08-30 Apple Inc. Interactive map
US9311750B2 (en) 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US8983778B2 (en) 2012-06-05 2015-03-17 Apple Inc. Generation of intersection information by a mapping service
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9635523B2 (en) 2012-06-24 2017-04-25 Lg Electronics Inc. Terminal for creating and transmitting a message and controlling method thereof
US9235335B2 (en) 2012-06-25 2016-01-12 Microsoft Technology Licensing, Llc Touch interactions with a drawing application
US9553933B2 (en) 2012-06-29 2017-01-24 Nokia Corporation Method and apparatus for communication session-based initiation of networked terminals
JP5875685B2 (ja) 2012-07-17 2016-03-02 三菱電機株式会社 経路作成装置
US9569060B2 (en) * 2012-07-25 2017-02-14 Salesforce.Com, Inc. Computer implemented methods and apparatus for composing and batch publishing feed items in a feed-based interaction context
US8589911B1 (en) * 2012-07-26 2013-11-19 Google Inc. Intent fulfillment
US20140032713A1 (en) * 2012-07-26 2014-01-30 Salesforce.Com, Inc. Computer implemented methods and apparatus for providing knowledge items related to a communication
US20140032597A1 (en) * 2012-07-26 2014-01-30 Salesforce.Com, Inc. Computer implemented methods and apparatus for processing communications in a service environment
KR102059800B1 (ko) * 2012-08-30 2019-12-27 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
JP2014109897A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置およびコンテンツ検索方法
CN103968822B (zh) 2013-01-24 2018-04-13 腾讯科技（深圳）有限公司 导航方法、用于导航的设备和导航系统
US20140229101A1 (en) 2013-02-08 2014-08-14 Audi Ag System, components and methodologies for navigation route planning
US10684752B2 (en) * 2013-04-12 2020-06-16 Salesforce.Com, Inc. Computer implemented methods and apparatus for responding to actionable text patterns in a feed item
US9398156B2 (en) * 2013-04-12 2016-07-19 Salesforce.Com, Inc. Computer implemented methods and apparatus for managing agent workload in a customer service environment
US8938359B1 (en) 2013-07-01 2015-01-20 The Boeing Company Handle bar route extension
WO2015015644A1 (ja) * 2013-08-02 2015-02-05 株式会社 東芝 電子機器、方法及びプログラム
HUP1300490A2 (en) 2013-08-15 2015-03-02 Gps Tuner Kft Method for route-planning on a touch-screen apparatus
US20150052080A1 (en) 2013-08-15 2015-02-19 Creisoft, Inc. Systems and methods for managing real estate investments
KR102222336B1 (ko) 2013-08-19 2021-03-04 삼성전자주식회사 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법
US9642027B2 (en) 2014-01-02 2017-05-02 Cellco Partnership Method and system for platform-based device field tests
WO2015102061A1 (ja) 2014-01-06 2015-07-09 三菱重工業株式会社 緊急時の意思決定支援システム
US20150286943A1 (en) * 2014-04-06 2015-10-08 AI Laboratories, Inc. Decision Making and Planning/Prediction System for Human Intention Resolution
US20170337261A1 (en) * 2014-04-06 2017-11-23 James Qingdong Wang Decision Making and Planning/Prediction System for Human Intention Resolution
US20150331549A1 (en) 2014-05-14 2015-11-19 Pryv S.A. System, method, device, and computer program for at-glance visualization of events based on time-stamped heterogeneous data components
US9430463B2 (en) * 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
WO2016158800A1 (ja) 2015-03-31 2016-10-06 三菱重工業株式会社 経路計画システム、経路計画方法、物品手配計画システム、物品手配計画方法、意思決定支援システム、コンピュータプログラム、及び記録媒体
US10409831B2 (en) 2015-04-28 2019-09-10 Impakt Athletics, Inc. Athletic intelligence system
US9799225B2 (en) 2015-05-08 2017-10-24 The Boeing Company Method and apparatus for building a taxiing route
US9761220B2 (en) * 2015-05-13 2017-09-12 Microsoft Technology Licensing, Llc Language modeling based on spoken and unspeakable corpuses
US9530318B1 (en) 2015-07-28 2016-12-27 Honeywell International Inc. Touchscreen-enabled electronic devices, methods, and program products providing pilot handwriting interface for flight deck systems
CN106610295A (zh) 2015-10-27 2017-05-03 腾讯科技（深圳）有限公司 一种路线导航方法、终端、服务器及系统
CN107102833B (zh) 2016-02-22 2020-01-10 腾讯科技（深圳）有限公司 线路信息互动方法及电子设备
DE102016003308B3 (de) 2016-03-17 2017-09-21 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
JP6701064B2 (ja) 2016-12-14 2020-05-27 株式会社クボタ 走行経路生成装置
US20180202810A1 (en) 2017-01-17 2018-07-19 International Business Machines Corporation Navigation using an image of a topological map
US10885396B2 (en) 2017-05-24 2021-01-05 Amazon Technologies, Inc. Generating composite images using audio/video recording and communication devices

Also Published As

Publication number Publication date
WO2014035195A3 (en) 2014-05-08
KR102150289B1 (ko) 2020-09-01
EP3543831A1 (en) 2019-09-25
CN109254718A (zh) 2019-01-22
EP2891040A4 (en) 2016-03-30
RU2015111172A (ru) 2016-10-20
US20140068517A1 (en) 2014-03-06
KR20140028807A (ko) 2014-03-10
US10877642B2 (en) 2020-12-29
WO2014035195A2 (en) 2014-03-06
US20180364895A1 (en) 2018-12-20
EP2891040A2 (en) 2015-07-08
CN109240586A (zh) 2019-01-18
JP2015530658A (ja) 2015-10-15
CN104583927A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104583927B (zh) 用户终端中的用户接口装置以及用于支持该用户接口装置的方法
US20190025950A1 (en) User interface apparatus and method for user terminal
RU2650029C2 (ru) Способ и устройство для управления приложением посредством распознавания нарисованного от руки изображения
US10944859B2 (en) Accelerated task performance
CN112416484B (zh) 加速任务执行
CN108733438B (zh) 应用程序与数字助理集成
US9569101B2 (en) User interface apparatus in a user terminal and method for supporting the same
US9110587B2 (en) Method for transmitting and receiving data between memo layer and application and electronic device using the same
CN107608998A (zh) 具有数字助理的应用集成
CN107491295A (zh) 具有数字助理的应用集成
US20140015780A1 (en) User interface apparatus and method for user terminal
CN107615276A (zh) 用于媒体回放的虚拟助理
TW202240461A (zh) 使用輔助系統的語音和手勢輸入之文字編輯

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180921