CN105164714B - 用户终端装置及其控制方法 - Google Patents

用户终端装置及其控制方法 Download PDF

Info

Publication number
CN105164714B
CN105164714B CN201480023680.7A CN201480023680A CN105164714B CN 105164714 B CN105164714 B CN 105164714B CN 201480023680 A CN201480023680 A CN 201480023680A CN 105164714 B CN105164714 B CN 105164714B
Authority
CN
China
Prior art keywords
user
screen
controller
application
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480023680.7A
Other languages
English (en)
Other versions
CN105164714A (zh
Inventor
郑钟宇
明寅植
李择宪
曺东彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105164714A publication Critical patent/CN105164714A/zh
Application granted granted Critical
Publication of CN105164714B publication Critical patent/CN105164714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用户终端装置。所述装置包括：显示器，被配置为显示包括对象的屏幕；检测器，被配置为检测在该对象上或在包围所述对象的区域中输入的用户绘制输入；控制器，被配置为响应于检测到用户绘制输入执行与所述对象对应的程序，并且在显示器上显示处理所述用户绘制输入作为所述程序的输入的屏幕。因此，可方便地控制用户终端装置的操作。

Description

用户终端装置及其控制方法
技术领域
与示例性实施例一致的设备和方法涉及一种用户终端装置及其控制方法，并且更具体地讲，涉及一种显示包括对象的屏幕并且执行与关于该对象的用户操纵对应的控制操作的用户终端装置及其控制方法。
背景技术
随着电子技术的发展，已开发和销售各种类型的电子设备。特别地，现今已广泛地使用许多便携式用户终端装置，诸如移动电话、平板个人计算机(PC)、膝上型PC等。
这些用户终端装置可使用各种应用向用户提供服务。用户可通过选择主屏幕或应用图标屏幕上显示的图标来执行期望的应用。
因此，需要允许用户更加方便地并且容易地使用期望的服务的用户交互技术。
发明内容
技术问题
示例性实施例解决至少以上问题和/或缺点以及以上未描述的其它缺点。此外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服任何上述问题。
一个或多个示例性实施例涉及一种用户终端装置及其控制方法，该用户终端装置能够显示包括对象的屏幕，以各种方式检测关于对象的用户操纵，并且方便而快速地执行至少一个控制操作。
问题的解决方案
根据示例性实施例的一方面，提供一种用户终端装置，所述用户终端装置包括：显示器，被配置为显示包括对象的屏幕；检测器，被配置为检测在所述对象上或在包围所述对象的区域中输入的用户绘制输入；控制器，被配置为响应于检测到用户绘制输入执行与所述对象对应的程序，并且在显示器上显示处理所述用户绘制输入作为所述程序的输入的屏幕。
这里，控制器还可被配置为：响应于包括文本的用户绘制输入，在显示器上显示处理所述文本作为所述程序的输入的屏幕。
控制器还可被配置为：响应于所述对象是搜索窗口小部件，执行关于识别的文本的搜索，并且在显示器上显示搜索的结果。
控制器还可被配置为：响应于包括符号的用户绘制输入，在显示器上显示处理所述符号作为所述程序的输入的屏幕。
控制器还可被配置为：响应于所述对象是与邮件程序匹配的图标，在显示器上显示邮件书写屏幕，以向与所述文本对应的邮件地址发送邮件。
控制器还可被配置为：响应于所述对象是与信使服务程序匹配的图标，在显示器上显示与和所述本对应的另一用户交换的信使服务内容。
可使用用户的身体或笔通过触摸和拖动操纵输入所述用户绘制输入。
根据另一示例性实施例的一方面，提供一种用户终端装置，所述用户终端装置包括：显示器，被配置为显示包括多个对象的屏幕；检测器，被配置为所述该屏幕上检测用户操纵；控制器，被配置为响应于根据所述用户操纵绘制所述多个对象中的第一对象和第二对象之间的连接线，彼此关联地执行与第一对象对应的第一控制操作和与第二对象对应的第二控制操作。
这里，控制器还可被配置为：通过执行与第一对象对应的第一程序来显示第一屏幕，并且响应于在第一屏幕上执行用户操纵，执行与第二对象对应的第二程序，并且显示反映根据所述用户操纵的结果的第二屏幕。
此外，控制器还可被配置为：根据第二程序的类型确定在第一屏幕上显示的内容。
根据另一示例性实施例的一方面，提供一种用户终端装置的控制方法，所述控制方法包括：显示包括对象的第一屏幕；检测在所述对象上或在包围所述对象的区域中输入的用户绘制输入；响应于检测到用户绘制输入，执行与所述对象对应的程序，并且显示处理所述用户绘制输入作为所述程序的输入的第二屏幕。
显示第二屏幕可包括：响应于包括文本的用户绘制输入，显示处理所述文本作为所述程序的输入的屏幕。
显示第二屏幕可包括：响应于所述对象是搜索窗口小部件，执行关于所述文本的搜索，并且显示搜索的结果。
显示第二屏幕可包括：响应于包括符号的用户绘制输入，显示处理所述符号作为所述程序的输入的屏幕。
显示第二屏幕可包括：响应于所述对象是与邮件程序匹配的图标，显示邮件书写屏幕，以向与所述文本对应的邮件地址发送邮件。
显示第二屏幕可包括：响应于所述对象是与信使服务程序匹配的图标，显示与和所述文本对应的另一用户交换的信使服务内容。
显示第二屏幕还可包括：响应于在满足预定条件的同时检测到用户绘制输入，根据所述用户绘制输入显示第二屏幕；响应于在不满足所述条件的同时检测到用户绘制输入，根据所述用户绘制输入的方向按照页单元改变第一屏幕。
根据另一示例性实施例的一方面，提供一种用户终端装置的控制方法，所述控制方法包括：显示包括多个对象的屏幕；在所述屏幕上检测用户操纵；并且响应于根据所述用户操纵绘制所述多个对象中的第一对象和第二对象之间的连接线，彼此关联地执行与第一对象对应的第一控制操作和与第二对象对应的第二控制操作。
这里，所述执行可包括：通过执行与第一对象对应的第一程序来显示第一屏幕，并且响应于在第一屏幕上执行单独用户操纵，执行与第二对象对应的第二程序，并且显示反映根据第一屏幕上的单独用户操纵的结果的第二屏幕。
所述执行还可包括：根据第二程序的类型确定在第一屏幕上显示的内容。
根据另一示例性实施例的一方面，提供一种用户终端装置，所述用户终端装置包括：显示器，被配置为显示包括对象的屏幕；检测器，被配置为在所述屏幕上检测用户操纵；控制器，被配置为响应于根据用户操纵选择所述对象的第一区域而执行与所述对象相关的第一控制操作，并且响应于选择所述对象的第二区域而执行与所述对象相关的第二控制操作。
根据另一示例性实施例的一方面，提供一种用户终端装置，所述用户终端装置包括：控制器，被配置为响应于检测到显示第一对象和第二对象的屏幕上的第一用户操纵而确定是否通过第一用户操纵选择了第一对象和第二对象，并且响应于确定第一对象和第二对象被选择，执行与第一对象对应的第一程序和与第二对象对应的第二程序。根据第一控制操作和第二控制操作的类型，分别执行第一程序和第二程序或彼此关联地执行第一程序和第二程序。
控制器还可被配置为：响应于分别执行第一程序和第二程序，同时显示与执行第一程序对应的第一屏幕和与执行第二程序对应的第二屏幕。
控制器还可被配置为：响应于彼此关联地执行第一程序和第二程序，显示与执行第一程序对应的第一屏幕，并且响应于在第一屏幕上执行第二用户操纵，显示与第二用户操纵的结果对应的第二屏幕。
控制器还可被配置为：响应于彼此关联地执行第一程序和第二程序，显示与同时执行第一程序和第二程序对应的屏幕。
根据另一示例性实施例的一方面，提供一种用户终端装置的控制方法，所述控制方法包括：在显示第一对象和第二对象的屏幕上检测用户操纵；确定是否通过所述用户操纵选择了第一对象和第二对象；响应于确定通过所述用户操纵选择了第一对象和第二对象，执行与第一对象对应的第一程序和与第二对象对应的第二程序。根据第一控制操作和第二控制操作的类型，分别执行第一程序和第二程序或彼此关联地执行第一程序和第二程序。
响应于分别执行第一程序和第二程序，所述执行可包括：同时显示与执行第一程序对应的第一屏幕和与执行第二程序对应的第二屏幕。
响应于彼此关联地执行第一程序和第二程序，所述执行可包括：显示与执行第一程序对应的第一屏幕，并且响应于在第一屏幕上执行第二用户操纵，显示与第二用户操纵的结果对应的第二屏幕。
响应于彼此关联地执行第一程序和第二程序，所述执行可包括：显示与同时执行第一程序和第二程序对应的屏幕。
发明的有益效果
根据各种示例性实施例，用户终端装置可根据关于对象的用户操纵快速地执行至少一个控制操作。因此，用户可方便地接收他/她想要的服务。
附图说明
通过参照附图描述特定示例性实施例，以上和/或其它方面将会变得更加清楚，其中：
图1是示出根据示例性实施例的用户终端装置的结构的示图；
图2是用于解释根据示例性实施例的用户终端装置的控制方法的流程图；
图3至图8是用于解释各种用户操纵和相关操作的示例的示图；
图9是用于解释根据另一示例性实施例的用户终端装置的控制方法的流程图；
图10至图12是用于解释根据图9的示例性实施例的用户终端装置的操作的示图；
图13是用于解释根据另一示例性实施例的用户终端装置的控制方法的流程图；
图14至图15是用于解释根据图13的示例性实施例的用户终端装置的操作的示图；
图16是用于解释根据另一示例性实施例的用户终端装置的控制方法的流程图；
图17至图21是用于解释根据图16的示例性实施例的用户终端装置的各种操作的示例的示图；
图22是用于解释根据另一示例性实施例的用户终端装置的控制方法的流程图；
图23至图27是用于解释根据图22的示例性实施例的用户终端装置的各种操作的示例的示图；
图28是示出具有笔的用户终端装置的外部结构的示图；
图29是示出用户终端装置的详细结构的示例的示图；
图30是示出由用户终端装置使用的软件结构的示例的示图。
图31是用于解释用户终端装置的详细结构的示例的示图；
图32是示出由用户产生的用户创作屏幕的结构的示例的示图。
图33是示出由用户产生的用户创作屏幕的结构的另一示例的示图。
图34是示出用于构造用户创作屏幕的创作工具屏幕的示例的示图；
图35至图37是用于解释根据各种示例性实施例的构造用户创作屏幕的方法的示图；
图38至图42是用于解释产生用户创作屏幕的各种方法的示例的示图；和
图43至图44是用于解释使用用户创作屏幕的各种方法的示图。
具体实施方式
现在将参照附图更详细地描述特定示例性实施例。
应该观察到，已由附图中的传统符号表示方法步骤和系统部件。在下面的描述中，即使在不同附图中，相同附图标号也被用于相同元件。在描述中定义的内容(诸如，详细构造和元件)被提供用于帮助对示例性实施例的全面理解。因此，清楚的是，可在没有这些具体地定义的内容的情况下执行示例性实施例。此外，公知功能或构造未被详细描述，这是因为它们将会在不必要的细节上使示例性实施例变得模糊。另外，在下面的描述中，关系术语(诸如，“第一”和“第二”等)可被用于区分一个实体与另一实体，而未必意味着这种实体之间的任何实际关系或次序。
图1是用于解释根据各种示例性实施例的用户终端装置的结构的方框图。根据图1，用户终端装置100包括显示器110、检测器120和控制器130。
用户终端装置100表示可由用户使用的各种类型的电子设备。例如，用户终端装置100可被实现为各种类型的装置，诸如移动电话、平板PC、膝上型PC、个人数字助理(PDA)、MP3播放器、电子相册装置、电视(TV)、PC、电话亭等等。在图1中，仅示出根据各种示例性实施例的操作中所涉及的某些元件，并且省略其余详细元件的说明。
显示器110可显示各种类型的屏幕，诸如主屏幕、图标屏幕、列表屏幕、应用执行屏幕、web浏览器屏幕、内容播放屏幕等等。主屏幕表示在开启用户终端装置100并且完成针对系统的准备之后显示的屏幕。主屏幕还可表示可从其选择应用或窗口小部件(widget)的屏幕。主屏幕还可被称为基本屏幕、初始屏幕、主要屏幕、解锁屏幕等。图标屏幕表示显示关于安装在显示器110中的应用的图标的屏幕，并且列表屏幕表示以列表的形式布置和显示关于安装在显示器110中的应用的信息的屏幕。应用执行屏幕表示通过应用的执行来呈现的屏幕，并且web浏览器屏幕表示通过web浏览器的执行来显示从外部web服务器接收的网页的屏幕。内容播放屏幕表示再现多媒体内容并且显示多媒体内容的视频帧的屏幕。另外，显示器110可显示各种其它类型的屏幕。
各种类型的对象(诸如，图标、文本、图像、照片等)可被包括在显示器110上显示的屏幕上。例如，主屏幕可包括各种对象，诸如由用户选择的特定图标、各种窗口小部件信息、文件夹图标等。检测器120可检测针对显示器110的用户操纵。
可通过各种装置(诸如，用户的手指或其它身体部位、笔(例如，触控笔)等)输入用户操纵，并且根据操纵方法，用户操纵可被分类为触摸操纵、悬停操纵、注视操纵、运动手势操纵、语音输入操纵等等。
触摸操纵表示用户使用输入装置触摸屏幕的操作，并且悬停操纵表示使输入装置接近屏幕的操作。触摸操纵可包括用户的绘制输入，其中，用户在屏幕上绘制数字、文本、符号、标志等。可使用用户的身体部位或笔将用户的绘制输入实现为触摸和拖动操纵。同时，注视操纵表示用户针对屏幕的一部分注视预定时间的操作。运动手势操纵表示这样的操作：用户在用户终端装置100前面做出预定运动手势，以使得可执行与该运动手势匹配的控制操作。语音输入操纵表示这样的操作：用户发出语音命令，以使得可执行与该语音命令匹配的控制操作。
检测器120是用于检测用户操纵的元件。可根据用户的操纵装置和方法以各种方式实现检测器。例如，为了检测触摸操纵，检测器120可被实现为各种类型的触摸传感器(诸如，电容式、电阻式和压电式传感器)。电容式传感器通过使用涂覆在显示器110的表面上的电介质感测当用户的身体的一部分触摸显示器110的表面时由用户的身体激发的电流来计算触摸坐标。电阻式传感器包括两个电极板，并且在触摸的点的上板和下板彼此接触以感测当用户触摸屏幕时的流动的电流时计算触摸坐标。
同时，如果输入装置是包括线圈的笔，则检测器120可包括用于感测由笔中的线圈改变的磁场的地磁传感器。因此，除了感测触摸操纵之外，还可检测接近操纵(也就是说，悬停)。例如，检测器120可检测在显示器110的屏幕中所包括的对象中或在该对象附近执行的用户的绘制输入。将在随后更详细地描述检测器120的结构。
当检测到用户操纵时，检测器120将检测结果传送给控制器130。例如，如果用户使用用户的手指或笔触摸屏幕上的某个点，则检测器将触摸的点的x、y坐标传送给控制器130。当用户移动触摸的点时，检测器120实时地将改变的触摸的点的坐标传送给控制器130。当检测到针对显示器110上显示的对象的用户操纵时，控制器130可根据该对象和用户操纵执行合适的控制操作。至少一个控制操作可被默认地或通过用户的设置而与屏幕上显示的每个对象匹配。
控制器130可执行与由用户选择的对象对应的控制操作。控制操作表示执行用户终端装置100的特定应用并且显示特定应用的执行屏幕，或者执行预定特定功能。另外，当在对象上或在对象附近执行用户的绘制输入时，控制器130可执行与该对象对应的程序，并且在显示器110上显示处理用户的绘制输入作为该程序的输入的屏幕。以下，将更详细地描述根据对象和用户操纵执行各种控制操作的示例。
<指定团组中(lump)的对象的示例>
图2是用于解释根据示例性实施例的控制操作的流程图。根据图2，用户终端装置100可显示包括多个对象的屏幕(S210)。这里，该屏幕可被实现为如上所述的各种屏幕，诸如主屏幕、图标屏幕、列表屏幕、应用执行屏幕、web浏览器屏幕、内容播放屏幕等。例如，用户终端装置100可在主屏幕上显示各种图标、窗口小部件信息等。在这种状态下，用户终端装置100确定是否检测到关联多个对象的用户操纵(S220)。
可按照各种方式执行关联多个对象的用户操纵。例如，该操纵可以是下述操纵中的至少一个：绘制包括多个对象的封闭曲线、在多个对象之间绘制连接线、执行触摸多个对象中的每个对象的多触摸操纵、覆盖显示多个对象的区域等等。这些操纵是触摸操纵的示例。语音操纵可包括说出一行中的多个对象的标题的用户操纵或者发出被设置为关联多个控制操作的语音命令的用户操纵。
另外，当在运动操纵期间检测到特定运动手势时，可确定所述特定运动手势是关联多个对象的用户操纵。当检测到这种用户操纵时，控制器130可执行与通过该用户操纵来关联的多个对象中的每个对象对应的控制操作(S230)。可按照各种方式执行该控制操作。
以下，将更详细地描述关联多个对象的用户操纵和对应的控制操作的示例。
图3是示出根据绘制封闭曲线的用户操纵同时选择多个对象的情况的示图。图3示出这样的示例：显示包括窗口小部件信息11和各种图标12～17的主屏幕。在这种状态下，如果用户在该屏幕上使用输入装置(诸如，他的或她的手指50或笔)绘制封闭曲线10，则检测器120将触摸的点传送给控制器130。控制器130通过连续地连接触摸的点来识别绘制轨迹。随后，控制器130在显示器110上沿着绘制轨迹以预定颜色和粗细呈现图形线10。在主屏幕上以交叠方式显示图形线10。当在正在绘制图形线10的同时存在交叠部分时，控制器130将交叠部分的内部区域识别为封闭曲线。控制器130确定该封闭曲线内显示的对象的类型。
图3示出这样的示例：窗口小部件信息11和图标B 13被包括在由图形线10构成的封闭曲线中。在这种情况下，控制器130分别执行与窗口小部件信息11和图标B 13对应的控制操作，并且在一行中显示它们的执行屏幕21、22。也就是说，仅利用一个用户操纵，可执行多个应用，并且因此，可显示多个应用执行屏幕。
图3示出用户操纵的开始点和结束点相同的封闭曲线。然而，即使用户操纵未形成封闭曲线，也可执行与图3相同的操作，只要该用户操纵可被解释为同时选择多个对象的操作即可。例如，如果用户的绘制轨迹形成曲线但该曲线未封闭，则控制器130检查该绘制的整个长度以及轨迹之间的距离。如果与该绘制的整个长度相比轨迹之间的距离足够小并且存在圆圈里面显示的至少一个对象，则控制器130可确定用户绘制封闭曲线。因此，可确定选择该圆圈里面的对象。根据另一示例，可根据绘制除封闭曲线之外的各种线的操纵来关联多个对象。例如，如果用户绘制依次与对象A、B、C(12、13、14)交叉的线，则控制器130可确定分别选择了对象A、B、C(12、13、14)，并且可按照并行方式将对应的控制操作A、B、C与每个对象关联并且执行该操作。
例如，如果以并行方式执行控制操作并且在音乐文件图标、照片图标和消息服务图标上绘制直线或曲线，则可在全屏幕上排列和显示音乐文件播放屏幕、照片屏幕和文本消息屏幕。另一方面，如果控制操作被彼此关联地执行，则可执行这样的控制操作：音乐文件和照片被附加的文本消息屏幕被显示在屏幕上。如上所述，多个控制操作可根据用户操纵被分别地执行或彼此关联地执行。
图3示出：当将多个对象分组或绘制连接多个对象的线时，分别执行与每个对象匹配的控制操作，但可存在其它示例性实施例。例如，当将多个对象分组为一个组或将多个对象彼此连接时，可针对这些对象执行编辑操作，也就是说，可按照团组移动、复制或删除这些对象。具体地讲，如果属于一个组或彼此连接的对象中的一个对象被用户触摸并且拖动至另一位置，则分组在一起或彼此连接的其它对象也可被移动。在另一示例中，分组在一起或彼此连接的多个对象可被移动到单个文件夹中。这些操作还可被应用于将在随后描述的其它示例性实施例。
图4示出这样的情况：通过同时覆盖显示多个对象的区域的覆盖操纵来选择所述多个对象。如图4中所示，当用户使用整个手掌50或至少一个手指覆盖多个对象11、13、14时，检测器120向控制器130提供关于覆盖的区域的信息。控制器130确认在对应区域中显示的对象并且分别执行与该对象对应的控制操作。
图4示出这样的示例：窗口小部件11和两个图标13、14被用户的手覆盖，并且因此依次显示分别与窗口小部件11和图标13、14中的每一个对应的程序的执行屏幕21、22、23。检测器120可使用触摸传感器检测覆盖操纵。如果由检测器120检测的触摸区域大于预定尺寸，则控制器130可确定触摸的区域中显示的所有对象被选择。因此，如图4中所示，按照团组执行与每个对象匹配的控制操作。
图5示出这样的情况：通过同时触摸多个对象的多触摸操纵来选择所述多个对象。如果检测到这种多触摸操纵，则检测器120向控制器130提供关于触摸的点的数量和位置的信息。如果存在多个触摸的点并且对象在每个触摸的点被显示，则控制器130确定这些对象被同时选择。图5示出这样的情况：两个对象16、17被同时选择。因此可依次显示分别与选择的对象16、17中的每一个对应的应用的执行屏幕31、32。
在图3至图5中，显示器110的长度大于显示器110的宽度，但可根据用户终端装置100的类型以各种方式实现显示器110的长度和宽度。另外，如果执行多个应用，则可根据显示器110的形状和尺寸以各种方式实现所述多个应用的执行屏幕的布置次序。也就是说，与图3至图5中示出的示例不同，在用户终端装置100具有宽度大于长度的显示器的情况下，可沿水平方向布置和显示每个执行屏幕。
在图3至图5中，执行与多个对象对应的每个应用并且提供多个执行屏幕。然而，控制器130还可将与通过用户操纵而同时选择的多个对象中的每个对象对应的控制操作彼此关联，并且执行该控制操作。
可按照各种方式执行该关联操作。例如，如果通过绘制操纵、覆盖操纵、多触摸操纵等来同时选择缩略图照片和邮件图标，则控制器130可产生自动地附加缩略图照片的邮件书写屏幕，并且在显示器110上显示该屏幕。因此，可避免首先执行邮件程序并且随后搜索将要被附加的照片的相关技术的处理，并且可省略输入附加命令，并且用户可直接执行期望的控制操作。类似地，如果邮件图标和日程安排图标被一起选择，则控制器130可直接产生反映交换的邮件中记录的各种日程安排信息的日程安排产生屏幕。另外，如果搜索程序图标和特定内容图标被一起选择，则控制器130可自动地搜索关于对应内容的信息，并且直接显示示出搜索结果的屏幕。
图6是用于解释关联多个对象的另一操纵方法和执行其关联操作的方法的示图。如图6中所示，用户可在多个对象之间绘制连接线60。
如果在多个对象之中的第一对象15和第二对象16之间绘制连接线60，由此连接两个对象15、16，则用户终端装置100的控制器130可将与第一对象15对应的第一控制操作与与第二对象16对应的第二控制操作关联，并且执行所述操作。具体地讲，控制器130可执行与第一对象15对应的第一程序，并且显示第一屏幕41。用户可针对第一屏幕41输入特定用户操纵。控制器130根据用户操纵执行操作，并且作为结果，获得第一程序的执行结果的数据。
另外，控制器130执行与第二对象16对应的第二程序。控制器130向第二程序提供通过针对第一程序的用户操纵而获得的执行结果的数据，并且显示反映该结果的第二屏幕。图6示出这样的示例：第一对象15是相机图标，并且第二对象16是消息服务图标。
如图6中所示，用户可使用输入装置(诸如，他的或她的手指50或笔200)输入在相机图标15和消息服务图标16之间绘制连接线60的操纵。在这种情况下，控制器130可执行相机应用，并且通过激活相机(未示出)来首先显示实时取景屏幕41。在这种状态下，如果用户输入拍摄命令，则控制器130直接显示自动地附加拍摄的图像43的文本消息书写屏幕42。
在图6中，连接线60被示出为箭头，但连接线60的形状不必局限于此。也就是说，连接线60可被以各种方式实现，诸如实线、虚线、曲线等。如果如图6中所示以箭头形状实现连接线60，则控制器130可考虑到箭头的方向性确定应用的执行次序。也就是说，如果在用户的绘制完成之后过去预定时间，则控制器130可分析用户的绘制的轨迹并且确定形状。如果确定该绘制的形状与预定数据库中登记的箭头图案具有高于特定比率的相似性，则控制器130可确定绘制了箭头，并且可根据箭头尖的位置决定方向性。因此，控制器130基于箭头的方向和每个对象15、16的位置顺序地执行与每个对象15、16匹配的应用。
如果如图6中所示从相机图标15朝着消息图标16绘制箭头，则控制器130通过首先执行相机程序来显示拍摄屏幕41。在这种状态下，如果用户完成拍摄，则控制器130通过执行邮件程序来显示文本消息书写屏幕42。另一方面，如果从消息图标16朝着相机图标15绘制箭头，则控制器130可首先显示文本消息书写屏幕42。在这种状态下，如果书写完成，则控制器130显示拍摄屏幕41。如果通过拍摄屏幕41完成拍摄，则控制器130可自动地附加拍摄的图像并且发送该文本消息。与箭头不同，如果连接线没有方向性，则控制器130可通过识别绘制连接线的方向来确定应用的执行次序。也就是说，如果从左到右绘制连接线，则可首先执行与左侧对象对应的控制操作，并且如果从右到左绘制连接线，则可首先执行与右侧对象对应的控制操作。
同时，即使如图6中所示执行绘制连接线的操纵，也可能需要执行关联的控制操作。也就是说，根据示例性实施例，即使如图6中所示绘制连接线，也可能需要并行地执行每个应用，并且可同时显示多个执行屏幕。
另外，当多个对象通过连接线而彼此关联时，控制器130可考虑到彼此关联的两个程序的类型显示每个屏幕。也就是说，当显示作为前一程序的执行屏幕的第一屏幕时，控制器130可通过考虑后一程序的类型来以不同方式确定将要被显示在第一屏幕上的内容。这里，所述前一程序表示与靠近为了绘制连接线60而首先触摸的点的第一对象15对应的第一程序，并且所述后一程序表示与靠近为了绘制连接线60而最后触摸的点的第二对象16对应的第二程序。
图7和图8是用于解释根据以上示例性实施例的用户终端装置100的操作的示图。图7示出这样的状态：在与陈列室程序匹配的第一对象21和与编辑程序匹配的第二对象22之间绘制连接线60。在这种情况下，控制器130可在第一屏幕41上显示预先存储的照片和视频内容1～9。在这种状态下，如果用户选择一个内容，则控制器130可显示用于编辑选择的内容的编辑屏幕。
图8示出这样的状态：在与陈列室程序匹配的第一对象21和与消息服务程序匹配的第二对象23之间绘制连接线60。在这种情况下，控制器130仅在第一屏幕41上选择性地显示预先存储的内容1～9之中被设置为共享的那些内容1、2、5、8。另外，第一屏幕41还可显示用于观看全部内容的菜单31。
如此，当多个对象由连接线连接时，可根据后一程序的类型和特性改变前一程序的执行屏幕上显示的内容。
另外，控制器130可直接显示与用户操纵对应的后一程序的执行屏幕，而非总是显示初始屏幕。在以上示例性实施例中，详细地描述了根据关联多个对象的用户操纵执行多个控制操作的方法。
在以上示例性实施例中，以由用户终端装置的制造公司或应用编写者设计的形状和尺寸显示每个对象，但可在用户终端装置的用户直接绘制对象时产生该对象。也就是说，根据另一示例性实施例，用户可在主屏幕上直接产生对象，并且将该对象与期望的控制操作匹配以构造主屏幕。
以下，为了解释的方便，可由用户直接设计的主屏幕将会被称为用户创作屏幕(UCS)，并且由用户终端装置的制造公司或应用编写者设计的屏幕将会被称为基本屏幕。不仅可在基本屏幕上执行各种示例性实施例，还可在用户创作屏幕上执行各种示例性实施例。
根据另一示例性实施例，用户可预先将多个控制操作与一个对象匹配，并且选择该对象以同时执行所述多个控制操作。在这种情况下，用户可简单地选择和使用多个控制操作而无需每次关联多个对象，将在以下对此进行更详细的解释。
<将控制操作与对象匹配的示例>
图9是用于解释根据另一示例性实施例的控制用户终端装置100的方法的流程图。
根据图9，用户终端装置100显示至少一个对象(S710)。该对象不限于图标，并且该对象可被以各种形式(诸如文本、图像、照片等)显示。
在这种状态下，当用户选择一个对象(S720)时，用户终端装置100的控制器130确定是否多个控制操作与选择的对象匹配(S730)。为了实现这一点，用户终端装置100的存储器(未示出)可存储关于与每个对象匹配的控制操作的信息。
如果确定多个控制操作匹配，则控制器130并行地执行每个控制操作(S740)。例如，如果邮件应用和日记应用与一个对象匹配并且该对象被选择，则控制器130分别执行邮件应用和日记应用，并且同时显示每个应用的执行屏幕。
另一方面，如果仅一个控制操作与选择的对象匹配，则控制器130执行匹配的控制操作(S750)。
图10是用于解释根据图9的控制方法的用户终端装置100的操作的示图。根据图10，用户终端装置100显示至少一个对象700。在图10中，当用户直接使用他的或她的手指或笔在屏幕上绘制时，产生对象700。
在图10中，如果假设陈列室程序和图片板程序与对象700匹配，则当对象700被选择时，控制器130分别在屏幕上显示陈列室程序的执行屏幕51和图片板程序的执行屏幕52。陈列室程序的执行屏幕51可显示存储在用户终端装置100中的各种照片的缩略图图像以及所述各种照片中的一个照片的放大照片。图片板程序的执行屏幕52可显示用户可绘制图片的区域，并且当用户的手指或笔移动时，可绘制图片。
在图10中，在观看陈列室程序的执行屏幕51的同时，用户可在图片板程序的执行屏幕52上绘制图片。
同时，可与一个对象匹配的控制操作的数量和类型可变化。例如，如果在图10中匹配视频播放程序而非图片板程序，则用户可在一个屏幕51上观看以前拍摄的照片，并且在另一屏幕52上观看视频。
图11是示出匹配多个控制操作的对象的另一示例的示图。根据图11，可显示包括与不同控制操作匹配的图标D、E以及连接它们的箭头的对象18。对象18的形状可由用户直接绘制，或者可由用户终端装置100的制造商或应用开发者提供。当对象18被选择时，控制器130顺序地执行与图标D对应的控制操作以及与图标E对应的控制操作。
例如，如果图标D与相机程序匹配并且图标E与邮件程序匹配，则当图标D被选择时，控制器130首先执行相机程序以显示拍摄屏幕。在这种状态下，如果用户完成拍摄，则控制器130执行邮件程序以执行邮件书写屏幕。
图12是示出匹配多个控制操作的对象的另一示例的示图。根据图12，可显示连接这些对象的另外的对象19。当图标D 15被选择时，控制器130执行与选择的图标D 15对应的第一控制操作，并且当图标E 16被选择时，控制器130执行与选择的图标E 16对应的第二控制操作。另一方面，当所述另外的对象19被选择时，顺序地执行第一和第二操作。
在以上示例性实施例中，当多个控制操作与一个对象匹配并且该对象被选择时，同时或顺序地执行所述多个控制操作。然而，根据另一示例性实施例，可根据用户的操纵模式仅执行多个控制操作的一部分。
<根据操纵模式执行不同控制操作的示例>
图13是示出根据另一示例性实施例的用户终端装置100的结构的方框图。根据图13，当在显示对象(S910)的同时检测到用户操纵(S920)时，用户终端装置100确定用户操纵的模式(S930)。
也就是说，根据示例性实施例，用户终端装置100可存储针对一个对象设置的多个操纵模式和与操纵模式匹配的控制操作。可根据用户操纵的方向、强度、频率、操纵装置等将操纵模式分类。
例如，如果用户操纵的方向被视为标准，则沿水平方向交叉一个对象的第一用户操纵和沿垂直方向交叉一个对象的第二用户操纵可被视为两个不同操纵模式。因此，第一控制操作可被与第一用户操纵匹配，并且第二控制操作可被与第二用户操纵匹配。
可选择地，如果用户操纵的强度被视为标准，则第一控制操作可被与其强度、压力或触摸的尺寸大于阈值的用户操纵匹配，并且第二控制操作可被与其强度、压力或触摸的尺寸小于阈值的用户操纵匹配。
另外，如果用户操纵的频率被视为标准，则第一控制操作可被与单次轻敲匹配，并且第二控制操作可被与双次轻敲匹配。
另外，如果操纵装置被视为标准，则第一控制操作可被与使用手指的触摸操纵匹配，并且第二控制操作可被与使用笔的触摸操纵匹配。
可选择地，针对沿水平方向、垂直方向或对角线方向交叉对象的第一用户操纵，可匹配这样的第一控制操作：多次执行与该对象对应的应用，并且依次显示多个执行屏幕。另一方面，针对不交叉该对应对象的第二用户操纵(也就是说，简单的触摸等)，可匹配这样的第二控制操作：仅执行与该对象对应的应用一次，并且在显示器110上显示一个执行屏幕。
当用户操纵的模式被确认时，用户终端装置100的控制器130基于预先存储的匹配信息根据确认的模式执行控制操作(S940)。随后，即使同一对象被选择，根据选择方法也可执行不同程序或者也可执行不同功能。另外，即使仅针对对象执行一个用户操纵，也可显示多个执行屏幕。
图14至图15是示出根据示例性实施例的用户终端装置100的详细操作的示例的示图。在以上附图中，基于显示器110的长度大于显示器110的宽度的用户终端装置100描述各种示例性实施例，但在图14和图15中，将描述显示器的宽度大于长度的用户终端装置100，诸如平板PC、笔记本PC等。然而，示例性实施例不限于以上类型的装置，并且用户终端装置100可被以各种形式实现。
根据图14，用户终端装置100可显示多个对象12～20。在这种状态下，如果用户执行沿垂直方向交叉一个对象19的用户操纵，则控制器130两次执行与对象19对应的应用并且显示两个执行屏幕61、62。在这种情况下，可根据用户操纵的方向确定执行屏幕61、62的布置次序。也就是说，如果如图14中所示用户执行沿垂直方向交叉一个对象19的用户操纵，则参照屏幕分别在左侧和右侧布置执行屏幕61、62。
图15示出这样的情况：用户沿水平方向交叉一个对象19。在这种情况下，控制器130参照屏幕分别在上侧和下侧布置两个执行屏幕61、62。
同时，当对象被选择时，根据预定标准，控制器130可显示两个相同执行屏幕61、62或者可显示两个不同执行屏幕61、62。例如，如图14和图15中所示，如果针对匹配消息服务图标的对象19执行用户操纵，则控制器130可执行消息服务图标，在一个执行屏幕61上显示消息交换历史，并且在另一执行屏幕62上显示交换的最后的消息。
在图14和图15中，消息服务图标被示出为示例，但也可匹配除消息服务图标之外的程序。
同时，可根据操纵位置将用户操纵分类。以下，将描述根据用户操纵的位置执行不同控制操作的示例。
<根据操纵位置执行不同控制操作的示例>
图16是用于解释根据一个对象中的操纵位置执行不同控制操作的示例的流程图。
根据图16，如果在显示对象(S1210)的同时检测到用户操纵(S1220)时，用户终端装置100执行与该对象对应的应用(S1230)。因此，如果确定该对象中的第一点被选择(S1240)，则执行与该点对应的第一控制操作(S1250)。另一方面，如果确定另一点(也就是说，不是第一点)被选择，则执行第二控制操作(S1260)。在图16中，一个对象被划分为两个点，并且两个不同控制操作与每个点匹配。然而，根据示例性实施例，可存在超过两个点。
图17示出这样的状态：显示匹配相机应用的对象。在图17中，对象1300被划分为多个部分1310、1320。为了解释的方便，对象1300的右上部显示的(+)区域1310被称为第一部分，并且其余区域被称为第二部分。
当用户分别触摸第一部分1310和第二部分1320时，用户可直接执行期望的详细功能。也就是说，如果在图17中通过用户操纵1311来触摸第一部分1310，则控制器130立即执行相机应用并且在全景拍摄模式下操作。因此，显示用于全景拍摄的屏幕71。
另一方面，如果通过用户操纵1321来触摸第二部分1320，则控制器130执行相机应用，并且显示根据一般拍摄模式的屏幕72。
根据示例性实施例，用户可在显示对象1300的屏幕上直接选择期望的控制操作，而不执行应用、逐个地搜索菜单和设置详细的选项(这引起不便)。
特别地，如果用户使用笔作为输入装置，则可输入精细的触摸，这是因为笔的端部比手指尖。因此，即使对象1300的尺寸不够大，用户也可使用笔容易地触摸详细的点，由此立即执行期望的功能。
图18是用于解释根据一个对象中的操纵的位置执行不同控制操作的另一示例的示图。根据图18，用户可执行使笔200接近屏幕上显示的对象1810的悬停操纵。当检测到悬停操纵时，控制器130显示剥掉对象1810的表面的一个层的图形效果以露出对象1810的隐藏部分1811。因此，一个对象1810可被划分为隐藏部分1811和原始部分1812。在这种状态下，控制器130根据由用户触摸的部分执行不同控制操作。
如果在图18中选择原始部分1812，则控制器130显示对应对象1810的主要执行屏幕1813，并且如果选择隐藏部分1811，则控制器130显示与对应对象1810相关的简单的弹出屏幕1814。然而，这种控制操作仅是示例，并且可根据程序的类型执行各种控制操作。
在图17中，需要解释的是，一个对象被固定地划分为两个部分，并且在图18中，一个对象根据悬停操纵被灵活地划分为两个部分。然而，根据另一示例性实施例，对象的形状可根据用户终端装置100的环境的变化而变化，或者另外的对象可被添加到该对象的一侧。
图19和图20是用于解释添加另外的对象的示例的示图。
图19示出这样的状态：显示匹配消息服务程序的对象1822。在这种状态下，如果接收到新文本消息但未打开该新文本消息，则控制器130在对象1822的一侧显示另外的对象1821。该另外的对象1821可被显示为新文本消息的数量或其它文本、符号、图像等。用户可使用各种输入装置选择原始对象1822或该另外的对象1821。控制器130根据由用户选择的部分执行不同控制操作。
例如，如果用户选择该另外的对象1821，则控制器130立即显示用于打开新文本消息的消息屏幕1823。另一方面，如果用户选择原始对象1822，则控制器130显示消息服务程序的执行屏幕1824。在图19中，消息服务程序被用作示例，但相同示例性实施例可被应用于信使服务(messenger)程序或邮件程序。
图20示出这样的状态：显示匹配某个程序的对象。用户可在任何时间登记他的或她的日程安排信息。如果确定正在接近用户的登记的日程安排，则控制器130在对象1832的一侧显示另外的对象1831以通知新日程安排的出现。用户可选择该另外的对象1831或原始对象1832。
如果用户选择该另外的对象1831，则控制器130显示用于通知该新日程安排的内容的屏幕1833。另一方面，如果用户选择原始对象1832，则控制器130显示与原始对象1832对应的程序的执行屏幕1834。
如此，甚至针对一个对象也可根据用户的选择点执行不同控制操作。
同时，图17至图20的示例性实施例的程序仅是示例性的，并且相同示例性实施例可被应用于其它类型的程序。具体地讲，图17至图20中的任何一个示例性实施例可各种程序(诸如，内容播放程序、新闻程序、游戏程序、地址簿程序、电话程序、web浏览器程序等等)中被实现。
例如，假设在图17的示例性实施例中匹配内容播放程序的对象被划分为多个部分。在这种情况下，如果选择所述多个部分中的第一部分，则控制器130可显示以前播放的内容的播放屏幕，并且如果选择不同于第一部分的第二部分，则控制器130可显示可播放内容的列表。
可选择地，假设图18或图19的示例性实施例被应用于新闻程序。在这种情况下，当存在突发新闻时，控制器130可在匹配新闻程序的对象的一侧显示另外的对象以向用户通知该突发新闻。如果用户选择该另外的对象，则控制器130可显示显示该突发新闻的新闻屏幕。另一方面，如果选择原始对象，则控制器130可显示新闻程序的主要屏幕。
如上所述，甚至针对匹配一个程序的对象，也可根据关于该对象的用户操纵选择性地提供各种执行屏幕。
同时，在图17至图20中，根据对象的选择点显示不同执行屏幕，但还可执行例如除显示执行屏幕之外的其它类型的控制操作。
图21是用于解释根据对象的选择点执行各种控制操作的另一示例性实施例的示图。
根据图21，控制器130可显示包括圆形对象1840和各种图标1847的屏幕。圆形对象1840可包括各种详细对象1841～1846。用户可通过操纵详细对象1841～1846中的每个对象来执行各种控制操作。图21示出这样的情况：用于播放音乐内容的窗口小部件被实现为圆形对象1840。圆形对象1840可包括可通过触摸来选择的各种按钮1841、1842、1843、可通过触摸和拖动调整的音量菜单1844、播放状态调整菜单1845、播放状态显示区域1846等。
如果用户选择各种按钮1841、1842、1843，则控制器130可根据选择的按钮的类型执行操作(诸如，内容播放、快进、后退等)。可选择地，如果用户使用笔200触摸显示音量菜单1844的区域并且沿顺时针或逆时针方向拖动它，则控制器130可根据拖动方向增大或减小音量水平。
如果用户使用笔200触摸显示播放状态调整菜单1845的区域并且沿顺时针或逆时针方向拖动所述区域，则控制器130可根据拖动方向向前或向后移动播放点。播放状态显示菜单1846可在圆形对象1840的最外侧被实现为条状图形。如果用户调整播放状态显示菜单1845，则控制器130可根据调整状态改变播放状态显示区域1846上显示的条状图形的长度。
如果如图21中所示提供圆形对象，则用户可通过做出在圆圈的边界周围绘制圆圈的手势来执行各种交互操作。在图21的圆形对象1840中显示播放状态调整菜单1845的区域可被以记录音乐内容的盘的形式显示。也就是说，用户可使用笔200执行握住并且刮擦该盘的音乐播放员操作。
在图21中，圆形对象被用作示例，但可提供可由笔200容易地操纵的其它类型的各种对象，并且控制器130可根据对象的选择点执行各种控制操作。
同时，用户可执行用户操纵以便不仅选择对象还输入特定信息。在这种情况下，控制器130可通过将执行用户操纵的区域或周围区域中显示的对象的类型与用户操纵的内容进行组合，来直接执行期望的功能。以下，将描述执行反映用户输入的控制操作的示例性实施例。
<执行反映用户输入的控制操作的示例>
图22是用于解释根据另一示例性实施例的控制用户终端装置100的方法的示图。根据图22，用户终端装置100显示各种对象，诸如窗口小部件和图标(S1410)。在这种状态下，用户可使用输入装置在对象上或在周围区域中书写文本或绘制符号。也就是说，用户可通过用户绘制输入来输入各种信息。用户终端装置100可基于执行用户绘制输入的对象的类型和用户输入的内容执行不同控制操作。
用户绘制输入可包括用于指定对象的输入和与该对象对应的程序的输入。具体地讲，如果执行用户绘制输入，则控制器130确定在用户绘制输入开始的点显示的对象被选择，并且分析整个用户绘制输入的轨迹。如果确定分析的轨迹是特定文本或符号，则控制器130提供该确定的文本或符号作为关于与该对象对应的程序的输入。因此，该程序根据该文本或符号构造程序执行结果屏幕，并且控制器130通过显示器110显示该执行结果屏幕。
也就是说，如果在对象上或在周围区域中检测到用户绘制输入，则控制器130可执行与该对象对应的程序，并且处理该用户绘制输入作为对应程序的输入，并且在显示器110上显示该屏幕。
图22示出输入文本的情况。
当检测到输入文本(S1420)时，用户终端装置100执行与输入文本的对象对应的应用(S1430)。随后，基于由用户输入的文本执行控制操作(S1440)。具体地讲，控制器130提供由用户输入的文本作为关于执行的应用的输入，并且显示执行结果屏幕。
图23是用于解释根据示例性实施例的用户终端装置100的操作的示图。图23示出这样的状态：显示包括窗口小部件、图标等的各种对象11～19。用户可针对该对象执行特定用户操纵。
检测器120检测这样的用户操纵并且将所述用户操纵传送给控制器130。
控制器130执行与用户操纵的内容和对应对象的类型对应的控制操作。例如，如果在与对象对应的区域中绘制文本，也就是说，如果通过笔操纵来在对象上或在周围区域中绘制文本，则控制器130立即执行与该对象对应的程序，并且在显示器110上显示与该文本对应的执行屏幕。
图23示出这样的情况：用户在搜索窗口小部件11上绘制某个文本(例如，“KIM”)。在这种情况下，控制器130执行与搜索窗口小部件11对应的程序并且输入“KIM”作为用于执行搜索的搜索字。随后，控制器130显示搜索结果屏幕1500。作为结果，包括搜索字“KIM”的各种搜索结果被显示在搜索结果屏幕1500上。
在现有技术中，当选择搜索窗口小部件11时，首先显示该应用的初始执行屏幕，并且随后，用户必须在初始执行屏幕的搜索窗口上输入搜索字以执行搜索。然而，根据示例性实施例，用户可在主屏幕上输入搜索字并且立即检查搜索结果，因此用户可更加快速而方便地使用服务。
图23示出在搜索窗口上执行文本绘制的情况，但即使参照搜索窗口在特定距离内执行文本绘制，也可提供基于对应文本的搜索服务。同时，搜索服务在图23中被用作示例，但是示例性实施例可被应用于其它各种程序。
图24示出这样的情况：用户使用手指或笔在匹配邮件程序的对象1600的一侧书写文本1601“致KIM”，并且在该文本周围绘制圆圈1602。在这种情况下，控制器130执行邮件程序并且解析由用户绘制的内容。
控制器130从解析的内容分离出命令和搜索字。在图24中，“致”属于命令。控制器130执行比较以找出在预先存储的命令库文件中是否存在与解析的词语对应的词语，并且如果存在与解析的词语对应的词语，则将该词语识别为命令。控制器130构造与该命令对应的屏幕。
在图24中，控制器130确定命令“致”是用于书写和发送邮件的命令，并且显示与该命令对应的邮件书写屏幕1610。图24示出在文本书写之后绘制圆圈1602，但圆圈1602可被省略。也就是说，控制器130可忽略圆圈1602并且仅将其余区域识别为文本。可选择地，如果封闭曲线(诸如，圆圈1602)被识别，则控制器130可确定文本书写完成并且仅解析该封闭曲线内的文本。另外，在图24的示例中，控制器130将文本“KIM”确定为搜索字。
因此，控制器130在预先存储的联系人信息中搜索与该搜索字对应的邮件地址。为了实现这一点，关于与由每个应用提供的功能对应的命令的信息可被预先存储在存储器(未示出)中。当找到与由用户输入的搜索字对应的邮件地址时，控制器130直接在邮件书写屏幕中的接收人信息区域中写下该邮件地址。
因此，可直接显示包括由用户输入的对方的邮件地址的邮件书写屏幕1610。因此，用户可直接向期望的对方发送邮件，而不必经历选择各种菜单的复杂处理或搜索处理。
如果在匹配信使服务程序而非邮件程序的图标上或在周围区域中输入文本，则控制器130可执行信使服务服务程序，并且显示用于显示和与显示器110上的文本对应的另一用户交换的信使服务的内容的信使服务屏幕。
图25示出这样的情况：在匹配电话程序的对象上执行文本绘制。根据图25，如果用户在匹配电话程序的对象1620上绘制文本1621“KIM”，则控制器130自动地在地址簿中搜索与“KIM”对应的电话号码。如果找到该电话号码，则控制器130自动地呼叫该电话号码。因此，显示电话呼叫连接屏幕1622。
同时，在用户直接触摸对象(诸如，窗口小部件和图标)并且改变与该对象对应的程序的设置值的情况下，可根据改变的值改变该对象的形状。
图26是用于解释根据用户操纵改变窗口小部件的示例的示图。根据图26，显示器110显示包括窗口小部件1630的屏幕2000。
图26示出：窗口小部件1630是闹钟窗口小部件，该闹钟窗口小部件包括具有时针1634和分针1635的模拟时钟1631。闹钟窗口小部件1630还可显示数字时钟1632、日期信息1633等。
控制器130在闹钟窗口小部件1630上根据用户操纵设置闹钟，并且根据设置的闹钟改变该窗口小部件的显示内容。具体地讲，控制器130可在窗口小部件1630的模拟时钟1631上仅显示指示时间的数字的一部分(即，12、3、6、9)，并且如果存在悬停的笔，则可在模拟时钟上显示指示时间的所有数字(1～12)。另外，用户可触摸时针1634和分针1635中的每一个，并且将它们拖动(1641)至期望的位置。
如果在模拟时钟1631上输入用于移动时针1634和分针1635中的至少一个的笔操纵，则控制器130可将闹钟设置为通过该笔操纵来改变的时间。随后，时针和分针中的至少一个可被移动至设置闹钟的时间。在图26中，时针1634被从11移动至5，并且分针1635保持在12。因此，闹钟被设置为5点钟。如果为闹钟设置的时间改变，则不仅模拟时钟1631上显示的时间自动地改变，数字时钟1632上显示的时间也自动地改变。
同时，用户可使用笔200在日期信息1633中触摸并且选择他或她希望设置闹钟的日期。选择的日期可被以不同于其它日期的颜色显示。另外，虽然在图26中未示出，但是用于选择上午和下午的区域、用于选择闹钟的开/关的区域、用于选择铃声的区域等也可被包括在窗口小部件1630中。如上所述，与手指相比，笔200允许用户执行更精细的触摸，因此当使用笔200时，图26的窗口小部件1630可被以小尺寸显示。
图27是用于解释在闹钟窗口小部件1630中设置闹钟的另一方法的示图。根据图27，用户可直接使用笔200在数字时钟1632上写时间信息1642。图27示出：“1”被写在小时区域中，并且“27”被写在分钟区域中。控制器130识别该手写，并且根据识别结果自动地设置闹钟时间。随后，控制器130根据设置的闹钟时间改变数字时钟1632和模拟时钟1630的显示内容。
如上所述，不仅根据图标上的笔操纵的位置还根据窗口小部件上的笔操纵的位置执行不同的控制操作，并且使用笔的输入还可被直接反映在窗口小部件程序上。另外，可根据程序的类型和用户的手写的内容执行各种控制操作。
图23和图24示出用户输入某个文本的情况，但是针对由对应的应用提供的每个模式，文本或绘制图案可被设置为不同，并且可根据绘制这种文本或绘制图案的用户操纵执行操作。
例如，在相机程序的情况下，可存在各种拍摄模式，诸如一般模式、最佳模式、人脸识别模式、全景模式、微笑拍摄模式、视频拍摄模式等。存储器140可存储与每个拍摄模式对应的文本或绘制图案。例如，可针对最佳模式设置字母“B”，可针对人脸识别模式设置圆圈，可针对全景模式设置波浪形状，可针对微笑拍摄模式设置字母“S”，并且可针对视频拍摄模式设置字母“M”。
因此，如果在匹配相机程序的对象上或在周围区域中检测到用户的绘制，则控制器130执行相机程序，并且根据与绘制操纵匹配的拍摄模式直接显示屏幕。例如，如果检测到绘制了字母M，则直接显示用于制作视频内容的屏幕。另一方面，如果在对应对象上存在简单触摸，则控制器130可显示相机程序的基本屏幕。
在现有技术中，用户执行相机程序，在初始屏幕上选择菜单，检查可选择的拍摄模式的列表，并且随后从列表显示期望的拍摄模式。然而，根据示例性实施例，屏幕的期望的深度可被直接显示在主屏幕上，因此可显著提高用户方便。在另一示例中，可在匹配用于允许用户使用笔来记各种笔记的笔记程序的对象中执行类似操作。笔记程序显示用户自由地记笔记的各种类型的纸。例如，可提供具有各种布局的纸，诸如就像一般笔记的具有空间的笔记纸、用于写下各种想法的想法纸、具有信的形式的信纸、具有卡片的形式的卡片纸等。
每种纸可被与不同文本或绘制图案匹配，并且存储在存储器140中。例如，笔记纸可被与一般触摸操纵匹配，字母“I”可被与想法纸匹配，字母“M”可被与信纸匹配，字母“C”可被与卡片纸匹配等。控制器130可基于这种匹配信息立即显示与用户的绘制图案对应的纸的形状。
如图14和图15中所示，特定绘制图案(诸如，水平线或垂直线)可被与控制操作匹配以显示程序的多个执行屏幕，而不管对应程序的操作模式或功能如何。另外，各种控制操作可被与用户的绘制图案匹配。例如，用户可在对象上绘制预定符号、文本等，以编辑该对象或与该对象匹配的应用。
例如，如果用户在一个对象上绘制“X”，则控制器130可删除该对象。根据示例性实施例，与该对象匹配的应用也可被删除。另外，如果用户在一个对象上绘制“C”，则控制器130可复制该对象。
另外，用户可绘制“P”以执行粘贴操作，并且可绘制“S”以执行剪切操作。显示内容和对应操作的示例可被以各种方式实现。另外，在日记对象的情况下，如果用户在日记对象上写特定日期，则控制器130可执行日记程序并且打开对应日期的日记。另外，在音乐对象的情况下，如果用户在音乐对象上写歌曲标题、歌手姓名、专辑名称等，则控制器130可立即从预先存储的内容或外部服务器搜索与用户的书写对应的音乐内容并且播放该音乐内容。
如此，根据各种示例性实施例，用户可在显示对象的屏幕上使用各种操纵方法选择期望的控制操作。因此，可显著提高执行和使用各种程序的用户方便。
以上示例性实施例可被分别实现并且应用于装置，但是这些示例性实施例也可被组合在一起并且应用。也就是说，多个对象可在一个用户终端装置100中被分组，并且多个控制操作可被同时执行。可选择地，多个控制操作可被与一个对象匹配，并且可根据选择该对象的用户操纵的方向或位置、由用户输入的内容等选择性地执行各种控制操作。如上所述，用户操纵可被以各种方式(诸如，触摸、语音、运动等)实现。
当通过触摸操纵来控制用户终端装置100时，检测器120可被以触摸屏幕的形式实现。在这种情况下，触摸装置不限于身体部位(诸如，手指)，并且可使用各种类型的笔。以下，将更详细地描述可使用用户的手指或笔控制的用户终端装置100的详细结构的示例。
<可被操纵的用户终端装置的详细结构的示例>
图28是示出可使用笔操纵的用户终端装置的结构的示图。笔200可被简单地实现为触摸笔，或实现为触控笔、数字转换器笔(digitizer pen)等。在这种情况下，谐振电路可被形成在笔200里面。当笔200接近用户终端装置100或触摸用户终端装置100时，由从布置在用户终端装置100里面的环形线圈发送的磁信号产生感应磁场。形成在用户终端装置100中的检测器120检测感应磁场，以检测接近的笔的位置或触摸的位置。
图29示出可检测是否由笔200输入操纵的用户终端装置100的详细结构的示例。根据图29，用户终端装置100包括显示器110、检测器120、控制器130和存储器140。
显示器110显示如上所述的各种屏幕。显示器110可被以各种形式实现，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示面板(PDP)等。显示器110还可包括可被以诸如a-Si薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等的形式实现的驱动电路、背光单元等。
显示器110和检测器120可被实现为一个触摸屏幕。检测器120可包括笔识别面板121和触摸面板122。笔识别面板121检测笔200的接近输入或触摸输入，并且根据检测结果输出事件信号。笔识别面板121可被以电子磁共振(EMR)方法实现，并且可根据由笔200的接近或触摸导致的磁场的强度的变化检测触摸或接近输入。
具体地讲，笔识别面板121可包括电子感应线圈传感器(未示出)和电子信号处理电路(未示出)。电子感应线圈传感器被构造为具有网格结构，其中，多个环形线圈彼此交叉。电子信号处理电路顺序地将AC信号提供给电子感应线圈传感器的每个环形线圈，并且将从每个环形线圈输出的信号发送给控制器130。当在笔识别面板121的环形线圈附近存在包括谐振电路的笔200时，从对应环形线圈发送的磁场在笔200的谐振电路中基于互电磁感应产生电流。基于该电流，从构成笔的谐振电路的线圈产生感应磁场，并且笔识别面板121从处于接收信号的状态的环形线圈检测该感应磁场以检测笔的接近位置或触摸位置。
在以上示例性实施例中，笔被用作输入装置的示例，但是能够基于电磁感应产生电流的任何物体可被用作输入装置。笔识别面板121被布置在显示器110的下侧，并且可根据特定事件或默认地被激活。
触摸面板122是用于检测通过用户的身体部位或其它对象输入的物理触摸的元件。例如，触摸面板122可被以触摸膜、触摸片、触摸垫等的形式实现。当检测到触摸时，触摸面板122输出与触摸的点对应的触摸事件值。如上所述，触摸面板122可包括各种类型的触摸传感器(诸如，电容式传感器、电阻式传感器等)。例如，当触摸面板122被实现为电容式传感器时，触摸面板122利用薄金属导电材料(诸如，氧化铟锡(ITO)层)涂覆玻璃的两侧，以使得电流可在玻璃的表面上流动，并且触摸面板122被涂覆并且被构造为可存储电荷的介电质。当触摸面板122的表面被触摸时，特定量的电荷通过静电而移至触摸的位置，并且触摸面板122通过识别作为电荷的移动的结果的电流的量的变化来检测触摸的位置并且跟踪触摸事件。
这里，发生在触摸面板122中的触摸事件可主要由人的手指产生，但可由可引起电流的量的变化的任何其它物体(诸如，导电材料)产生。图29示出笔识别面板121和触摸面板122被提供为分开的面板，但是这两个面板可被实现为一个面板。如图29中所述，用户可使用用户的手指或其它身体部位或者使用笔200操纵用户终端装置100。
为了解释的方便，使用笔200的操纵被称为笔操纵，并且其它操纵被称为一般操纵。根据图29的结构，检测器130可区别地识别笔操纵和一般操纵。
另外，为了防止根据基于一般操纵的交互的控制操作和根据基于笔操纵的交互的控制操作之间的任何冲突，控制器130可区别地处理这两种交互。具体地讲，如果在满足预定条件时检测到笔操纵，则可执行与通过笔操纵来绘制的内容和发生笔操纵的区域上显示的对象对应的控制操作。另一方面，如果在不满足预定条件时检测到笔操纵，则控制器130可将该笔操纵视为一般操纵。也就是说，即使执行笔操纵，如果不满足预定条件，则也可执行不同于上述控制操作的一般操作。
例如，如果在不满足预定条件的同时在两个对象之间绘制线，则控制器130可能无法彼此关联地执行这两个对象的控制操作，并且替代地，可根据笔操纵的方向按照页单元沿向左、向右、向上或下方向改变或滚动主屏幕。可选择地，控制器130可仅根据该笔操纵绘制图形线，而不执行任何特定控制操作。
这种条件可被以各种方式设置。例如，一个条件可以是：在由手指按压屏幕上显示的特定菜单或者用户终端装置100的主体上的按钮(音量按钮、主按钮、笔按钮、隐藏键等)的同时，通过笔操纵来执行绘制。即使在对应菜单或按钮未被按压的同时通过笔操纵来指定多个对象，控制器130也可仅绘制与该笔操纵对应的线，而不执行任何特定操作。另一方面，如果在对应菜单或按钮被按压的同时通过笔操纵来指定多个对象，则控制器130识别通过该笔操纵而关联的所述多个对象，并且执行与每个对象对应的多个控制操作。
另一方面，一个条件可以是这样的状态：笔200与主体分离。在这种情况下，在笔200被分离之后，如果用户使用笔200拖动屏幕，则控制器130可绘制与绘制轨迹对应的线。另一方面，如果用户在笔被分离的同时使用手指拖动屏幕，则屏幕可按照页单元改变或滚动。
另外，可设置各种条件。该条件可由用户终端装置100的制造商默认地设置并且存储在存储器140中，但是还可在用户使用该装置的同时由用户任意地设置。
同时，虽然在图29中未示出，但是用户终端装置100还可包括用于驱动显示器110的驱动器(未示出)、帧缓冲器(未示出)等。帧缓冲器是用于暂时存储将要被显示在显示器110的面板上的图像帧的元件，并且驱动器是用于将存储在帧缓冲器中的图像帧转换成图像源信号并且将图像源信号提供给显示器110以使得显示器110可显示图像帧的元件。
控制器130使用存储在存储器140中的各种程序和数据控制用户终端装置100的总体操作。控制器130包括RAM 131、ROM 132、CPU 133、图形处理单元(GPU)134和总线135。RAM131、ROM 132、CPU 133和GPU 134可通过总线135彼此连接。CPU 133访问存储器140，并且使用存储在存储器140中的操作系统(OS)执行启动。另外，CPU 133使用存储在存储器140中的各种程序、内容、数据等执行各种操作。
ROM 132存储用于系统启动的一组命令。如果输入启动命令并且供电，则CPU 133根据存储在ROM 132中的命令将存储在存储器140中的OS复制到RAM 131上，并且通过执行OS来启动系统。如果启动完成，则CPU 133将存储在存储器140中的各种应用程序复制到RAM131上，并且通过执行RAM 131中复制的应用程序来执行各种操作。
如果用户终端装置100的启动完成，则GPU 134显示主屏幕。具体地讲，GPU 134可使用计算单元(未示出)和呈现单元(未示出)产生包括各种对象(诸如，图标、图像、文本等)的主屏幕。计算单元根据屏幕的布局计算将要被显示的每个对象的属性值(诸如，坐标、形状、尺寸和颜色)。基于由计算单元计算的属性值，呈现单元产生包括对象的具有各种布局的屏幕。由呈现单元产生的屏幕被提供给显示器110并且显示在显示区域中。
图30是示出由用户终端装置100使用的软件结构的示例的示图。
图30的软件可被存储在存储器140中，但不限于此。该软件可被存储在用户终端装置100中所使用的各种类型的存储装置中。
根据图30，用户终端装置100包括操作系统(OS)141、内核142、中间件143和应用144。OS 141控制和管理硬件的总体操作。也就是说，OS 141是执行硬件管理、存储器和安全等的基本功能的层。内核142用作用于将由检测器120检测到的各种信号等发送给中间件143的路径。中间件143包括用于控制用户终端装置100的操作的各种软件模块。
根据图30，中间件143包括X11模块143-1、APP管理器143-2、连接管理器143-3、安全模块143-4、系统管理器143-5、多媒体框架143-6、UI框架143-7、窗口管理器143-8和手写识别模块143-9。X11模块143-1是从用户终端装置100中的各种硬件接收各种事件信号的模块。
这里，可按照不同方式设置事件，诸如检测到用户操纵的事件、发生系统警报的事件、执行或结束特定程序的事件等。APP管理器143-2是用于管理安装在存储器140中的各种应用的执行状态的模块。当从X11模块143-2检测到输入应用执行命令的事件时，APP管理器143-2调用和执行与该事件对应的应用。
连接管理器143-3是用于支持与网络的有线或无线连接的模块。连接管理器143-3可包括各种特定模块，诸如DNET模块、UPnP模块等。安全模块143-4是用于支持针对硬件的证书、许可、安全存储等的模块。系统管理器143-5监测用户终端装置100的每个元件的状态并且将结果提供给其它模块。例如，当电池耗尽时，当错误发生时，或当通信断开连接发生时，系统管理器143-5可通过将监测结果提供给UI框架143-7来输出警报消息或警报声音。多媒体框架143-6是用于再现存储在用户终端装置100中的多媒体内容或用于再现从外部源提供的多媒体内容的模块。多媒体框架143-6可包括播放器模块、便携式摄像机模块、声音处理模块等。因此，可执行再现各种多媒体内容(由此产生并且再现屏幕和声音)的操作。UI框架143-7是用于提供各种UI的模块。UI框架143-7可包括：图像合成模块，用于构造各种对象；坐标合成模块，用于计算将要显示对象的坐标；呈现模块，用于在计算的坐标呈现构造的对象；二维/三维(2D/3D)UI工具包，提供用于构造2D或3D形式的UI的工具等。窗口管理器143-8可检测由用户的身体部位或笔实现的触摸事件或其它输入事件。当检测到这种事件时，窗口管理器143-8将事件信号发送给UI框架142-7，以使得执行与该事件对应的操作。
手写识别模块143-9是用于解析并且识别用户在显示器110的表面上绘制的轨迹的模块。手写识别模块143-9从笔识别面板121接收触摸的点的坐标值，并且将触摸的点的坐标值存储为笔划。另外，手写识别模块143-9可使用该笔划产生笔划阵列。随后，手写识别模块143-9可通过将预先存储的手写库与产生的笔划阵列进行比较来识别手写。识别的手写被提供给应用管理器143-22，并且应用管理器143-2将该手写提供给与发生用户的手写的对象对应的应用。因此，如上所述，该应用可基于识别的手写执行控制操作。
同时，如果用户使用各种输入装置(诸如，用户的手指或笔)在显示器110的表面上触摸或绘制，则UI框架143-7可根据用户的操纵绘制各种图形线。具体地讲，如果用户使用笔200在屏幕上绘制，则控制器130根据UI框架143-7的执行在笔200经过的每个点绘制图形线。该线的粗细可根据屏幕上的笔200的压力或由笔200触摸的屏幕的尺寸而不同。该线的颜色和形状也可根据用户设置而不同。应用模块144包括应用144-1～144-n以支持各种功能。例如，应用模块144可包括用于提供各种服务的程序模块，诸如导航程序模块、游戏模块、电子书模块、日历模块、警报管理模块等。这些应用可被默认地设置，或者可由用户临时安装和使用。
图30中示出的软件结构仅是示例，并且因此，该结构的一部分可被省略或改变，或者可根据需要添加新的结构。例如，存储器140还可包括各种程序，所述各种程序包括消息发送模块(诸如，用于分析各种传感器中感测到的信号的感测模块、信使服务程序、短消息服务(SMS)和多媒体消息服务(MMS)程序、电子邮件程序等)、呼叫信息聚合器程序模块、VoIP模块、web浏览器模块等。
同时，如上所述，用户终端装置100可被实现为各种类型的设备，诸如移动电话、平板PC、膝上型PC、PDA、MP3播放器、电子相册装置、TV、PC、电话亭等等。这里，当用户终端装置100被实现为具有各种功能(包括通信功能、内容播放功能)的设备(诸如，移动电话、平板PC等)时，用户终端装置100还可包括用于执行这种功能的元件。
图31是示出包括各种元件的用户终端装置100的更详细示例的示图。
根据图31，用户终端装置100可包括显示器110、检测器120、控制器130、存储器140、通信装置150、全球定位系统(GPS)芯片161、视频处理器162、音频处理器163、按钮164、麦克风165、相机166、扬声器167和运动检测器168。
显示器110和检测器120可如上所述被实现为触摸屏幕，并且可显示各种屏幕并且检测屏幕上的用户操纵。控制器130使用存储在存储器140中的各种程序和数据控制用户终端装置100的总体操作。因为已经在以上各种示例性实施例中描述显示器110、检测器120和控制器130，所以将不会提供进一步描述。
通信装置150是用于根据各种类型的通信方法与各种类型的外部设备执行通信的元件。通信装置150包括WiFi芯片151、蓝牙芯片152、无线通信芯片153和近场通信(NFC)芯片154。WiFi芯片151和蓝牙芯片152可分别根据WiFiTM方法和蓝牙TM方法执行通信。当使用WiFi芯片151或蓝牙芯片152时，预先接收/发送各种连接信息(诸如，SSID、会话密钥等)，以使得可使用该连接信息接收/发送各种信息。
无线通信芯片153表示根据各种通信标准(诸如，IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等等)执行通信的芯片。NFC芯片表示通过在各种RF-ID频带(诸如，135kHz、13.56MHz、433MHz、860～960MHz、2.45GHz等等)之中使用13.56MHz根据NFC方法操作的芯片。
控制器130使用通信装置150与各种外部设备执行通信。例如，控制器130可下载应用，将该应用安装在存储器140中，并且显示与该应用对应的对象。在这种情况下，该对应应用可被与先前使用的对象匹配。GPS芯片161是用于从GPS卫星接收GPS信号并且计算用户终端装置100的当前位置的元件。
当使用导航程序时或当需要用户的当前位置时，控制器130可使用GPS芯片161计算用户的位置。视频处理器162是用于处理通过通信装置150接收的内容或在存储在存储器140中的内容中所包括的视频内容的元件。
视频处理器162可执行针对视频数据的各种图像处理，诸如解码、缩放、噪声滤波、帧速转换、分辨率转换等。音频处理器163是用于处理通过通信装置150接收的内容或在存储在存储器140中的内容中所包括的音频数据的元件。音频处理器163可执行针对音频数据的各种处理，诸如解码、放大、噪声滤波等。当执行关于多媒体内容的播放程序时，控制器130可通过驱动视频处理器162和音频处理器163来再现对应的内容。
显示器110可显示由视频处理器162产生的图像帧。
扬声器167输出由音频处理器163产生的音频数据。
按钮164可以是这样的按钮：该按钮可被实现为形成在用户终端装置100的某个区域(例如，用户终端装置100的主体的外部的前部、侧部或后部)上的各种类型的按钮(诸如，机械按钮、触摸垫、滚轮等)。
麦克风165是用于接收用户语音或其它声音并且将其转换成音频数据的元件。
控制器130可使用在电话通话期间通过麦克风165输入的用户语音，或将用户语音转换成音频数据并且将其存储在存储器140中。相机166是用于根据用户控制拍摄静止图像或视频的元件。
相机166可被实现为多个相机，诸如前相机和后相机。当提供了相机166和麦克风165时，控制器130可根据通过麦克风165输入的用户语音或由相机166识别的用户运动执行控制操作。
也就是说，用户终端装置100可在运动控制模式或语音控制模式下操作。当用户终端装置100在运动控制模式下操作时，控制器130通过激活相机166来拍摄用户，跟踪用户运动的变化，并且执行对应控制操作。
当用户终端装置100在语音控制模式下操作时，控制器130可在分析通过麦克风165输入的用户语音并且根据分析的用户语音执行控制操作的语音识别模式下操作。在支持运动控制模式或语音控制模式的用户终端装置100中，语音识别技术或运动识别技术可被用在各种示例性实施例中。例如，如果用户做出绘制包括多个对象的圆圈的运动，或者如果用户说出多个对象，则可执行与所述多个对象中的每个对象对应的控制操作。
运动控制技术或语音控制技术还可被用在其它示例性实施例中。运动检测器168是用于检测用户终端装置100的主体的运动的元件。也就是说，用户终端装置100可沿各个方向旋转或倾斜。运动检测器168可通过使用多种传感器(包括地磁传感器、陀螺仪传感器、加速度传感器等)中的至少一个传感器来检测运动属性(诸如，旋转方向、角度、倾斜等)。
另外，虽然在图31中未示出，但是根据示例性实施例，用户终端装置100还可包括将要与USB连接器连接的USB端口、将要与各种外部终端(诸如，耳机、鼠标以及用于接收并且处理DMB信号的数字多媒体广播(DMB)芯片)连接的各种外部输入端口。
以上各种示例性实施例可由用户终端装置100以如上所述的各种形式实现。同时，上述各种示例性实施例的对象可以是各种类型的屏幕(诸如，主屏幕、图标屏幕、列表屏幕、应用执行屏幕、web浏览器屏幕、内容播放屏幕等)上显示的各种类型的对象。
特别地，主屏幕可以是具有固定形式的基本屏幕或用户创作屏幕。
当主屏幕被构造为用户创作屏幕时，用户可任意地在主屏幕上绘制对象，并且将至少一个控制操作与该对象匹配。
以下，将更详细地描述构造用户创作屏幕的方法和用户创作屏幕的形式。
<构造用户创作屏幕的示例>
图32是示出由用户直接产生的用户创作屏幕的结构的示例的示图。根据图32，各种对象2110～2190可被显示在用户终端装置100的主屏幕2100上。当用户在主屏幕2100上绘制对象2110～2190中的每个对象时，产生对象2110～2190中的每个对象。因此，并非以固定形式，而是可根据用户以各种方式提供对象2110～2190中的每个对象的显示属性(诸如，形状、位置、颜色等)。在这种情况下，一些对象2120可被绘制为包括多个对象2121～2124。另外，用户可将他或她绘制的对象与期望的控制操作匹配。
当用户将控制操作与每个对象匹配时，控制器130将匹配信息存储在存储器140中或存储在其它存储装置中。随后，当选择了显示的对象时，控制器130可基于匹配信息执行与该对象匹配的控制操作。
如图32中所示，对象2120可被构造为包括多个对象2121～2124。在这种情况下，即使用户仅选择对应对象2120，也可执行与对象2121～2124中的每个对象匹配的多个控制操作。另外，不必将控制操作与所有对象匹配，并且一些对象可仅被用于视觉满意。
图33是示出用户创作屏幕的另一示例的示图。如图33中所示，当在用户终端装置100处于锁定状态的同时执行解锁操作时，用户终端装置100可显示主屏幕2210。如果用户终端装置100是可由笔控制的设备并且使用笔执行解锁操作，则可显示特定针对于笔的图形效果。也就是说，如图33中所示，当用户做出利用笔分割锁屏220的手势时，控制器130显示主屏幕2210，同时提供撕开锁屏2200的图形效果，就好像纸被撕开。
先前由用户产生的多个对象2211～2219可被布置在主屏幕2210上。用户可通过使用他的或她的手指或笔绘制对象来删除或改变默认地提供的已有对象，或者可添加新的对象。
另外，用户可任意地选择与每个对象匹配的控制操作，以将应用、特定图像、特定功能、书签等与每个对象链接。因此，用户可实现可代表用户的个体个性的主屏幕。
图32和图33示出主屏幕被构造为用户创作屏幕的情况，但主屏幕不限于此。还可显示由用户在各种UI屏幕(诸如，应用图标屏幕、锁屏等)上直接绘制的对象。同时，用户可使用创作工具任意选择赋予笔200的属性。
图34示出屏幕创作工具的示例。当在显示主屏幕2210的同时选择创作工具菜单(未示出)时，控制器130可显示创作工具屏幕2300，如图34中所示。根据图34，用于选择线的颜色、对象的形状、将要产生的项的数量、特殊符号等的各种工具可被显示在创作工具屏幕2300上。当用户使用输入装置任意地选择这些工具、完成设置并且操纵屏幕时，可根据设置的显示属性绘制对象。因此，用户可按照更多种方式显示更多对象。
同时，主屏幕可被构造为背景屏幕和对象。背景屏幕和对象可被布置在不同层中并且显示为彼此交叠。这里，对象表示主屏幕上显示的各种图形图像(诸如，图标、窗口小部件等)。用户可直接绘制背景屏幕自身或主屏幕上显示的对象，以产生他的或她的唯一主屏幕。
图35至图37是用于解释使用多个层显示主屏幕的各种示例性实施例的示图。根据图35，显示器110显示单个主屏幕3500，该主屏幕3500包括第一至第三层3510、3520、3530。将要被显示在每个层3510、3520、3530上的图像被存储在与每个层3510、3520、3530对应的图形缓冲器(未示出)中，并且被提供给显示器110。
在图35中，窗口小部件3511被显示在第一层3510上，并且图标3521、3522被显示在第二层3520上。控制器130检测第一层3510和第二层3520上显示的每个对象的边界并且确认该对象的位置。因此，当从检测器120中所包括的触摸传感器检测到触摸坐标值时，比较触摸坐标值和每个对象的位置，并且确定对象是否被选择。背景屏幕3531被显示在第三层3530上。
用户可直接绘制第一至第三层3510、3520、3530上显示的每个对象或背景屏幕。控制器130的GPU 134按照像素单位应用由用户在屏幕上绘制的轨迹的尺寸、位置、形状、粗细等，并且在对应层上呈现每个对象和背景屏幕。因此，可根据用户的意图使用对象和背景屏幕。显示器110顺序地显示将要彼此交叠的每个层3510、3520、3530。因此，用户可识别包括背景屏幕3530以及对象3511、3521、3522的单个主屏幕。
在图35中，在显示背景屏幕3530的同时，可在第一层3510或第二层3520上直接绘制对象3511、3521、3522。或者，对象3511、3521、3522可在单独的程序执行屏幕中被绘制，并且随后被移至背景屏幕3530。
另外，在图35中仅示出三个层，但层的数量不限于此，并且层的布置也不限于图35的次序。例如，窗口小部件3511可被显示在第二层上，并且图标3521、3522可被显示在第一层上。此外，窗口小部件或图标可被分散并且分别显示在多个层上。同时，根据另一示例性实施例，用户可绘制单个背景屏幕，将该背景屏幕划分成多个区域，并且就像激活对象一样激活该区域。
图36是用于解释根据另一示例性实施例的构造主屏幕的方法的示图。根据图36，显示器110通过叠加第一至第三层3610、3620、3630来显示单个主屏幕3600。可显示层3610、3620、3630中的每个层之中的窗口小部件3611或其它图标(未示出)，并且背景屏幕3631可被显示在第三层3630上。第二层3620可被实现为用于用户交互的透明层。用户可在第三层3630上绘制背景屏幕3631，将背景屏幕3631的整个区域的一部分划分成多个区域，并且将该区域设置为独立块区域3631-1～3631-5。可通过用户的选择来手动地设置块区域，或者可由用户终端装置100自动地设置块区域。
在手动地设置块区域的情况下，当用户绘制一个背景屏幕3631时，控制器130将背景屏幕3631存储在存储器140中。随后，当用户执行通过使用输入装置(诸如，手指和笔)触摸并且拖动每个区域来区分每个区域的操纵时，控制器130可在第二层3620上根据该操纵显示图形线。
当这种操纵完成时，控制器130分别将由在第二层3620上绘制的用户轨迹指定的多个区域识别为多个透明对象3621-1～3621-5。控制器130存储所述多个透明对象3621-1～3621-5中的每个透明对象的像素坐标值。另外，控制器130还将控制操作与所述多个透明对象3621-1～3621-5中的每个透明对象匹配，并且存储该匹配信息。随后，当检测到各种用户操纵(诸如，触摸、悬停等)时，控制器130确认具有与检测到该操纵的点对应的像素坐标值的透明对象，并且执行与确认的透明对象对应的控制操作。
同时，在自动地设置这些块的情况下，控制器130分析用户操纵的特性，并且将背景屏幕3631划分成多个区域。具体地讲，控制器130可根据各种标准(诸如，封闭曲线单元、笔划单元、笔划数量单元、绘制次序单元等)划分该屏幕。
封闭曲线单元表示将一个对象中构成封闭曲线的部分识别为独立块，并且笔划单元表示将从笔200开始触摸主屏幕时直至笔200结束触摸主屏幕时绘制的部分识别为一个块。笔划数量单元表示将在笔划的数量达到预定次数为止每当存在笔划时绘制的部分识别为独立块，并且绘制次序单元表示区分参照预定时间单位首先绘制的部分和随后绘制的部分并且将每个部分识别为独立块。另外，控制器130可根据各种标准划分对象。
当执行块之间的区分时，控制器130假设存在与每个块对应的虚拟透明对象3621-1～3621-5，并且存储对象3621-1～3621-5的像素坐标值。另外，控制器130存储关于与对象3621-1～3621-5中的每个对象匹配的控制操作的信息。因此，当用户选择主屏幕3600上的背景屏幕3611上显示的所述多个区域3631-1～3631-5中的一个区域时，控制器130执行与选择的区域匹配的控制操作。
根据图36的示例性实施例，用户可按照期望的尺寸和形状绘制主屏幕而没有对象的尺寸的任何限制，并且可将控制操作与主屏幕内的期望的区域匹配。
例如，用户甚至可将期望的控制操作与背景屏幕3631内不存在标志或对象的基础区域匹配。也就是说，用户甚至可将无法由第三方识别的基础区域设置为透明对象并且使用该区域。
在图36的示例性实施例中，层的数量和布置的次序也可如上所述变化。
同时，图35和图36描述用户直接绘制主屏幕的背景屏幕的示例性实施例，但根据另一示例性实施例，用户可将用户直接绘制的窗口小部件屏幕与已有主屏幕的前部交叠，就好像用户改变主屏幕自身。
图37是用于解释根据以上示例性实施例的用于构造主屏幕的方法的示图。根据图37，窗口小部件屏幕3711被显示在最上层3710上。用户可直接绘制他或她想要的窗口小部件屏幕3711。窗口小部件屏幕3711被以交叠方式显示在另一下层3720上。因此，用户可使用窗口小部件屏幕3711，就好像窗口小部件屏幕3711是主屏幕3700。
如图36中所述，图37的窗口小部件屏幕3711可被划分成多个块区域3711-1～3711-5，并且可使用每个块区域3711-1～3711-5，就好像它是对象。另外，还可在显示窗口小部件屏幕3711的第一层3710上面添加另一透明层。以上已经参照图36描述区分块的方法，并且因此，将不会提供进一步描述。
控制器130可在第一层3710的一个子层3720上显示已有主屏幕。控制器130可根据用户操纵改变显示已有主屏幕的层3720和显示窗口小部件屏幕的层3710的显示次序，并且直接将已有主屏幕提供给用户。也就是说，根据示例性实施例，用户终端装置100可使用窗口小部件程序提供用户创作屏幕，而无需改变已有主屏幕。同时，如上所述，至少一个控制操作可被与主屏幕中所包括的各种对象(包括透明对象)中的每个对象匹配。用户可直接绘制主屏幕或主屏幕上的对象，并且选择将要匹配的控制操作。
图38至图42更详细地描述产生将要与控制操作匹配的对象的各种方法。
图38是示出主屏幕产生方法的示例的示图。根据图38，用户可在屏幕2400上使用笔200绘制各种对象2410、2420，就好像主屏幕2400是画布。
在绘制对象2410、2420之后，用户可选择将要与该对象匹配的控制操作。当输入用于匹配控制操作的用户命令时，控制器130为对象2410、2420中的每个对象显示安装在用户终端装置100中的应用的列表。在图38中，用户终端装置100包括位于边框部分的主按钮101和隐藏按钮102，并且当隐藏按钮102被选择时，示出每个应用列表2411、2421，但可按照各种方式输入用户命令。
用户可在应用列表2411、2421上选择将要与每个对象匹配的应用。当该选择完成时，控制器130可将关于对应对象的信息与关于选择的应用的信息匹配，并且将该匹配信息存储在存储器140或其它存储装置中。因此，可产生用户创作屏幕。
图39是用于解释用户创作屏幕产生方法的另一示例的示图。根据图39，当用户在显示主屏幕2500的同时选择隐藏键102时，控制器130在主屏幕的一侧显示各种菜单2510。该菜单可包括用于直接产生对象的菜单2511。
当用户选择菜单2511时，控制器130可按照列表2520的形式显示关于安装在用户终端装置100中的各种应用的信息。当用户在这种状态下选择一个应用时，显示用户可绘制对象的主屏幕2500。在这种情况下，可显示引导用户绘制对象的引导消息2530。
用户可参照引导消息2530在主屏幕2500上绘制对象2540。当绘制了该对象时，控制器130将该对象2540与先前由用户选择的应用匹配，并且在最终的主屏幕2500上显示对象2540。控制器130可确定是否以各种方式完成了对象绘制。例如，如果在用户输入用于绘制对象的最后的笔划之后过去预定时间，则控制器130可确定对象绘制完成。可选择地，如果在绘制对象之后按压特定确认按钮，则控制器130可确定对象绘制完成。然后，除非被删除或编辑，否则对象2540被以固定方式显示在主屏幕2500上。
同时，如果首先选择应用，则用户可通过使用与该应用匹配的参考对象来产生对象。
图40是用于解释通过编辑参考对象来产生对象的方法的示图。如图40中所示，当用户首先选择应用时，首先显示与选择的应用对应的参考对象2610(图40的(a))。
用户可使用笔200编辑参考对象2610(图40的(b)和(c))。也就是说，如图40中所示，用户可通过使用笔200触摸参考对象2610的每个边缘并且沿各个方向拉伸每个边缘，来按照星形产生对象2610(图40的(d))。
图40仅示出改变形状的情况，但用户还可通过改变参考对象2610的尺寸、颜色、附加文本等来产生全新对象。在这种情况下，可如图34中所示使用创作工具。
图41示出这样的示例性实施例：显示引导图像，以使得用户可更容易地绘制对象。
根据图41，当用户选择对象产生菜单时，控制器130在主屏幕2700上显示应用列表2710。用户可首先在应用列表2710上选择他或她想要与将要被绘制的对象匹配的应用。在这种情况下，应用列表2710消失，并且与选择的应用对应的参考对象2720被以水印的形式显示在主屏幕上。参考对象2720可被以点划线形式显示，以使得用户可沿着这些点容易地绘制参考对象2720。用户可沿着对象2720的线绘制对象2730。在这种情况下，用户不必绘制与参考对象2720完全相同的对象。最后，当对象2730完成时，控制器130将他或她选择的应用与完成的对象2730匹配。
同时，即使用户未自己选择控制操作，用户终端装置100也可识别由用户绘制的对象并且推荐适合该对象的对象。
图42是用于解释推荐与对象对应的应用的方法的示图。根据图42，当用户在主屏幕2800上绘制对象2810时，控制器130识别对象2810的特性。具体地讲，控制器130可使用以上描述的手写识别模块143-9识别绘制的对象2810的形状。
控制器130可将预先安装的每个应用的图标或应用标题与识别的形状进行比较，并且搜索具有高于预定值的相似性的应用。例如，如果用户以小鸟的形状绘制对象，则控制器130可搜索具有小鸟形状作为基本图标的应用。
另外，控制器130可搜索提供与识别的形状相关的服务的应用。例如，如果如图42中所示以太阳的形状绘制对象，则控制器130可搜索与天气相关的应用。
控制器130可向用户推荐应用。也就是说，控制器130可在对象2810的一侧显示应用的至少一个列表2820。如果用户从列表2820选择一个应用，则选择的应用可被与对象匹配。
如上所述，用户可按照各种方式构造用户创作屏幕。由于用户亲自绘制对象并且构造用户创作屏幕，所以用户可容易地记住哪个对象位于用户创作屏幕的哪个区域中。也就是说，即使许多小对象被显示在单个页上，用户也可直观地知道每个对象的位置。因此，用户终端装置100可在单个页上显示许多小对象，而不必将主屏幕的页构造为多个页。在这种情况下，用户可通过放大或缩小操纵来放大该单个页上的小对象。
图43是用于解释针对用户创作屏幕执行放大或缩小操纵的方法的示图。根据图43，各种对象被显示在用户创作屏幕2900上。对象2910～2960中的一些对象可被以小尺寸显示，从而用户可能无法容易地辨别它们的形状。在这种状态下，通过轻敲显示减小的对象2910～2960的那部分或者利用多个手指触摸屏幕并且扩大触摸的屏幕，用户可执行放大操作。在这种情况下，整个主屏幕2900被放大，并且减小的对象2910～2960被放大并且显示。用户可选择放大的对象中的一个对象并且执行匹配的控制操作。
同时，如果用户轻敲未显示对象的黑色区域或者执行利用多个手指触摸屏幕并且缩窄触摸的屏幕的操纵时，控制器130执行缩小操作。因此，屏幕的尺寸返回到它的原始状态，并且每个对象被以减小的尺寸显示。因此，大量对象可被显示在单个屏幕上，而无需添加页。
另外，用户终端装置100可按照滚动屏幕的形式实现用户创作屏幕。也就是说，用户终端装置100可在显示用户创作屏幕的同时触摸屏幕并且沿一个方向拖动屏幕，以使得屏幕可沿着拖动方向逐渐地滚动。
图44是用于解释使用滚动方法改变主屏幕的示例性实施例的示图。根据图44，控制器130显示包括各种对象的主屏幕3000。在这种状态下，当用户使用手指或笔触摸屏幕并且沿箭头方向滚动屏幕时，屏幕移动并且新出现空白空间3010。用户可通过在空白空间3010中绘制新对象并且匹配控制操作来使用空白空间3010。图44示出主屏幕被沿上下方向连续地滚动的情况，但滚动的方向不限于此，并且可被沿各个方向实现。
当存在滚动时，控制器130可提供通过滚动来使主屏幕波动的图形效果，或者还可提供其它另外的反馈(诸如，声音、振动、光等)。
如上所述，用户终端装置100可提供包括由用户直接产生的对象的主屏幕(也就是说，用户创作屏幕)。用户创作屏幕上的对象的形状、尺寸、颜色等可被以各种方式实现。特别地，用户可容易地设置对象的位置。
因此，用户可方便地布置频繁使用的对象，根据需要同时选择多个对象，并且同时执行与每个对象对应的控制操作。如上所述，同时选择对象的方法可以是下述操纵中的至少一个：绘制包括多个对象的封闭曲线的操纵、在多个对象之间绘制连接线的操纵、触摸多个对象中的每个对象的多触摸操纵以及覆盖显示多个对象的区域的操纵。
另外，当用户产生对象时，用户可选择将要与该对象匹配的多个控制操作，或者可根据关于该对象的用户的选择模式(诸如，选择的方向或选择的点)设置不同控制操作。因此，根据上述各种示例性实施例的控制方法可在用户创作屏幕上被实现。
如上所述，根据各种示例性实施例，用户可通过选择对象来容易地同时选择一个或多个控制操作。
根据上述各种示例性实施例的控制用户终端装置的方法或产生用户创作屏幕的方法可被编码为软件并且存储在非暂态可读介质中。可在各种设备中安装和使用这种非暂态可读介质。
具体地讲，用于执行控制方法的程序代码可被存储在非暂态可读介质中，并且在非暂态可读介质中提供该程序代码，该控制方法包括下述步骤：显示主屏幕，并且当检测到关联主屏幕中所包括的多个对象的用户操纵时，执行与所述多个对象中的每个对象对应的控制操作。
该非暂态可记录介质表示可半永久地存储数据并且可由设备读取的介质。具体地讲，上述各种应用或程序可被存储在非暂态可记录介质(诸如，CD、DVD、硬盘、蓝光盘、USB、存储卡和ROM)，并且在非暂态可记录介中提供上述各种应用或程序。
前面的示例性实施例和优点仅是示例性的，并且不应该被解释为是限制性的。本教导可被容易地应用于其它类型的设备。此外，示例性实施例的描述应该是示意性的，而非限制由权利要求限定的本发明构思的范围，并且许多替代物、变型和变化将会对于本领域技术人员而言是清楚的。

Claims (14)

1.一种用户终端装置，包括：
显示器，被配置为显示包括对象的第一屏幕，所述对象包括与应用相应的图标或窗口小部件；
检测器，被配置为检测在所述对象上或在所述对象周围输入的用户绘制输入；
控制器，被配置为：响应于检测到所述用户绘制输入，运行与所述对象对应的所述应用，执行由所述应用提供的多个功能之中的与所述用户绘制输入相应的功能，并且在显示器上显示处理所述用户绘制输入作为所述应用的输入的第二屏幕，
其中，控制器被配置为：响应于在满足预定条件的情况下检测到所述用户绘制输入，执行由所述应用提供的多个功能之中的与所述用户绘制输入相应的功能，并且响应于在不满足所述预定条件的情况下检测到所述用户绘制输入，根据所述用户绘制输入执行由第一屏幕提供的功能，
其中，由第一屏幕提供的功能不同于由所述应用提供的多个功能之中的与所述用户绘制输入相应的功能。
2.如权利要求1所述的装置，其中，控制器被配置为：响应于所述用户绘制输入包括文本，在显示器上显示处理所述文本作为所述应用的输入的第二屏幕。
3.如权利要求2所述的装置，其中，控制器被配置为：响应于所述对象包括搜索窗口小部件，执行关于所述文本的搜索，并且在显示器上显示搜索结果。
4.如权利要求1所述的装置，其中，控制器被配置为：响应于所述用户绘制输入包括符号，在显示器上显示处理所述符号作为所述应用的输入的第二屏幕。
5.如权利要求2所述的装置，其中，控制器被配置为：响应于所述对象是与邮件程序匹配的图标，在显示器上显示邮件书写屏幕，以向与所述文本对应的邮件地址发送邮件。
6.如权利要求2所述的装置，其中，控制器被配置为：响应于所述对象是与信使服务程序匹配的图标，在显示器上显示与和所述文本对应的另一用户交换的信使服务内容。
7.一种用户终端装置的控制方法，包括：
显示包括对象的第一屏幕，所述对象包括与应用相应的图标或窗口小部件；
检测在所述对象上或在所述对象周围输入的用户绘制输入；
响应于检测到所述用户绘制输入，运行与所述对象对应的所述应用，执行由所述应用提供的多个功能之中的与所述用户绘制输入相应的功能，并在显示器上显示处理所述用户绘制输入作为所述应用的输入的第二屏幕，
其中，执行功能的步骤包括：
响应于在满足预定条件的情况下检测到所述用户绘制输入，执行由所述应用提供的多个功能之中的与所述用户绘制输入相应的功能；
响应于在不满足所述预定条件的情况下检测到所述用户绘制输入，根据所述用户绘制输入执行由第一屏幕提供的功能，
其中，由第一屏幕提供的功能不同于由所述应用提供的多个功能之中的与所述用户绘制输入相应的功能。
8.如权利要求7所述的方法，其中，显示第二屏幕的步骤包括：响应于所述用户绘制输入包括文本，显示处理所述文本作为所述应用的输入的第二屏幕。
9.如权利要求8所述的方法，其中，显示第二屏幕的步骤包括：响应于所述对象包括搜索窗口小部件，执行关于所述文本的搜索，并且显示搜索结果。
10.如权利要求7所述的方法，其中，显示第二屏幕的步骤包括：响应于所述用户绘制输入包括符号，显示处理所述符号作为所述应用的输入的第二屏幕。
11.如权利要求8所述的方法，其中，显示第二屏幕的步骤包括：响应于所述对象是与邮件程序匹配的图标，显示邮件书写屏幕，以向与所述文本对应的邮件地址发送邮件。
12.如权利要求8所述的方法，其中，显示第二屏幕的步骤包括：响应于所述对象是与信使服务程序匹配的图标，显示与和所述文本对应的另一用户交换的信使服务内容。
13.一种用户终端装置的控制方法，包括：
显示包括多个对象的屏幕；
在所述屏幕上检测用户操纵；
响应于根据所述用户操纵绘制所述多个对象中的第一对象和第二对象之间的连接线，彼此关联地执行与第一对象对应的第一应用和与第二对象对应的第二应用，
其中，执行第一应用和第二应用的步骤包括：根据关联性执行由第一应用提供的预定的第一功能，并基于所述预定的第一功能的执行结果来执行由第二应用提供的预定的第二功能。
14.如权利要求13所述的方法，其中，执行第一应用和第二应用的步骤包括：
通过执行与第一对象对应的第一应用来显示第一屏幕；
响应于在第一屏幕上执行单独用户操纵，执行与第二对象对应的第二应用，并且显示反映根据第一屏幕的单独用户操纵的结果的第二屏幕。
CN201480023680.7A 2013-04-26 2014-04-25 用户终端装置及其控制方法 Active CN105164714B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20130046991 2013-04-26
KR10-2013-0046991 2013-04-26
KR10-2013-0097820 2013-08-19
KR1020130097820A KR102203885B1 (ko) 2013-04-26 2013-08-19 사용자 단말 장치 및 그 제어 방법
PCT/KR2014/003625 WO2014175688A1 (en) 2013-04-26 2014-04-25 User terminal device and controlling method thereof

Publications (2)

Publication Number Publication Date
CN105164714A CN105164714A (zh) 2015-12-16
CN105164714B true CN105164714B (zh) 2019-12-20

Family

ID=52452141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023680.7A Active CN105164714B (zh) 2013-04-26 2014-04-25 用户终端装置及其控制方法

Country Status (5)

Country Link
US (1) US9891809B2 (zh)
EP (1) EP2989532B1 (zh)
KR (1) KR102203885B1 (zh)
CN (1) CN105164714B (zh)
WO (1) WO2014175688A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924335B1 (en) 2006-03-30 2014-12-30 Pegasystems Inc. Rule-based user interface conformance methods
US8594740B2 (en) 2008-06-11 2013-11-26 Pantech Co., Ltd. Mobile communication terminal and data input method
US20140351723A1 (en) * 2013-05-23 2014-11-27 Kobo Incorporated System and method for a multimedia container
KR102207443B1 (ko) * 2013-07-26 2021-01-26 삼성전자주식회사 그래픽 유저 인터페이스 제공 방법 및 장치
JP6146350B2 (ja) * 2014-03-18 2017-06-14 パナソニックＩｐマネジメント株式会社 情報処理装置およびコンピュータプログラム
US9785340B2 (en) 2014-06-12 2017-10-10 Apple Inc. Systems and methods for efficiently navigating between applications with linked content on an electronic device with a touch-sensitive display
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
DE202015006141U1 (de) 2014-09-02 2015-12-14 Apple Inc. Elektronische Touch-Kommunikation
US10469396B2 (en) 2014-10-10 2019-11-05 Pegasystems, Inc. Event processing with enhanced throughput
USD761845S1 (en) * 2014-11-26 2016-07-19 Amazon Technologies, Inc. Display screen or portion thereof with an animated graphical user interface
US20160225369A1 (en) * 2015-01-30 2016-08-04 Google Technology Holdings LLC Dynamic inference of voice command for software operation from user manipulation of electronic device
KR20160113906A (ko) * 2015-03-23 2016-10-04 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101688162B1 (ko) * 2015-03-23 2016-12-20 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106293433A (zh) * 2015-05-26 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN104866201A (zh) * 2015-06-10 2015-08-26 三星电子（中国）研发中心 一种智能设备以及一种触发应用的编辑功能的方法
US20190095074A1 (en) * 2015-06-29 2019-03-28 Orange Method for controlling the execution of a program configurable into a disabled state and enabled state
US10210383B2 (en) * 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US10430025B2 (en) 2015-10-30 2019-10-01 Bank Of America Corporation Active selection configuration system with suggested actions
US10051015B2 (en) 2015-10-30 2018-08-14 Bank Of America Corporation System for configuration, device connectivity and device control based on user selection
USD815107S1 (en) 2015-10-30 2018-04-10 Bank Of America Corporation Display screen with a transitional graphical user interface
US9929917B2 (en) * 2015-10-30 2018-03-27 Bank Of America Corporation System for configuration and device connectivity based on user selection
US10048836B2 (en) 2015-10-30 2018-08-14 Bank Of America Corporation Application connectivity for aggregation and for use in data filtering
US10031645B2 (en) 2015-10-30 2018-07-24 Bank Of America Corporation Application connectivity for aggregation
US10158535B2 (en) 2015-10-30 2018-12-18 Bank Of America Corporation System for active configuration of devices based on user selection
KR102254699B1 (ko) * 2015-12-29 2021-05-24 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
USD781907S1 (en) * 2016-01-19 2017-03-21 Apple Inc. Display screen or portion thereof with graphical user interface
US10423133B2 (en) * 2016-02-17 2019-09-24 Lutron Technology Company Llc Configuring a load control system
US10698599B2 (en) * 2016-06-03 2020-06-30 Pegasystems, Inc. Connecting graphical shapes using gestures
EP3472699B1 (en) * 2016-07-12 2022-03-02 Samsung Electronics Co., Ltd. Method and electronic device for managing functionality of applications
US10163184B2 (en) 2016-08-17 2018-12-25 Adobe Systems Incorporated Graphics performance for complex user interfaces
CN106774824B (zh) * 2016-10-26 2020-02-04 网易（杭州）网络有限公司 虚拟现实交互方法及装置
CN108269117B (zh) * 2017-01-03 2021-10-26 阿里巴巴集团控股有限公司 数据的推送、确定方法及装置、计算机终端
CN108399037A (zh) * 2017-02-07 2018-08-14 阿里巴巴集团控股有限公司 一种日程创建、编辑方法及智能表
JP6903999B2 (ja) * 2017-03-29 2021-07-14 富士フイルムビジネスイノベーション株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
CN110651242B (zh) * 2017-05-16 2023-07-11 苹果公司 用于触摸输入处理的设备、方法和图形用户界面
DK179979B1 (en) 2017-05-16 2019-11-27 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR TOUCH INPUT PROCESSING
KR102329761B1 (ko) * 2017-05-26 2021-11-22 삼성전자주식회사 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
KR20190053675A (ko) * 2017-11-10 2019-05-20 삼성전자주식회사 전자 장치 및 그 동작 방법
USD857041S1 (en) 2018-01-03 2019-08-20 Apple Inc. Display screen or portion thereof with graphical user interface
US11966578B2 (en) 2018-06-03 2024-04-23 Apple Inc. Devices and methods for integrating video with user interface navigation
CN109062534B (zh) * 2018-07-13 2021-07-13 Oppo广东移动通信有限公司 发声控制方法、装置、电子装置以及存储介质
US11048488B2 (en) 2018-08-14 2021-06-29 Pegasystems, Inc. Software code optimizer and method
USD869493S1 (en) 2018-09-04 2019-12-10 Apple Inc. Electronic device or portion thereof with graphical user interface
CN114077365A (zh) * 2020-08-21 2022-02-22 荣耀终端有限公司 分屏显示方法和电子设备
US11567945B1 (en) 2020-08-27 2023-01-31 Pegasystems Inc. Customized digital content generation systems and methods
WO2022114495A1 (ko) * 2020-11-30 2022-06-02 삼성전자 주식회사 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892559A (zh) * 2005-06-30 2007-01-10 佳能株式会社 信息处理装置和信息处理控制方法
CN101256463A (zh) * 2007-01-19 2008-09-03 Lg电子株式会社 通过触摸式输入设备输入信息
CN102272701A (zh) * 2008-12-30 2011-12-07 诺基亚公司 用于提供个性化用户接口的方法、装置和计算机程序

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500937A (en) * 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
US5880743A (en) * 1995-01-24 1999-03-09 Xerox Corporation Apparatus and method for implementing visual animation illustrating results of interactive editing operations
US5777616A (en) * 1996-08-05 1998-07-07 International Business Machines Corporation Data processing system and method for invoking a function of a multifunction icon in a graphical user interface
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
JP2938420B2 (ja) * 1998-01-30 1999-08-23 インターナショナル・ビジネス・マシーンズ・コーポレイション ファンクション選択方法及び装置、ファンクションを選択するための制御プログラムを格納した記憶媒体、オブジェクトの操作方法及び装置、オブジェクトを操作するための制御プログラムを格納した記憶媒体、複合アイコンを格納した記憶媒体
US6459442B1 (en) * 1999-09-10 2002-10-01 Xerox Corporation System for applying application behaviors to freeform data
US6857106B1 (en) * 1999-09-15 2005-02-15 Listen.Com, Inc. Graphical user interface with moveable, mergeable elements
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
US7266768B2 (en) * 2001-01-09 2007-09-04 Sharp Laboratories Of America, Inc. Systems and methods for manipulating electronic information using a three-dimensional iconic representation
US7017124B2 (en) * 2001-02-15 2006-03-21 Denny Jaeger Method for controlling electronic devices using digital recall tool
US20080104526A1 (en) * 2001-02-15 2008-05-01 Denny Jaeger Methods for creating user-defined computer operations using graphical directional indicator techniques
US20030028589A1 (en) * 2001-02-23 2003-02-06 Hittleman Ken D. System and method to transfer an application to a destination server module in a predetermined storage format
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US20030093419A1 (en) * 2001-08-17 2003-05-15 Srinivas Bangalore System and method for querying information using a flexible multi-modal interface
US7120299B2 (en) * 2001-12-28 2006-10-10 Intel Corporation Recognizing commands written onto a medium
US7093202B2 (en) * 2002-03-22 2006-08-15 Xerox Corporation Method and system for interpreting imprecise object selection paths
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
US7898529B2 (en) * 2003-01-08 2011-03-01 Autodesk, Inc. User interface having a placement and layout suitable for pen-based computers
US20040145574A1 (en) * 2003-01-29 2004-07-29 Xin Zhen Li Invoking applications by scribing an indicium on a touch screen
JP4454958B2 (ja) * 2003-04-30 2010-04-21 株式会社東芝 情報処理装置および機能選択方法
EP1639441A1 (en) * 2003-07-01 2006-03-29 Nokia Corporation Method and device for operating a user-input area on an electronic display device
US7181695B2 (en) * 2004-01-13 2007-02-20 Nbor Corporation System and method for sending and receiving electronic messages using graphic directional indicators
US7623119B2 (en) * 2004-04-21 2009-11-24 Nokia Corporation Graphical functions by gestures
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
JP4741908B2 (ja) * 2005-09-08 2011-08-10 キヤノン株式会社 情報処理装置及び情報処理方法
US7728818B2 (en) * 2005-09-30 2010-06-01 Nokia Corporation Method, device computer program and graphical user interface for user input of an electronic device
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
US8196055B2 (en) * 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
KR100672605B1 (ko) 2006-03-30 2007-01-24 엘지전자 주식회사 아이템 선택 방법 및 이를 위한 단말기
US8402382B2 (en) 2006-04-21 2013-03-19 Google Inc. System for organizing and visualizing display objects
US7844908B2 (en) * 2006-08-04 2010-11-30 National Instruments Corporation Diagram that visually indicates targeted execution
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
TWI399671B (zh) 2007-01-19 2013-06-21 Lg Electronics Inc 透過觸碰輸入裝置之資訊輸入
JP4560062B2 (ja) * 2007-03-29 2010-10-13 株式会社東芝 筆跡判定装置、方法およびプログラム
US20090021482A1 (en) * 2007-07-20 2009-01-22 Ying-Chu Lee Virtually multiple wheels and method of manipulating multifunction tool icons thereof
US20090037813A1 (en) * 2007-07-31 2009-02-05 Palo Alto Research Center Incorporated Space-constrained marking menus for mobile devices
US8296681B2 (en) * 2007-08-24 2012-10-23 Nokia Corporation Searching a list based upon user input
US20090193363A1 (en) * 2008-01-30 2009-07-30 International Business Machines Corporation Representing Multiple Computing Resources Within A Predefined Region Of A Graphical User Interface For Displaying A Single Icon
KR100900295B1 (ko) * 2008-04-17 2009-05-29 엘지전자 주식회사 이동 디바이스와 이동 통신 시스템의 사용자 인터페이스방법
TW200937254A (en) * 2008-02-29 2009-09-01 Inventec Appliances Corp A method for inputting control commands and a handheld device thereof
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
KR100969790B1 (ko) * 2008-09-02 2010-07-15 엘지전자 주식회사 이동단말기 및 그 컨텐츠 합성방법
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
US8954894B2 (en) * 2008-11-15 2015-02-10 Adobe Systems Incorporated Gesture-initiated symbol entry
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
DE202009018704U1 (de) * 2008-12-01 2012-11-15 Lg Electronics Inc. Mobiles Endgerät
US20100185949A1 (en) * 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
KR101565768B1 (ko) * 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US8869070B2 (en) * 2008-12-30 2014-10-21 T-Mobile Usa, Inc. Handwriting manipulation for conducting a search over multiple databases
US20100169842A1 (en) * 2008-12-31 2010-07-01 Microsoft Corporation Control Function Gestures
US8330733B2 (en) * 2009-01-21 2012-12-11 Microsoft Corporation Bi-modal multiscreen interactivity
US9424578B2 (en) * 2009-02-24 2016-08-23 Ebay Inc. System and method to provide gesture functions at a device
US8589374B2 (en) * 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection
CN102037437B (zh) * 2009-03-23 2014-04-16 松下电器产业株式会社 信息处理装置、信息处理方法、记录介质、以及集成电路
JP5091180B2 (ja) * 2009-03-27 2012-12-05 ソニーモバイルコミュニケーションズ， エービー 携帯端末装置
KR101559178B1 (ko) * 2009-04-08 2015-10-12 엘지전자 주식회사 명령어 입력 방법 및 이를 적용한 이동 통신 단말기
US8819597B2 (en) * 2009-04-10 2014-08-26 Google Inc. Glyph entry on computing device
KR101537706B1 (ko) * 2009-04-16 2015-07-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
KR101561703B1 (ko) * 2009-06-08 2015-10-30 엘지전자 주식회사 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
US8217912B2 (en) * 2009-06-17 2012-07-10 Broadcom Corporation Graphical authentication for a portable device and methods for use therewith
US8593415B2 (en) * 2009-06-19 2013-11-26 Lg Electronics Inc. Method for processing touch signal in mobile terminal and mobile terminal using the same
US8656314B2 (en) * 2009-07-30 2014-02-18 Lenovo (Singapore) Pte. Ltd. Finger touch gesture for joining and unjoining discrete touch objects
KR101611302B1 (ko) * 2009-08-10 2016-04-11 엘지전자 주식회사 제스쳐 입력이 가능한 휴대 단말기 및 그 제어방법
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
US8341558B2 (en) * 2009-09-16 2012-12-25 Google Inc. Gesture recognition on computing device correlating input to a template
KR20110036222A (ko) 2009-10-01 2011-04-07 삼성전자주식회사 화상형성장치 및 화상형성장치의 작업수행방법
KR101701492B1 (ko) * 2009-10-16 2017-02-14 삼성전자주식회사 데이터 표시 방법 및 그를 수행하는 단말기
JP5547466B2 (ja) * 2009-12-15 2014-07-16 京セラ株式会社 携帯電子機器及び携帯電子機器の制御方法
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US20110209089A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen object-hold and page-change gesture
US8589815B2 (en) * 2010-03-10 2013-11-19 Microsoft Corporation Control of timing for animations in dynamic icons
US8930360B2 (en) * 2010-05-28 2015-01-06 Yahoo! Inc. System and method for online handwriting recognition in web queries
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
KR101638918B1 (ko) * 2010-08-17 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 표시 방식 전환 방법
KR101684970B1 (ko) * 2010-08-18 2016-12-09 엘지전자 주식회사 이동단말기 및 그 제어방법
US8854318B2 (en) * 2010-09-01 2014-10-07 Nokia Corporation Mode switching
US9021402B1 (en) * 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
KR20120055872A (ko) * 2010-11-24 2012-06-01 엘지전자 주식회사 이동 단말기 및 그 구동 방법
KR101740436B1 (ko) * 2010-12-08 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120179998A1 (en) * 2011-01-12 2012-07-12 Nesladek Christopher D Touch screen user interfaces
EP3734404A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US8793624B2 (en) * 2011-05-18 2014-07-29 Google Inc. Control of a device using gestures
CN102855079B (zh) * 2011-05-24 2016-06-08 Lg电子株式会社 移动终端
US8751972B2 (en) * 2011-09-20 2014-06-10 Google Inc. Collaborative gesture-based input language
US9229568B2 (en) * 2011-09-30 2016-01-05 Oracle International Corporation Touch device gestures
US9619139B2 (en) * 2011-10-03 2017-04-11 Kyocera Corporation Device, method, and storage medium storing program
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
KR101873741B1 (ko) * 2011-10-26 2018-07-03 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR101887453B1 (ko) * 2011-12-15 2018-08-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20130080179A (ko) * 2012-01-04 2013-07-12 삼성전자주식회사 휴대용 단말기에서 아이콘 관리 방법 및 장치
KR101496512B1 (ko) * 2012-03-08 2015-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8881269B2 (en) * 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
US20130257749A1 (en) * 2012-04-02 2013-10-03 United Video Properties, Inc. Systems and methods for navigating content on a user equipment having a multi-region touch sensitive display
EP2658227B1 (en) * 2012-04-27 2018-12-05 LG Electronics Inc. Exchange of hand-drawings on touch-devices
KR101315957B1 (ko) * 2012-05-21 2013-10-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140027606A (ko) * 2012-08-01 2014-03-07 삼성전자주식회사 필기 인식을 이용한 단말의 제어 방법 및 그 단말
US8640046B1 (en) * 2012-10-23 2014-01-28 Google Inc. Jump scrolling
WO2014089763A1 (en) * 2012-12-12 2014-06-19 Intel Corporation Single- gesture device unlock and application launch
KR102029242B1 (ko) * 2013-01-03 2019-11-08 엘지전자 주식회사 이동 단말기 제어방법
US8943092B2 (en) * 2013-03-04 2015-01-27 Microsoft Corporation Digital ink based contextual search
KR102214974B1 (ko) * 2013-08-29 2021-02-10 삼성전자주식회사 잠금 화면 상에서 필기 형태의 사용자 입력과 관련된 기능을 실행하기 위한 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892559A (zh) * 2005-06-30 2007-01-10 佳能株式会社 信息处理装置和信息处理控制方法
CN101256463A (zh) * 2007-01-19 2008-09-03 Lg电子株式会社 通过触摸式输入设备输入信息
CN102272701A (zh) * 2008-12-30 2011-12-07 诺基亚公司 用于提供个性化用户接口的方法、装置和计算机程序

Also Published As

Publication number Publication date
US20140325410A1 (en) 2014-10-30
KR20140128208A (ko) 2014-11-05
US9891809B2 (en) 2018-02-13
KR102203885B1 (ko) 2021-01-15
CN105164714A (zh) 2015-12-16
EP2989532A1 (en) 2016-03-02
WO2014175688A1 (en) 2014-10-30
EP2989532A4 (en) 2017-04-12
EP2989532B1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
CN105164714B (zh) 用户终端装置及其控制方法
US11340759B2 (en) User terminal device with pen and controlling method thereof
US20230152940A1 (en) Device, method, and graphical user interface for managing folders
KR102183448B1 (ko) 사용자 단말 장치 및 그 디스플레이 방법
US10452333B2 (en) User terminal device providing user interaction and method therefor
CN110377196B (zh) 电子设备及其控制方法
US9430057B2 (en) User terminal device for displaying application and methods thereof
CN110837329B (zh) 用于管理用户界面的方法和电子设备
US9703450B2 (en) Device, method, and graphical user interface for configuring restricted interaction with a user interface
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20130227472A1 (en) Device, Method, and Graphical User Interface for Managing Windows
US12015732B2 (en) Device, method, and graphical user interface for updating a background for home and wake screen user interfaces
EP3447628A1 (en) Portable terminal and user interface method in portable terminal
KR20150095540A (ko) 사용자 단말 장치 및 이의 디스플레이 방법
KR20160018269A (ko) 디바이스 및 디바이스의 제어 방법
KR20160055552A (ko) 메모 표시 방법 및 이를 위한 디바이스
KR20140084966A (ko) 디스플레이 장치 및 그 제어 방법
CN111580706A (zh) 提供用户交互的电子设备及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant