CN104854549A - 显示装置及其方法 - Google Patents

显示装置及其方法 Download PDF

Info

Publication number
CN104854549A
CN104854549A CN201380063202.4A CN201380063202A CN104854549A CN 104854549 A CN104854549 A CN 104854549A CN 201380063202 A CN201380063202 A CN 201380063202A CN 104854549 A CN104854549 A CN 104854549A
Authority
CN
China
Prior art keywords
icon
touch
region
screen
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380063202.4A
Other languages
English (en)
Inventor
朴寅澈
朴民奎
李锡英
金宣泰
宋智蕙
张景喆
赵相范
曹钟根
崔成圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/665,598 external-priority patent/US20130117698A1/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104854549A publication Critical patent/CN104854549A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

提供一种显示装置的显示方法。该显示方法包括:在屏幕上显示图像,检测对于该图像的触摸操纵,并且若检测到触摸操纵,则根据该触摸操纵的物理属性来改变图像的显示状态。

Description

显示装置及其方法
技术领域
与示例性实施例一致的装置和方法涉及显示,并且更具体地,涉及响应于由用户作出的触摸输入而展现相应的物理交互(physical interaction)的显示装置及其方法。
背景技术
依靠电子技术的进步,各种类型的显示装置被开发和分发。诸如移动电话、PDA、平板PC或MP3播放器的移动显示装置为电子装置的代表性示例。
这些显示装置提供各种配置的交互式屏幕。例如,显示装置可以显示背景屏幕,其包含运行在显示装置上安装的应用的各种图标。用户通常通过触摸在背景屏幕上显示的图标来运行相应的应用。
然而,因为显示装置以不同的型号和性能来提供,并还因为提供的各种类型的应用越来越多,现有的标准化的输入指令的方式无法使用户满意。
因此,更有趣并且更有活力的交互式屏幕配置是必要的。
发明内容
技术问题
示例性实施例克服以上缺点以及以上未描述的其他缺点。此外,示例性实施例无需克服上述的缺点,并且示例性实施例未必克服上述的任何问题。
根据一个示例性实施例,技术目的是提供表现响应于用户的触摸输入的物理交互的显示装置及其方法。
解决问题的方案
在一个示例性实施例中,提供一种装置的显示方法,其可以包括:在屏幕上显示图像;检测对于该图像的触摸操纵;并且若检测到触摸操纵,则根据该触摸操纵的物理属性来改变图像的显示状态。
该物理属性可以包括强烈程度(intensity)、动量、速度和力量(force)当中的至少一个。
该触摸操纵可以包括滑动(flick)操纵和触摸并拖动(touch-and-drag)操纵当中的一个。
滑动操纵是否发生是基于触摸开始点和触摸释放点之间的距离、以及开始触摸和所述触摸操纵的释放之间的时间来确定的。
在另一示例性实施例中,提供一种装置的显示方法,其可以包括:在屏幕上显示多个区域;在所述屏幕的一个方向上检测触摸操纵;以及在所述一个方向上缩小所述多个区域中的至少一个的尺寸,并且在与所述一个方向相反的方向上扩展所述多个区域中的至少一个的尺寸。
所述缩小和扩展可以是基本上同时发生的。
当所述触摸操纵结束时,所述多个区域可以返回它们的原始尺寸。
将所述多个区域恢复为它们的原始尺寸的速度可以是基于所述触摸操纵的强度(strength)的。
若所述触摸操纵是在最后页面处作出的,则至少可以启动在所述屏幕上的摇摆效果(oscillation effect)。
在另一示例性实施例中,提供一种装置的显示方法,其可以包括:在屏幕上显示多个区域;在所述屏幕的一个方向上检测触摸操纵;以及仅仅对与所述触摸操纵发生的地方很接近的区域的形状、尺寸和边界当中的至少一者进行调整。
在另一示例性实施例中,提供一种显示装置的显示方法,其可以包括:在屏幕上显示多个区域;在所述屏幕上检测触摸操纵;以及基于所述触摸操纵的强烈程度来确定所述触摸操纵所影响的区域的尺寸。
所述区域的尺寸可以随着所述触摸操纵的强烈程度增加而变大。
在另一示例性实施例中,提供一种显示装置,其可以包括:显示器,被配置为在屏幕上显示图像;检测器,被配置为检测对于所述图像的触摸操纵;控制器,如果检测到触摸操纵,则其被配置为:根据该触摸操纵的物理属性来改变图像的显示状态。
在另一示例性实施例中,提供一种显示装置,其可以包括:显示器,被配置为在屏幕上显示多个区域;检测器,被配置为在所述屏幕的一个方向上检测触摸操纵;以及控制器,如果检测到所述触摸操纵,则其被配置为:在所述一个方向上缩小所述多个区域中的至少一个的尺寸,并且在与所述一个方向相反的方向上扩展所述多个区域中的至少一个的尺寸。
在另一示例性实施例中,提供一种显示装置,其可以包括:显示器,被配置为在屏幕上显示多个区域;检测器,被配置为在所述屏幕的一个方向上检测触摸操纵;以及控制器,如果检测到所述触摸操纵,则其被配置为:仅仅对与所述触摸操纵发生的地方很接近的区域的形状、尺寸和边界当中的至少一者进行调整。
在另一示例性实施例中,提供一种显示装置,其可以包括:显示器,被配置为在屏幕上显示多个区域;以及检测器,被配置为在所述屏幕上检测触摸操纵,其中,所述触摸操纵所影响的区域的尺寸是基于所述触摸操纵的强烈程度来确定的。
发明的有益效果
在各种示例性实施例中,由于他或她通过交互图像来控制显示装置的操作,故用户满意度增加。
附图说明
参照附图,示例性实施例的上述和/或其他方面将更加明显,附图中:
图1是根据示例性实施例的显示装置的框图;
图2是被提供以说明根据示例性实施例的显示装置的一般构造的框图;
图3是可以用于根据示例性实施例的显示装置的软件的层次结构图;
图4是被提供以说明根据示例性实施例的显示方法的流程图;
图5至图14是被提供以说明根据各种示例性实施例的可用于页面切换的显示方法的视图;
图15和图16是被提供以说明根据各种示例性实施例的可用于页面切换的显示方法的流程图;
图17是被提供以详细说明当输入滑动操纵时的显示方法的流程图;
图18是被提供以说明当输入拖动操纵时的显示方法的流程图;
图19至图25是被提供以说明根据各种示例性实施例的显示方法的视图;
图26是示出收集具有刚性性质的图标的过程的视图;
图27是示出收集具有柔性性质的图标的过程的视图;
图28是示出用于设置属性的用户设置屏幕的示例的视图;
图29是示出在图标显示区域上显示的图标的修改示例的视图;
图30示出对多个图标编组和编辑的过程的示例的视图;
图31示出包括具有多个图标的组的集成图标的示例的视图;
图32和图33是被提供以说明根据各种实施例的用于删除图标的显示方法的流程图;
图34是被提供以说明根据另一示例性实施例的显示方法的流程图;
图35是示出交互图像的又一示例的视图;
图36是示出对图35的交互图像执行解锁操作的方法的视图;
图37和图38是被提供以说明在图35的交互图像上展现物理交互的各种方法的视图;
图39至图44是被提供以说明对图35的交互图像执行解锁操作的方法的另一实施例的视图;
图45是被提供以说明对图35的交互图像执行解锁操作的另一方法的视图;
图46是被提供以说明根据另一示例性实施例的显示方法的流程图;
图47是被提供以说明在下载应用的过程期间改变交互图像的显示状态的方法的视图;
图48是示出提供预览的交互图像的示例的视图。
具体实施方式
某些示例性实施例现将参照附图进行更详细描述。
在下面的描述中,即使在不同附图中相同的附图参考编号也用于相同的元件。在说明书中定义的事项,例如详细的构造或元件,是为了帮助对示例性实施例的全面理解而提供的。因此,清楚的是,示例性实施例能够在没有这些具体定义的事项的情况下进行实践。同样,不对公知的功能或构造详细描述,因为其中不必要的细节会混淆本发明。
图1是根据示例性实施例的显示装置的框图。参照图1,显示装置100可以包括显示单元110、检测单元120和控制单元130。
显示单元110可以在屏幕上显示交互图像。
如在此使用的,‘交互图像’可以指屏幕上的至少一个对象,通过该对象,用户可以输入各种交互信号从而使用显示装置100。对象可以包括应用图标、文件图标、文件夹图标、内容图标、小窗口部件(widget)、图像、文本或各种其他标记。交互图像的示例可以包括:其上显示有代表各种内容的图标的背景图像、以锁定状态显示在屏幕上的锁定图像、响应于运行特定功能或应用而生成的屏幕、或者通过回放内容而生成的屏幕。
检测单元120可以检测对于交互图像的用户的操纵。例如,检测单元120可以向控制单元130提供用户在交互图像上触摸的点的坐标值。
控制单元130可以确定各种各样的触摸属性,包括触摸点的位置、数目、移动方向、移动速度或距离。接着控制单元130可以基于触摸特性来确定触摸输入的类型。具体地说,控制单元130可以确定用户是简单地在屏幕上触摸、触摸并拖动、还是在屏幕上点击(click)。此外,基于触摸点的数目,控制单元130可以确定用户是否使用多个对象(诸如指尖或触笔)来在多个点上触摸。
若检测到触摸输入,则控制单元130可以响应于该触摸输入来改变交互图像的显示状态,从而展现交互图像上的对象的物理交互(physicalinteraction)。如在此使用的,‘物理交互’可以指该对象响应于触摸输入对于被施加在用户所触摸的对象上的力量的反应。
即,控制单元130可以改变交互图像从而展现响应于如下的各种触摸输入属性而作出的相应的反应,触摸输入属性诸如:触摸的强烈程度、方向或速度、或者拖动的方向、滑动的方向、或者触摸的形式等等、所述形式比如摇晃、扩展或缩小、弯曲、从原始位置推开然后返回、或者按所施加的力量的方向从原始位置离开并放入另一位置,等等。物理交互将在下文中参照示例进行更详细的说明。
控制单元130可以针对用户所触摸的对象的类型或者触摸属性来改变交互图像,并且根据触摸输入来执行操作。具体地说,控制单元130可以执行各种操作,包括翻页、运行与对象相对应的应用、打开与对象相对应的文件或文件夹、运行与对象相对应的内容、编辑对象、解锁,等等。在控制单元130处执行的操作将在下文中参照示例进行更详细的说明。
图1的显示装置100可以以各种用于显示的配置来实现,其可以包括,例如TV、移动电话、PDA、膝上型计算机、平板PC、PC、智能监视器、电子相框、电子书或MP3播放器。显示装置100的详细构成可以依赖于示例性实施例而变化。
图2是被提供以说明根据各种示例性实施例的显示装置100的构成的框图。
参照图2,显示装置100可以包括显示单元110、检测单元120、控制单元130、存储单元140、扬声器150或按钮160。
如上所述,显示单元110可以显示各种类型的交互图像。依赖于显示装置100的类型,显示单元110可以以各种形式来实现。例如,当适配为在液晶显示器(LCD)显示装置中使用时,显示单元110可以包括显示面板和背光单元。显示面板可以包括基板、驱动层、液晶层以及保护液晶层的保护层。液晶层可以包括多个液晶单元(LCC)。驱动层可以被形成在基板上并驱动各个LCC。具体地说,驱动层可以包括多个晶体管。控制单元130可以对每个晶体管的栅极施加电信号,从而打开被连接到晶体管的LCC。相应地,图像被显示。同时,若以有机发光二极管的形式来实现时,显示单元110可以不包括背光单元。虽然在一个示例性实施例中显示单元110可以利用平板显示面板,但在另一示例性实施例中显示单元110可以以透明显示器或柔性显示器的形式来实现。若被实现为透明显示器,则显示单元110可以包括透明基板、替代地通过使用诸如透明锌氧化物层或钛氧化物的透明材料制成的晶体管、例如铟锡氧化物(ITO)的透明电极,或透明的有机发光层。若以柔性显示器的形式来实现,则显示单元110可以包括如聚合物膜的塑料基板、包括有机发光二极管和诸如薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT、有机TFT(OTFT)的柔性晶体管的驱动层,以及诸如ZrO、CeO2或ThO2的柔性材料的保护层。
检测单元120可以检测用户对于显示单元110的表面作出的触摸输入。例如,检测单元120可以使用在显示单元110内部提供的触摸传感器来检测触摸输入。触摸传感器可以是电容型或电阻型。电容型触摸传感器可以通过使用涂覆在显示单元110的表面上的介电材料来检测在显示单元的表面上触摸的用户的身体所传导的微电,从而计算触摸坐标。电阻式触摸传感器可以包括安装在显示单元110之内的两个电极片,当用户触摸屏幕时两个电极片在触摸点处发生了接触从而检测到电流,并由此计算触摸坐标。检测单元120可以通过触摸传感器检测触摸点的坐标,并向控制单元130提供所检测的结果。
检测单元120可以包括各种另外的传感器,诸如音频传感器、动作传感器、接近(access)传感器、重力传感器、GPS传感器、加速度传感器、电磁传感器、陀螺仪传感器,等等。因此,用户可以通过旋转或摇晃显示装置100、说出预定言语命令、做预设动作的手势、使得手部向显示装置100接近、以及触摸显示装置100,来控制显示装置100。
例如,若接近传感器或亮度传感器被使用,则检测单元120可以通过使用接近传感器来检测用户所接近的位置,并向控制单元130提供所检测的结果。控制单元130可以执行与在用户所接近的位置上显示的菜单相对应的操作。
在另一示例中,若动作传感器被使用,则检测单元120可以感知用户的动作并且向控制单元130提供感知的结果。控制单元130可以基于感知的结果来执行与用户的动作相对应的操作。
另外,若电磁传感器、加速度传感器、陀螺仪传感器或GPS传感器被使用,则检测单元120可以使用相应的传感器来检测显示装置100的移动、旋转或倾斜,并向控制单元130提供所检测的结果。控制单元130可以执行与在检测单元120处作出的检测相对应的操作。例如,若对于显示装置100的显示表面检测到俯仰角、倾斜角和偏转角(pitch,roll and yaw angle)的改变,则控制单元130根据这种改变的方向和度数来以页面为单位切换屏幕,或者在水平或垂直方向上切换屏幕并显示结果。
存储单元140可以在其中存储与显示装置100的操作相关联的各种程序或数据、用户设置的设置数据、系统操作软件、各种应用程序或关于用户的操纵的信息。
控制单元130可以使用在存储单元140处存储的各种软件来执行各种操作。
扬声器150可以输出在显示装置100处处理的音频信号,并且按钮160可以以在显示装置100的主体外部的前部、侧部或后部的预定区域上形成的、机械按钮、触摸板或滚轮的形式来实现。
同时,参照图2,控制单元130可以包括第一至第n接口131-1至131-n、网络接口132、系统存储器133、主CPU 134、视频处理器135、音频处理器136、图形处理单元137和总线138。
各个组件可以经由总线138相互连接,并且发送或接收各种数据或信号。
第一至第n接口131-1至131-n可以被连接到诸如显示单元110、检测单元120、存储单元140、扬声器150或按钮160的组件。虽然未在图2中示出,但作为按钮160的替换物,被连接到诸如键盘、鼠标、游戏杆等的各种输入工具的接口可以被提供。
网络接口132可以通过网络被连接到外部设备。
在以上提及的接口当中,主CPU 134可以经由第三接口131-3来访问存储单元140,并且通过使用存储在存储单元140处的O/S来执行引导(booting)。主CPU 134可以使用存储在存储单元140处的各种程序、内容或数据来执行各种操作。
具体地说,系统存储器133可以包括ROM 133-1和RAM 133-2。ROM133-1可以存储用于系统引导的命令集。随着响应于打开命令的电力的供应,主CPU 134可以根据存储在ROM 133-1处的命令将存储在存储单元140处的O/S复制到RAM 133-2,并且通过运行该O/S来引导系统。当完成引导时,主CPU 134可以将存储在存储单元140处的各种应用程序复制到RAM133-2,并通过运行所复制的应用程序来执行各种操作。
图形处理单元137可以根据主CPU 134的控制来构建各种形式的交互图像。
图形处理单元137可以包括渲染单元137-1和计算单元137-2。计算单元137-2可以通过考虑到在交互图像上显示的对象的属性以及对于交互图像定义的物理属性,来对于交互图像计算显示状态值。该‘显示状态值’可以包括如下属性值,诸如,将被显示在交互图像上的对象所处的位置的坐标、或者对象的形式、尺寸或颜色。
渲染单元137-1可以根据在计算单元137-2处计算的显示状态值来生成交互图像。在图形处理单元137处生成的交互图像可以经由第一接口单元131-1被提供到显示单元110,并被显示。虽然渲染单元137-1和计算单元137-2在图2中被示出,但在另一示例性实施例中,这些组件可以被命名为渲染引擎和物理引擎。
如上所述,交互图像可以包括各种形式的图像,包括背景图像、锁定图像、应用运行图像或内容回放图像。即,主CPU 134可以控制图形处理单元137生成适合于环境的交互图像。
若用户选择了在交互图像上显示的对象,则主CPU 134可以执行与所选择的对象相对应的操作。例如,若一个多媒体内容是从包括多媒体内容的交互图像中选择的,那么主CPU 134可以控制视频处理器135和音频处理器136回放该多媒体。
视频处理器135可以包括视频解码器,渲染器和缩放器(scaler)。因此,视频处理器135可以解码多媒体内容中的视频数据,对经解码的视频数据进行渲染以构建帧,并且对所构建的帧的尺寸进行缩放以适合信息显示区域。
音频处理器136可以包括音频解码器、噪声滤波器或放大器。因此,音频处理器136可以执行音频信号处理,诸如对多媒体内容中包含的音频数据进行解码、滤波或放大。
与此同时,若对于交互图像的用户操纵被输入,则主CPU 134可以改变交互图像的显示状态以展现响应于用户操纵的物理交互。具体地说,主CPU134可以根据所检测的用户操纵来控制计算单元137-2计算显示状态改变值,从而显示施加在交互图像上的物理交互。计算单元137-2可以计算诸如相对于对象的显示坐标的被移动的位置的坐标、被移动的位置的距离、移动的方向、移动的速度、对象的形状、尺寸或颜色的属性的改变值。在这种过程中,由于对象间的碰撞(collision)的改变也可以被考虑。主CPU 134可以根据在计算单元137-2处计算的显示状态改变值来控制渲染单元137-1生成交互图像,并且控制显示单元110显示所生成的交互图像。
因此,由于响应于用户的触摸输入的物理交互直接在屏幕上被展现,故各种操作可以被执行。
图3是被提供以说明在存储单元140处存储的软件的层级的视图。参照图4,存储单元140可以包括基础模块141、设备管理模块142、通信模块143、呈现模块144、网络浏览器模块145和服务模块146。
基础模块141可以处理从显示装置100的各个硬件发送的信号,并向上层模块发送所处理的信号。
基础模块141可以包括存储模块141-1、基于位置的模块141-2、安全模块141-3和网络模块141-4。
存储模块141-1可以是被提供来管理数据库(DB)或注册表(registry)的程序模块。主CPU 134可以使用存储模块141-1访问存储单元140之内的数据库并读取各种数据。基于位置的模块141-2可以指与诸如GSP芯片等各种硬件关联地支持基于位置的服务的程序模块。安全模块141-3可以指支持硬件的认证、请求许可、安全存储等的程序模块,并且网络模块141-4可以支持网络连接,并包括DNET模块或通用即插即用(UPnP)模块。
设备管理模块142可以管理关于外部输入和外部设备的信息,并使用它们。设备管理模块142可以包括感测模块142-1、设备信息管理模块142-2、和远程控制模块142-3。感测模块142-1可以分析从检测单元120内部的各个传感器提供的传感器数据。具体地说,感测模块142-1可以被实现为操作以检测诸如触摸点的坐标、触摸正在移动的方向、移动的速度或距离的操纵属性的程序模块。依赖于场合,感测模块142-1可以包括面部识别模块、语音识别模块、动作识别模块或近场通信(NFC)识别模块。设备信息管理模块142-2可以提供关于各个设备的信息,并且远程控制模块142-3可以执行操作以远程控制诸如电话、TV、打印机、相机或空调的外围设备。
通信模块143可以被提供以执行外部通信。通信模块143可以包括消息模块143-1,诸如信使程序、SMS(短消息服务)&MMS(多媒体消息服务)程序、电子邮件程序;或者包括呼叫信息聚合器程序模块或基于因特网协议的语音(VoIP)模块的电话模块143-2。
呈现模块144可以被提供以构建显示屏幕。呈现模块144可以包括回放和输出多媒体内容的多媒体模块144-1、处理UI和图形的用户界面(UI)&图形模块144-2、物理操作模块144-3、和变形操作模块144-4。
多媒体模块144-1可以包括播放器模块、摄录机模块、或声音处理模块。因此,各种多媒体内容被回放以执行生成和回放图像和声音的操作。
物理操作模块144-3是基于根据用户的触摸操纵的输入参数来计算诸如强烈程度、动量、速度、弹力等物理属性的模块。即,当用户输入其中在用户触摸屏幕上一个点的同时快速地翻页的滑动操纵时,或者当用户输入触摸并拖动操纵时,可以计算输入第一触摸的点与输入最后触摸的点之间的距离。物理操作模块144-3可以使用触摸点之间的距离和触摸操纵所需的时间来计算施加到屏幕或者屏幕上的对象的诸如强烈程度、动量、速度、弹力等物理属性。
变形操作模块144-4是用于计算与由物理操作模块144-3计算的物理属性相对应的变形速率值的模块。即,当多达‘a’的力量被施加到屏幕或对象时,变形速率值被计算,从而相应的屏幕或对象的显示状态可以以与‘a’成比例的速率而发生变形。所计算的变形速率可以被提供给UI&图形模块144-2中的动画模块。
UI&图形模块144-2可以包括组合图像的图像合成器模块、接收来自硬件的各种事件的X11模块、组合并生成将在其上显示图像的屏幕上的坐标的坐标组合模块、提供工具以构建2D或3D UI的2D/3D UI工具包、以及表现动画效果的动画模块。动画模块根据由变形操作模块144-4提供的变形速率值来执行屏幕插值(screen interpolation)和动画处理。图形处理单元137可以使用UI&图形模块144-2的动画模块来显示各种类型的UI,并且根据以下描述的用户交互来改变UI显示状态。
网络浏览器模块145可以通过执行网络浏览来访问网络服务器。网络浏览器模块145可以包括各种模块,诸如构建网页的网络查看模块、执行下载的下载代理模块、书签模块、Webkit模块等等。
服务模块146可以指提供各种服务的应用模块。例如,服务模块146可以包括提供地图、当前位置、地标或路径信息的导航服务模块、游戏模块、广告应用模块等等。
控制单元130中的主CPU 134可以经由第三接口131-3来访问存储单元140,从而将存储在存储单元140处的各种模块复制到RAM 133-2,并且根据所复制的模块的操作来执行操作。
参照图3,基础模块141、设备信息管理模块142-2、远程控制模块142-3、通信模块143、多媒体模块144-1、网络浏览器模块145和服务模块146可以依赖于交互图像上的、由用户选择的对象的类型而被使用。例如,若交互图像为背景图像并且若用户选择电话菜单,则主CPU 134可以通过运行通信模块143而连接到相应的节点。若因特网菜单被选择,则主CPU 134可以通过运行网络浏览器模块145和接收网页数据来访问网络服务器。主CPU 134可以运行UI&图形模块144-2以显示网页。此外,以上提及的程序模块可以恰当地被用于执行各种操作,包括远程控制、消息发送和接收、内容处理、视频记录、音频记录或应用运行。
依赖于显示装置100的类型和特性,图3中所示的程序模块可以部分地被省略、修改或添加。即,若TV被实现为显示装置100,则广播接收模块可以另外地被包括。服务模块146可以另外地包括电子书应用、游戏应用和其他实用程序。此外,若显示装置100不支持因特网或通信功能,则网络浏览器模块145或通信模块143可以被省略。
图2中所示的组件也可以依赖于显示装置100的类型和特性而被省略、修改或添加。例如,若TV被实现为显示装置100,则诸如天线或调谐器的硬件可以被另外地包括。
与此同时,主CPU 134可以使得用户能够通过根据用户操纵以各种方式改变交互图像,来从交互图像切换到另一交互图像或者编辑交互图像上的对象。编辑可以包括移动所显示的对象、放大对象的尺寸、删除对象、复制、或改变对象的颜色和形状。
具体地说,主CPU 134可以使用感测模块142-1来分析在检测单元120处的检测,从而确定由用户作出的触摸输入的特性。因此,若确定触摸输入是对于交互图像上的特定对象作出的,那么主CPU可以运行UI&图形模块144-2以向图形处理单元137提供各种基础数据,从而改变交互图像的显示状态。‘基础数据’可以包括屏幕尺寸、屏幕分辨率、屏幕属性、在其上显示对象的地方(spot)的坐标值。因此,并且如以上所说明的,图形处理单元137可以响应于触摸输入来生成交互图像以展现物理交互,并向显示单元110提供所生成的图像。
图4是被提供来说明在图1的显示装置100处实现的显示方法的流程图。
参照图4,在S410,显示装置100可以显示交互图像。交互图像可以以各种类型和形状来实现。以下将更详细地说明交互图像的配置。
在S420,若检测到对于交互图像作出的触摸输入,那么在S430,显示装置100根据触摸输入改变交互图像以展现物理交互。用于改变交互图像的方法可以根据各种示例性实施例来实现。
在下文,将说明根据每个示例性实施例的、用于改变交互图像的方法。
<改变交互图像以展现物理交互的示例>
图5是被提供以说明根据示例性实施例的、改变交互图像的形式的视图。参照图5,显示装置100显示交互图像。具体地说,图5示出交互图像,其为包含多个图标1~8的背景图像页面10。然而,如上所述,交互图像可以以各种形式来实现。
参照图5,一个背景图像页面10被显示。当用户沿从右到左移动的方向触摸时,当前页面10被改变为在右侧的下一页面20。触摸输入可以包括:其中用户在页面10上触摸并缓慢地向一个方向移动的触摸&拖动,或者其中用户在页面上触摸并突然向一个方向翻页的滑动操纵。当然,若检测单元120包括接近传感器或动作传感器而不是触摸传感器,那么页面可以根据翻页而不是在屏幕上触摸的用户手势,来翻到下一页面20。为了方便说明,以下触摸输入将作为示例被说明。
控制单元130可以根据用户的触摸输入的方向来依次执行翻页操作。若所翻到的页面为最后页面,因为没有其他的页面了,那么控制单元130可能不能执行翻页操作。若作出了翻页的用户触摸输入,但不能再进行翻页,则控制单元130可以响应于该触摸输入来改变最后页面的形状,以展现施加在最后页面上的物理交互(即,力)。用于改变最后页面的形状的方法可以依赖于示例性实施例而变化。
与此同时,参照图5,若下一页面20是最后页面,那么响应于在最后页面上的a点和b点之间作出的用户的触摸输入,控制单元130可以将最后页面20的上、下、左和右边界固定到显示单元110的屏幕边界,并且沿移动的方向放大所触摸的区域的尺寸,同时缩小位于移动的方向上的另一区域的尺寸。
在以上示例中,控制单元130可以将在检测单元120感知的用户的触摸输入转换为力,并且根据所转换的力来控制翻页的速度或者使最后页面变形的程度。即,基于开始该用户触摸的点与结束该触摸的点之间的距离,控制单元130可以计算触摸输入的力。此外,控制单元130可以通过使用距离以及移动该距离所消耗的时间来计算速度。此外,控制单元130可以基于在存储单元140存储的数据库,来计算被确定为映射到所计算的速度的所记录的力。在另一示例性实施例,控制单元130可以通过使用各种已知公式来直接计算该力,而不是利用数据库。
控制单元130可以根据在检测单元处所感知的用户的触摸输入的方向来以页面为单位来改变屏幕,并显示结果。页面改变可以至少按照向上方向、向下方向、向左方向和向右方向之一来作出。用户的触摸输入可以以各种形式来实现,包括拖动、滑动等等。若施加了相对强的力量,则控制单元130可以加速改变页面的速度,或者在另一示例性实施例中,一次改变若干页并显示结果。
若页面被改变为最后页面而用户继续进行触摸输入,则控制单元130根据触摸输入所施加的力度(degree of force)来使最后页面的显示状态发生变形。
参照图5,可以改变显示状态,从而所触摸的区域根据用户的触摸输入前进的方向和所施加的力度而被放大。即,若触摸输入是用相对较强的力量作出的,则所触摸的区域可以被放大得较大,而若触摸输入是用相对较弱的力量作出的,则所触摸的区域可以被放大得较小。此外,‘被缩小的区域’可以是在用户的触摸输入前进的方向上的区域。例如,若从右到左的方向上页面被连续地改变直到显示最后页面20为止,那么响应于目的在于在从右到左的方向上翻页的用户的触摸输入,无法再进行翻页,但所触摸的区域被放大,同时在屏幕的边界和所触摸区域之间的屏幕区域以缩小尺寸被显示,好像该区域被压缩了一样。因此,用户自然明白不能再进行翻页了。
所触摸的区域可以以各种方式来定义。例如,所触摸的区域可以仅仅指在其上输入触摸的点,或者在其上输入触摸的点a的预定半径之内的区域。可替代地,包括触摸点的对象的显示区域也可以被称为所触摸的区域。
参照图5,位于与移动触摸输入的方向相反方向上的对象(即对象#12)不被放大。然而,在另一示例性实施例,对象#12也可以根据对象#11的放大而被放大。
与此同时,图5示出根据用户操纵同时发生扩展屏幕的部分的扩展效果及其压缩效果的示例,即,在触摸点处的对象被扩展,同时交互图像的最后页面的上、下、左和右边界被原地固定的示例。然而,最后页面的显示状态可以依赖于示例性实施例而变化。即,在另一示例性实施例中,只有对象的扩展效果可以被表现在屏幕上。
图6是被提供以说明根据另一示例性实施例的、改变屏幕的形式的视图。参照图6,若在一个页面10被显示在屏幕上的状态中用户的触摸输入沿一个方向被输入(例如,右到左方向),那么当前页面10被翻到下一页面20。若下一页面20为最后页面,并且若在最后页面上在点a和点b之间输入触摸,那么控制单元130可以将屏幕的显示状态改变为图6中所示的那一个。
具体地说,若触摸输入从点a移动到点b,那么控制单元130可以将最后页面20的右边界固定在屏幕的边界上,该右边界位于与用户的触摸输入前进的方向相反的方向上。接着,控制单元130可以根据用户的触摸输入的前进方向和力度来放大最后页面20上的所触摸的区域的尺寸。因此,扩展效果被表现出来。与图6的示例性实施例相比,存在如下区别:没有表现出压缩效果。例如,若用户的触摸输入沿从右到左的方向移动,在所触摸的区域的左侧的区域可以沿向左方向移动多达移动触摸输入的距离那么远,从而从屏幕消失。
图6示出只有与触摸的区域相对应的对象#11被放大的示例。然而,在另一示例性实施例中,位于与移动触摸输入的方向相反的方向上的对象#12可以一同被放大。
虽然图5和图6示出依赖于示例性实施例的、其中交互图像维持水平状态同时一些区域以放大或缩小的形式被显示的示例性实施例,但交互图像可以响应于用户操纵而被扭曲(distort)。图7是被提供以说明根据这些示例性实施例的、显示屏幕的形式的视图。
参照图7,若在最后页面20上用户的触摸输入被输入,那么控制单元130可以显示交互图像,其中位于用户的触摸输入的前进方向上的区域被推高。即,交互图像可以响应于用户操纵而从水平状态被扭曲。因此,随着用户从点a向在左侧的点b进行触摸,页面20看起来像被强有力地推向左侧,据此用户直观地得知当前页面确实是右侧的最后页面。
参照图7,最后页面20可以参照触摸点而被划分为两个区域A、B,其中一个区域A被上凸地(convexly)向上推。另一区域B可以被显示为被下凹地(concavely)向下推,或者维持平行状态。
根据最后页面20被扭曲的形式,整个屏幕的其余区域30可以以诸如黑色的单一颜色被显示。
与此同时,其中所触摸的区域以上凸或下凹形式被显示的图7的视觉效果可以与图5和图6中所示的示例性实施例结合。即,缩小的区域可以以上凸形式被显示,同时放大的区域可以以下凹形式被显示。
此外,当触摸输入被终止时,屏幕显示状态可以返回原始状态。恢复的速度可以与根据用户的触摸输入而转换的力量成比例地被确定。即,若触摸输入用很强的力量来输入然后终止,那么屏幕显示也迅速地被改变然后返回。屏幕可以直接地返回原始状态,或者可替代地,可以上下或左右跳跃(bounce)预定时间,然后逐步地显示原始状态。
尽管图5至图7示出页面沿从右到左的方向被翻动的示例,但改变的方向可以是被变化,诸如从左到右、从上到下或从下到上。此外,虽然图5至图7示出与触摸点在相同平面上的区域,但在另一示例性实施例中,只有在触摸点的预定半径之内的区域可以被放大,而其他区域保持不改变。即,交互图像可以以如下方式被改变,其中,在触摸点的预定半径之内的区域“a”可以被放大,而该区域的周围区域响应于区域“a”的放大而被扭曲。此时,距离触摸点预定距离的上侧、下侧、右侧、左侧可以保持不改变。
当触摸输入终止时,交互图像的最后页面可以以原始状态被显示。
图8是被提供以说明根据另一示例性实施例的、显示屏幕的形式的视图。参照图8A,设置显示装置100的用户环境的环境设置屏幕的示例被示出。参照图8A,环境设置屏幕40可以被划分为多个区域41~48。全部区域41~48中的第一区域41可以被实现为通知区域,其中诸如显示装置100的电池、时间和状态的各种通知信息被显示,而第二区域42可以被实现为显示相应屏幕40的标题的标题区域。
每个区域41~48可以使用实线、虚线、颜色等来彼此区别地被表现,并且诸如文本、图标、缩略图等的对象41-1、42-1~48-1可以被显示在每个区域41~48上。用户可以通过选择期望的区域来选择与区域相对应的选项。
与此同时,用户可以触摸屏幕上的某一点(a)并沿一个方向滑动或拖动所触摸的点,如图8A中所示。在此情况下,控制单元130可以同时表现扩展效果和压缩效果,如图8B中所示。具体地说,当如图8A和图8B中所示用户触摸第四区域44并从‘a’到‘b’滑动和拖动所触摸的区域时,与触摸点相对应的区域44和移动方向的相反区域43被用户操纵所扩展,并且在移动方向上的区域45、46、47和48根据用户操纵被缩小。如图8B中所示,该列表滚动未涉及到的第一区域41和第二区域42没有被用户操纵所改变。
与此同时,控制单元130可以对于距离触摸点更远的区域表现更强的拉伸强度和压缩强度,并且对于更接近触摸点的区域表现更弱的拉伸强度和压缩强度。
例如,在全部区域42~48的尺寸相同时,当如图8的(b)中所示第四区域44被触摸并拖动时,被放大区域43和44当中的第三区域43的尺寸被拉伸得最多,而被缩小的区域45、46、47和48当中的第八区域48的尺寸被缩小得最多。因此,被放大或缩小的区域43~48的尺寸d2~d7可以被表现为d2>d3>d4>d5>d6>d7。
参照图8B,由于每个区域被放大或缩小,故每个区域中的对象也同时被放大或缩小。即,在被放大的区域41、42、43中的对象41-1、42-1、43-1可以沿着拖动方向垂直地被拉长,而在被缩小区域44、45、46、47中的对象44-1、45-1、46-1、47-1可以沿拖动方向被横向地(transversely)表现。
在图8B的示例中,第一区域41和第二区域42没有被放大并维持它们原始尺寸d1,但依赖于示例性实施例,这些区域也可以被放大或缩小。
图9A和图9B是被提供以说明根据另一示例性实施例的、显示屏幕的形式的视图。为了方便说明,图8A中的环境设置屏幕40的示例将在图9A中被示出。如图9A和图9B中所示,当用户在屏幕上沿a到b的方向输入滑动或拖动操纵时,相对于所触摸的区域43,在‘a’的方向上的区域被放大并在‘b’的方向上的区域被缩小。在此情况下,与图8A不同,在每个区域中的对象43-1、44-1、45-1、46-1、47-1和48-1维持它们原始形状和尺寸,同时区域43、44、45、46、47和48的尺寸被放大或缩小。除了被固定的对象的尺寸之外,其他特征与图8A和图8B的相同,因此进一步的描述将不被提供。
同时,其中当屏幕上的一个点被触摸和移动时对于包括所触摸的区域的线发生变形的各种示例性实施例以上已进行了描述,但对于触摸点自身,变形可以局部地发生。
图10是被提供以说明显示其中变形局部地发生的屏幕的形式的视图。参照图10,当在被划分为多个区域41~48的屏幕被显示的同时用户触摸屏幕40上的一个点并滑动或拖动所触摸的点时,控制单元130改变屏幕40好像所触摸的区域从剩余区域被扩展一样。在图10中,由于第五区域45的中间点被触摸并向下拖动,其中该中间点被向下拉长的局部扩展效果被展示。在此情况下,接近所触摸的点的区域被扩展的最多,而离所触摸的区域越远,被扩展的越少。因此,当当前页面接近最后页面时,用户可以直观地意识到。
如图8至图10中所示,当在改变屏幕之后用户的触摸被释放时,控制单元130根据在改变屏幕时所应用的用户操纵的强度来计算恢复的速度,并且基于所计算的恢复速度来将屏幕的变形状态恢复为它的原始状态。在此情况下,该状态可以不是立即被恢复,而是,该状态可以在屏幕按照与恢复速度相对应的幅度(magnitude)和时间进行波动之后参照原始状态被恢复。
图11是被提供以说明根据另一示例性实施例的、显示屏幕的形式的视图。参照图11,显示装置100显示包括单元格(cell)形式的多个对象的交互屏幕50。在此情况下,当翻页的用户的触摸操纵被输入时,显示装置100的控制单元130对交互屏幕进行翻页。
因此,当在显示最后页面50的同时翻页的触摸操纵再次被输入时,无法进行翻页,而是最后页面50的显示形式可以被扭曲。
即,如图11中所示,当在最后页面50上用户以从上到下的方向输入触摸操纵时,所触摸的区域A可以被放大,同时在用户的触摸操纵的方向上的区域B被缩小。在此情况下,在用户的触摸操纵的相反方向上的区域C没有被扩展,而维持它的原始状态。在此情况下,当触摸状态被终止时,所触摸的区域A被缩小到它的原始状态,并且屏幕显示状态也被恢复到它的原始状态。
同时,除了扩展效果和压缩效果之外,可以使用其他各种图形效果来让用户直观地意识到显示了最后页面。
图12和图13示出使用摇摆(oscillation)效果的示例。参照图12,当由于在最后页面上的用户操纵而发生变形时,控制单元130根据用户操纵表现达到某一程度的压缩效果或扩展效果。当用户操纵被重复地输入并且因此变形效果达到阈值水平时,控制单元130可以表现摇摆效果以便告知用户:进一步的变形将不会发生。图12示出整个屏幕被摇摆的情况,并且图13示出只有被压缩区域被摇摆的情况。因此,用户可以直观地得知最后页面当前被显示,并且进一步的变形将不再发生。
图12和图13示出只有视觉上的摇摆效果被提供的情况,但依赖于示例性实施例,振动反馈也可以被提供。例如,当显示装置100还包括振动致动器并且超出阈值水平的变形发生时,控制单元130可以控制在屏幕上表现如图12或图13中所示的摇摆效果并驱动振动致动器,从而用户可以感觉到实际振动。
除了振动效果之外,各种图形效果可以被提供。例如,当超出某一水平的拖动操纵或滑动操纵被应用到屏幕的某一部分时,控制单元130可以表现如下图形效果,其中触摸操纵的部分周围的图像看起来被撕裂或破裂。
如上所述,当页面被翻到最后页面时,交互屏幕可以以各种形式被改变。在图5至图13中,交互屏幕的布局被改变的情况已详细地被说明,但是除了布局之外的其他元素,诸如颜色、亮度、对比度等可以被改变。
图14是被提供以说明根据另一示例性实施例的、显示屏幕的形式的视图。参照图14,当在最后页面20上用户的触摸操纵以从上到下方向被输入时,控制单元130逐步地提高所触摸的区域的亮度,并逐步降低其他区域的亮度。因此,浓淡(shade)被应用于最后页面20,使得用户具有立体的感觉。
图14的亮度调整操作可以与图5至图13中所示的示例性实施例结合而被执行。即,当所触摸的区域被放大时,所放大区域的亮度被提高,并且若存在被压缩的区域,其亮度被降低。此外,被向上推的区域的亮度可以被提高,而其他区域的亮度可以被降低。
同时,根据另一示例性实施例,通过用户的触摸操纵在交互屏幕上施加的物理操作可以以立体的方式被表现。在此情况下,图1的检测单元120还可以包括压力传感器。压力传感器检测用户的触摸操纵的压力,即,在屏幕上的触摸的强度。
控制单元130根据由压力传感器所检测的压力来不同地调整所触摸的区域和其他区域的纵深感(feeling of depth)。对纵深感的调整可以在控制单元130的图形处理单元137中被执行。即,所触摸的区域可以被表示为好像是凹陷的(dented),并且其他区域可以被表示为好像它们是鼓起的(swollen)。
同时,如上所述,用户的触摸操纵可以被实现为滑动操纵或拖动操纵。
当输入滑动操纵时,屏幕显示状态根据滑动操纵第一次被输入时的所触摸的区域与滑动操纵最后一次被输入时的所触摸的区域之间的距离而被改变。当滑动操纵被终止时,控制单元130按照与强度相对应的恢复速度,将最后页面的显示状态恢复为它的初始状态。
当拖动操纵被输入时,控制单元130根据拖动操纵第一次被输入时的所触摸的区域与所拖动的区域(即当前所触摸的区域)之间的距离,来连续地改变最后页面的显示状态。随后,当拖动操纵被终止时,最后页面的显示状态被恢复为它的原始状态。
在以上的示例性实施例中,控制单元130基于用户的触摸操纵的强度来计算恢复力,并且基于所计算的恢复力来计算每个区域的调整速率和插入(interpolate)速率。此外,控制单元130可以根据所计算的调整速率和插入速率来将屏幕恢复为它的原始状态。
图15是被提供以说明根据另一示例性实施例的、显示屏幕的形式的流程图。参照图15,当检测到用户的触摸操纵时(S1010),确定当前页面是否为最后页面(S1020)。若确定当前页面不是最后页面,那么根据用户的触摸操纵的方向将页面翻到下一页(S1030)。
另一方面,若确定当前页面为最后页面,则触摸操纵状态可以被转换为强度(S1040),并且显示状态可以根据所转换的强度而被改变(S1050)。用于改变显示状态的方法可以以如图5至图14中所示的各种方式来被执行。
在此情况下,所触摸的区域的尺寸可以依赖于用户的触摸操纵的强烈程度而变化。即,若检测到强烈的触摸,则可以设置较大的所触摸的区域,并且若检测到较弱的触摸,则可以设置相对较小的所触摸的区域。此外,扩展或缩小所触摸的区域的程度和改变屏幕显示的程度也可以根据强度而被改变。
图16是被提供以说明终止触摸的过程的流程图。参照图16,当检测到用户的触摸操纵时(S1110),页面被切换,或页面的显示状态被改变(S1120、S1130、S1140、S1150)。由于这些操作已在上文中参照图15进行了描述,进一步的描述将不被提供。
直到触摸状态被终止为止(S1160),触摸状态可以被连续地转换为强度,并且显示状态可以相应地被更新。同时,当触摸状态被终止时,它被恢复为它的原始状态(S1170)。当它被恢复为它的原始状态时,跳跃效果可以被应用,如上所述。
图17是被提供以更详细说明的当输入滑动操纵时的交互方法的流程图。参照图17,控制单元130确定用户是否输入滑动操纵(S1710)。具体而言,当第一次触摸的区域与最后一次触摸的区域不同时,控制单元130可以基于所述区域之间的距离以及到释放触摸为止所需的时间来计算速度。当所计算的速度大于预定阈值速度时,控制单元130可以确定它是滑动操纵。
当确定滑动操纵被输入时,控制单元130确定当前页面是否为最后页面(S1715)。若确定当前页面不是最后页面,那么控制单元130根据滑动操纵的方向来翻页到另一页面(S1720)。即,当从右到左方向的滑动操纵被输入时,下一页面被显示,并且当从左到右方向的滑动操纵被输入时,上一页面被显示。页面可以以页面为单位来翻动,但并不限于此。即,根据用户操纵,屏幕可以被滚动以移动到另一页面。
同时,若确定在滑动操纵的方向上最后页面被显示,那么控制单元130基于输入触摸的区域与释放触摸的区域之间的距离以及所需的时间来计算用户操纵所施加的强度(strength)(S1725)。随后,所计算的强度的强烈程度(intensity)被转换为变形速率值(S1730),并且基于该变形速率值,参考输入用户操纵的区域插入(interpolate)动画(S1735)。控制单元130通过应用所述插入的动画来渲染交互屏幕,并改变屏幕显示状态(S1740)。即,显示如下交互屏幕:其中,相对于输入区域,屏幕的部分被压缩并且屏幕的其他部分被扩展。此外,控制单元130基于所计算的强度来计算恢复力(S1745),基于恢复力来调整恢复速率(S1750),并且根据所调整的恢复速率来恢复显示状态(S1755)。即,当输入滑动操纵时,控制单元130在滑动操纵时大幅度地改变屏幕,并逐步地将屏幕显示状态恢复为它的原始状态。因此,用户可以直观地意识到当前页面为最后页面。
图18是被提供以说明当输入拖动操纵时的交互方法的视图。参照图18,在显示装置100上显示最后页面(S1810)的同时,当检测到用户的拖动操纵(S1815)时,控制单元130计算第一次输入触摸的区域与最后一次输入触摸的区域之间的距离,即,被拖动的距离(S1820)。若拖动轨迹不是直线,那么计算第一次输入触摸的区域和最后一次输入触摸的区域之间的最短距离,作为被拖动的距离。
控制单元130基于被拖动距离来计算强度(S1825),并将所计算的强度的强烈程度转换为变形速率值(S1830)。即,强度越强,变形值越大。控制单元130可以通过参考输入用户操纵的区域根据变形速率值应用扩展效果和压缩效果中的至少一个来插入动画(S1835)。此外,控制单元130可以通过添加所插入的动画和显示交互屏幕来改变屏幕显示状态(S1840)。
在此情况下,当输入状态被释放并且停止拖动(S1845)时,控制单元130基于所计算的强度来计算恢复力,并且根据所计算的恢复力来调整恢复速率(S1855)。此外,控制单元130根据所调整的恢复速率来恢复显示状态(S1860)。
除了以上描述的滑动和拖动操纵之外,各种用户操作可以被输入,而且在这种情况下,屏幕也可以根据用户操纵而被改变。
虽然在以上各种示例性实施例(图15至图18)中,用户的触摸输入可以被转换为力量并且显示状态可以根据所转换的力量而被改变,但在另一示例性实施例中,可能无法实现到力量的转换,但可以通过考虑到诸如用户触摸的点被移动的距离、移动速度等来根据操纵特性直接改变显示状态。
如上所述,在各种示例性实施例中,页面可以响应于用户的触摸输入以各种方向被改变,直到最后页面出现为止。在最后页面中,页面图像的移动可以以具有与传统示例有区别的特征的动画来提供,由此连续并自然地指示最后页面。
同时,根据触摸输入在最后页面中改变交互图像的示例目前已被说明,其中交互图像的页面以页面单位被翻动。
在下文中,将说明不同形式的交互图像的配置以及改变该交互图像的方法。
图19是示出根据模式改变而改变的交互图像的配置的视图。参照图19,交互图像可以被实现为包含图标的背景图像。
参照图19,在常规模式中,代表在显示装置100上安装的应用或功能的图标可以出现在交互图像60上。在这个状态中,用户可以通过输入改变为编辑模式的模式改变命令来改变为编辑模式。该模式改变命令可以依赖于显示装置100的特性而以各种方式来输入。例如,用户可以选择在显示装置100的主体上提供的按钮160,或者在没有显示图标的、交互图像60的背景区域上输入长触摸。可替代地,用户可以摇晃显示装置100、以预定角度旋转显示装置100、或者使显示装置100倾斜,从而输入模式改变命令。此外,用户还可以通过使用外部遥控器或适当的外部设备来输入模式改变命令。
响应于所输入的模式改变命令,显示装置100可以改变为编辑模式,并且交互图像60可以被改变以适用于编辑。为了方便说明,编辑模式中的交互图像将被称为‘编辑图像70’。
编辑图像70可以包括图标显示区域71和收集区域72,在该图标显示区域71上显示有:改变之前被显示在交互图像60上的图标。
在图标显示区域71上显示的图标可以具有与改变发生之前被显示在交互图像60上的图标的形式可区别的形式,从而帮助用户直观地得知这些图标现在是可编辑的。
图19示出如下示例:其中,在改变发生之前交互图像60上的图标以立方体的、柔性对象的形式被显示,并且当模式改变为编辑模式时,编辑图像70可以出现为,在其上改变之前被显示在交互图像60上的图标现在是以相对于图标的前面的预定角度从上往下被看到(viewed from above)。因此,在编辑图像70上,在图标显示区域71上的图标以轻微地向前方倾斜的形式被显示。同时,在改变之前的交互图像60中没有出现的收集区域72,现在出现在底侧上。即,响应于模式改变命令,控制单元130通过自然地将交互图像60改变为从上往下被看到的形式来展现编辑图像70。
若用户触摸图标显示区域71上的图标,那么所触摸的图标被移动到收集区域72并被显示。即,响应于对于图标的用户的触摸输入,该图标被显示为仿佛图标从原始位置分离出并由于重力而下落。
收集区域72可以包括移动标志。该‘移动标志’可以包括箭头等,以指示收集区域72可以被改变为另一收集区域。参照图19,若收集区域72包括在右侧的移动标志71-b,并且若用户触摸收集区域72然后向左侧拖动或滑动,那么紧邻当前收集区域72的另一收集区域可以被显示在图标显示区域71的底部上。
图19示出如下示例:改变之前在交互图像60上的图标和图标显示区域71上的图标以诸如果冻(jelly)的柔性对象的形式被显示,但是这仅仅是出于说明的目的而编写。在另一示例性实施例中,图标可以以一般多边形的形式被显示,或者以一般在传统显示装置中采用的二维图标的形式被显示。
此外,虽然图19示出如下示例,其中查看图标的点被改变,因此这些图标用以预定角度向前倾斜的形式来展现,但不发明不限于此。因此,在另一示例中,图标可以被水平地放置,并且向右侧或左侧倾斜。此外,图标可以经由在它们的位置中的振动来展现。
此外,虽然图19示出如下示例,只有在改变之前的一个交互图像60上显示的图标被显示在编辑图像70的图标显示区域71上,但不发明不限于此。可替代地,若交互图像被改变为编辑图像,除了在改变之前的交互图像60上显示的图标以外,在交互图像60之前或之后的页面上显示一些图标也可以被显示在图标显示区域71上。因此,用户直观地知道能够改变为之前或之后的页面。
图20示出与图19中所示的不同形式的图标显示区域71。参照图20,各个图标可以被展现为:好像这些图标被水平地放置在图像上并且以大约45度向左侧倾斜。因此,用户感觉好像这些图标被悬挂(suspended)在屏幕上,从而能够直观地得知这些图标将响应于触摸而落下(fall)。
图21至24是被提供以说明响应于用户的触摸输入而将图标收集到收集区域中的过程的视图。
参照图21,在多个图标11-1至11-15被显示在图标显示区域71上的状态中,若用户逐个触摸这些图标,则随着这些图标被触摸,图标落入在图标显示区域71的底侧上提供的收集区域72。图21具体地展示如下示例,其中,六个图标11-3、11-8、11-6、11-11、11-12、11-13已被收集到收集区域72中,并且另一图标11-9当前被触摸。图21中的图标以三维立方体的形式被显示,并且这些图标可以依赖于图标落下的地方而落在另一图标上或者被翻转。
若触摸了图标11-9,则图标11-9被展现为从原始位置被分离开,以作为响应于触摸输入的物理交互。
参照图22和图23,所触摸的图标11-9逐步下落并移动到收集区域72。参照图23,若在图标11-9落下的方向上有另一图标11-3被收集在底部,那么图标11-9必然会碰撞(collide)到图标11-3。因此,图标11-9和图标11-3被展现为被压皱(crumpled)。即,控制单元130可以控制计算单元137-2以基于图标间的碰撞来计算改变值,并且控制渲染单元137-1以基于计算的结果来生成交互图像。
接着,参照图24,与另一图标11-3碰撞的图标11-9停止移动并且停留在收集区域72中。同时,若在收集区域72中收集的图标的数目超出预设阈值,则控制单元130可以显示消息73以通知收集区域72已满。显示消息73的位置,消息73的内容或者显示消息73的方式可以依赖于示例性实施例而变化。此外,虽然在此使用了术语‘收集区域’,但这可以被不同地命名,诸如‘停靠区域(Dock area)’、‘编辑区域’等。
参照图22至图24,用户可以在收集区域72中收集各个图标并改变页面,从而图标收集区域72被翻到另一页面。用户可以将收集区域72中的个别图标传送到所改变的页面,或者将在多个群组中的图标传送到所改变的页面。即,可能通过使用收集区域来执行移动显示图标的位置的操作。
图25是被提供以说明通过使用收集区域来移动显示图标的位置的过程的视图。为了方便说明,参照图18,二维X-Y轴的坐标将被使用。参照图25,第一页面71-1被显示在图标显示区域中,并且用户触摸图标#11并向Y-方向(即向下)拖动或滑动。因此,图标#11落入收集区域72中。在此状态中,若用户触摸图标#2,则图标#2也落入收集区域72中。
用户还可以触摸图标显示区域,并且同时向X-方向拖动或滑动。在此情况下,第二页面71-2被显示在图标显示区域上,并且图标#2、#11继续被显示在收集区域72中。在此状态中,若用户触摸在收集区域72中显示的图标#11并向Y+方向拖动或滑动它,则控制单元130控制以将图标#11上移到第二页面71-2并在第二页面71-2中被显示。若输入拖动,则图标#11可以被显示在拖动触摸结束的位置处,或者,若输入滑动,则图标#11可以紧接着已经在第二页面71-2中显示的图标#13、#14、#15、#16而被显示。虽然在示例中图标被移动到紧接着的页面,但在另一示例性实施例中,图标可以被移动到多个页面的收集区域上并且被传送到如用户所期望的各个页面。
同时,依赖于用户所作的设置,图标可以具有刚性(rigid)性质或柔性(soft)性质。‘刚性体’具有硬度从而即使施加了外力也保持它的性质或尺寸,而‘柔性体’在施加外力时改变形状或尺寸。
图26被提供以说明其中具有刚性的图标落入收集区域中的过程的视图。参照图26,被显示在交互图像之内的图标显示区域71中的图标#2,响应于用户输入的触摸而落入收集区域72中。
若以Y-方向下落的图标与收集区域72的底部碰撞,那么控制单元130控制使图标以Y+方向弹回然后下落到底部。弹起的频率和距离可以依赖于图标的弹性或刚性而变化。
虽然图26中所示的示例表现了其中图标由于碰撞弹回并且底部保持原样的状况,但在另一示例性实施例中,底部可以随着具有刚性的图标与其碰撞而破裂,或者图标可以被显示为被扎入(stuck into)底部中。
图27是被提供以说明其中‘柔性’图标落入收集区域的过程的视图。参照图27,被显示在交互图像之内的图标显示区域71中的图标#2,响应于用户输入的触摸而落入收集区域72中。当图标#2与收集区域72的底部的碰撞时,控制单元130用压皱状态来展现图标#2。虽然在图27中图标#2被显示为扎入收集区域72的底部,当在另一示例性实施例中,图标#2可以被展现为诸如铝罐的相对较轻的对象,在这种情况下,图标#2可以被弹回若干次直到停留在收集区域72中。
当设置刚性或柔性时,还可以设置恢复力。‘恢复力’是指图标由于碰撞而被压皱之后恢复为原始状态的能力。若恢复力被设置为0,那么图标将不会恢复为它的原始形状并保持压皱状态,而若恢复力被设置为最大,则在压皱后的最短时间内,图标将恢复为原始状态。
图标的属性可以直接由可以设置单个图标的属性的用户来设置。可替代地,图标的属性可以由与图标相对应的应用或内容的提供者来设置并提供。
若图标的属性由用户来设置,那么响应于所输入的用户的设置命令,控制单元130可以显示用户设置屏幕。
图28示出用户设置屏幕的示例。参照图28,用户设置屏幕80可以显示第一至第三选择区域81、82、83(通过其用户可以从刚性、柔性或一般属性中选择一个),以及第一和第二等级选择区域84、85(通过其用户可以选择刚性等级和柔性等级)。当选择第一或第二选择区域81、82时可以激活第一或第二等级选择区域,并且当选择其他选择区域时,第一或第二等级选择区域被去激活。
虽然图28中未示出,但依赖于示例性实施例,与柔性属性相关联的恢复力设置区域可以另外地被显示。
虽然图28的示例示出刚性或柔性可以通过彼此独立的选择区域来选择,当在另一示例性实施例中,一个单一条形比例尺(bar scale)可以替代选择区域,从而以设置刚性、柔性或一般属性的形式来构建用户设置屏幕。即,若在预定范围之内可移动的条形比例尺位于中间,则一般属性可以被设置,并且参考中间线,若所述条向右移动,则刚性属性可以被设置,或者若所述条向左移动,则柔性属性可以被设置。如上所述,用户设置屏幕可以以各种配置来实现。
控制单元130可以将通过用户设置屏幕设置的属性信息存储到存储单元140中,并且在显示装置100的初始化期间将属性信息应用到各个图标,从而根据属性信息来调整图标的显示状态。
虽然以上参照图28将刚性和柔性属性作为示例来说明,但将理解的是,图标的属性还可以包括初始位置、重量、摩擦力、恢复力等。因此,其他各种属性可以适当地由用户或制造商来定义,从而被使用。例如,若定义了初始位置,则交互图像上的图标可以被显示在为其定义的初始位置处。若定义了重量,则图标可以被展现为:相对于收集区域的底部或相对于其他图标被施加了与其重量成比例的不同的力。若定义了摩擦力,则与底部或其他图标碰撞的图标可以被展现为依赖于其摩擦力而不同地滑动。
不只是属性,还可以设置交互图像的空间属性。空间属性可以包括重力或磁力。例如,若定义了重力,如上所述在若干实施例中,由于重力,图标可以以不同的速度落入收集区域。若定义了磁力,收集区域可以被展现为磁体,并且图标可以被展现为由于磁力而被吸引到收集区域中。
如上所述,各种图标属性和空间属性可以被定义并当交互图像不同时被考虑到。
同时,虽然以上说明的示例性实施例示出只有图标被显示在图标显示区域71中,将理解的是诸如文本或符号的另外的信息也可以被显示,从而当存在用户的触摸输入或其他操纵时指示相应的图标可以落入收集区域72。
图29是被提供以说明在图标显示区域中显示的图标的另一示例的。参照图29,在图标显示区域71中显示的各个图标71-1、71-2、71-3、71-4可以被展现为:被保持在以钉子等的形式展现的保持部分73-1、73-2、73-3、73-4处。若检测到显示装置100的摇晃,则控制单元130可以显示为使得各个图标71-1、71-2、71-3、71-4根据所述摇晃在保持部分73-1、73-2、73-3、73-4上悬摆(dangle)。从图标71-1、71-2、71-3、71-4的悬摆,用户直观地得知若她或他触摸这些图标,这些图标可以落到底部上。
同时,如上所述,在交互图像上图标可以以不同的形状来展现,并且被用户所传送并显示在收集区域72中。用户可以编辑落入收集区域72的图标。
具体地说,响应于编辑收集区域的用户的命令,控制单元130可以根据用户的命令来编辑在收集区域中收集的图标。所述编辑可以包括各种工作,诸如,例如,页面改变、复制、删除、颜色改变、形状改变、尺寸改变等等。依赖于用户的选择,控制单元130可以独立地对单个图标或集体地对一组图标执行编辑。在根据参照图18说明的示例性实施例的编辑过程中,用户选择一个图标并移动到另一页面。以下将说明其他编辑过程。
图30示出集体地编辑多个图标的群组的方式。参照图30,在图标显示区域71中显示的图标当中,多个图标11-2、11-6、11-9、11-10落入收集区域72中。在此状态中,用户可以通过做出收集图标的手势来使相应的图标11-2、11-6、11-9、11-10被组在一起。图30具体地示出采用如下形式的收集图标的手势:其中,用户用两个指尖在收集区域上触摸并分别地向X+和X-方向移动她或他的指尖。然而,这仅仅为了说明的目的,并且其他示例可以被实现。例如,在收集区域上的长触摸、或者触摸预定的次数、选择单独提供的按钮或菜单、或者用手掌覆盖收集区域的前面,也可以被实现为目的在于收集图标的手势。此外,虽然在参照图23说明的示例性实施例中在收集区域72上显示的所有图标11-2、11-6、11-9、11-10被组在一起,但用户还可以通过作出收集图标的手势而仅使得一些图标被组在一起。
响应于所输入的收集图标的手势,参照图30,相应的图标11-2、11-6、11-9、11-10被显示为一个集成的(integrated)图标31。若用户触摸集成的图标31并将其移动到图标显示区域71,则集成的图标31被移动到在图标显示区域71上显示页面并在该页面上被显示。集成的图标31可以在被改变的页面上仍然保持它的形状,除非输入单独的用户命令。若用户触摸集成的图标31,则集成图标的形状被去集成(disintegrated),因此集成的图标31中各个的被组在一起的图标被显示在相应的页面中。
集成的图标31的形状可以依赖于示例性实施例而变化。图31示出集成图标的形状的示例。
参照图31,集成的图标31可以被展现为包括各个图标11-2、11-6、11-9和11-10的被缩小的图像。集成的图标31被展现为图31中的六面体,但在另一示例性实施例中,图标31可以被展现为2D图像。此外,若在集成的图标31上有太多被集成图标要以被缩小的形式完整地显示,那么一些图标的被缩小的图像可以被显示,或者集成的图标31的尺寸可以被放大以显示这些图标的所有的被缩小的图像。
可替代地,即与图31中所示的示例不同的,集成的图标31可以以与被组在一起的图标11-2、11-6、11-9、11-10之一相同的形式来展现,并在一侧显示数字,以指示其中代表的图标的数目。
用户可以通过对于集成的图标31输入各种编辑命令来集体地编辑图标。即,参照图30,用户可以集体地将图标传送到另一页面、删除图标或改变图标的属性,诸如形状或尺寸。用户可以通过选择单独地被提供在显示装置100上的按钮或者选择在屏幕上显示菜单来输入删除或改变属性的命令。
图32和图33是被提供以说明用于删除图标的方法的示例的视图。
参照图32,包括图标显示区域71和收集区域72的交互图像被显示。由于用户操纵改变收集区域72的输入,控制单元130在维持控制单元130不变的同时将收集区域72改变为删除区域75。
虽然图32中所示的示例性实施例描述了收集区域72响应于在收集区域72上的触摸和向X-方向的移动而被改变为删除区域75,但是若删除区域75在收集区域72的左侧,则收集区域72可以响应于向X+方向移动的操纵而被改变为删除区域75。可替代地,收集区域72可以响应于除了触摸输入之外的按钮或菜单选择、语音、动作输入等,而被改变为删除区域75。
删除区域75可以包括删除图标的孔洞(hole)75-1,以及在孔洞75-1周围形成的引导区域75-2。引导区域75-2可以向孔洞75-1的方向下凹地形成。
若图标显示区域71上的图标11-n在删除区域75被显示的状态中被触摸,那么控制单元130改变交互图像以展现被向下丢的图标11-n的物理交互。
参照图33,被丢入引导区域75-2中的图标可以沿着引导区域75-2的斜面(inclining)滚入孔洞75-1中。接着,若另一图标11-m在此状态中被触摸,那么控制单元130构建交互图像使得所触摸的图标11-m与引导区域75-2碰撞然后滚入孔洞75-1中。控制单元130可以从相应的页面删除孔洞75-1中的图标。
若在此状态中编辑模式结束,那么控制单元130可以改变为常规屏幕60(其中相应的图标11-n、11-m被移除)并且显示结果。
图32和图33示出包括孔洞75-1和引导区域75-2的删除区域75被显示的示例。然而,删除区域75可以以各种配置来实现。
图34和图35示出删除区域75的另一示例。参照图34,删除区域75可以被实现为仅包括一个大的孔洞。因此,参照图35,响应于用户的触摸输入,图标11-7、11-12、11-13被直接丢入删除区域75中并且被删除。
同时,参照图21至图24,在收集区域72中收集了至少一个图标的状态中,响应于将收集区域72改变为删除区域75的用户命令,在收集区域72中收集的至少一个图标可以集体地被移动到删除区域75从而被删除。因此,对图标的集体删除被使能。
虽然图32至图35中所示的示例性实施例说明了在收集区域72被改变为删除区域75的状态中删除被执行,但在另一示例性实施例中,控制单元130可以一同显示删除区域75和收集区域72二者。即,控制单元130可以控制图形处理单元137构建以下交互图像:其中用于删除的孔洞被提供在收集区域72的一侧上。在这个示例中,被用户触摸的图标首先可以落入收集区域72中,然后可以随着用户将在收集区域72中收集的图标推倒孔洞中而被删除。
另外,可能将收集区域72改变为编辑区域(未示出),从而集体地改变收集区域72中搜集的图标的属性,以具有与相应的编辑区域相对应的预定属性。例如,被移动到尺寸缩小区域的图标可以在尺寸上被缩小,而被移动到尺寸放大区域的图标可以在尺寸上被放大。若一个编辑区域包括多个属性改变区域,诸如尺寸改变区域、颜色改变区域或形状改变区域,那么用户可以通过将图标推到期望的区域来改变图标的属性。
如以上在各种示例性实施例中所说明的,响应于用户对于交互图像的触摸输入,显示装置100可以以各种方式来将图标丢入收集区域并且在收集区域中编辑该图标。不像在传统示例中用户必须从每个页面选择每个图标并将其移动到期望的页面,来移动分布在多个页面上的图标,示例性实施例通过提供使能图标的方便编辑的收集区域来提供改善的便利性。示例性实施例还将交互图像改变为遵照诸如重力或磁力的现实生活的物理规律来移动,而不是按照传统的标准化的动画效果来移动。因此,用户能够像她或他正在控制现实生活的物体一样来编辑图标。
虽然目前为止已针对图标说明了示例性实施例,但是不仅是包括图标的背景图像,还有应用运行屏幕、内容回放屏幕或各种列表屏幕也可以被实现。因此,以上所说明的处理不仅可以对图标执行,还可以对诸如文本、图像或图片的各种其他对象实现。
图36是被提供以全面地说明根据以上所说明的各种示例性实施例的显示操作的流程图。
参照图36,在S2990,在常规模式中操作的显示装置100显示常规屏幕。在S2910,若常规模式被改变为编辑模式,那么在S2915,编辑屏幕被显示。编辑屏幕可以显示包括图标在内的各种类型的对象,以及收集这些对象的收集区域。
在S2920,响应于将编辑屏幕上的对象传送到收集区域的触摸操纵,在S2925,向收集区域的方向移动显示对象的位置。
在S2935,若对象具有刚性性质,那么交互图像可以被改变为在与收集区域的底部碰撞时展现对象的相斥动作(repulsive action)。相比之下,在S2940,若对象具有柔性性质,那么在S2945,对象的形状改变,好像当与底部碰撞时压皱一样。在S2950,经由预定时间,对象的形状返回原始形状。
若对象具有一般性质(即,既不是刚性也不是柔性),那么对象在没有展现特定效果的情况下被移动到收集区域中。
在S2955,若页面被改变,那么在S2960,另一页面被显示。此时,收集区域被维持。在S2965,若输入旨在将收集区域中的对象移动到当前页面的触摸操纵,那么在S2970,显示装置100将所显示的对象移动到当前页面。
同时,在S2975,若输入旨在将收集区域改变为删除区域的操纵,那么在S2980,执行删除收集区域的对象的操作。
以上说明的操作在编辑模式中继续。在S2985,若编辑模式结束,那么操作返回常规模式。
虽然诸如移动对象和删除对象的过程目前为止已参照图36来说明,但该过程可以另外地包括使对象成组以集体地移动、复制或编辑已成组的对象。
如上所述,由于在响应于用户的操纵而选择或编辑对象期间在交互图像中展现物理交互,故向用户提供了现实生活中的体验。即,由于对象的状态被计算,并且在实时的基础上,而不是经由标准化的动画效果,被灵敏地被显示,因此操纵装置的满意度增加了。
同时,交互图像可以被实现为锁定屏幕。在锁定屏幕上,运行应用或功能的图标不出现,而只有解锁图标被显示。
图37是被提供以说明实现为锁定屏幕的交互图像的示例的视图。与图37中所示的类似的锁定屏幕可以在用户选择锁定模式中的显示装置100上的特定按钮时出现,其中当未使用显示装置100长于预定时间时进入锁定模式。
参照图37,锁定屏幕2800可以显示控制图标2810和多个符号图标2811至2818。参照图37,各个符号图标2811至2818可以围绕控制图标2810的外侧以圆形图样被排列,并且由连接线2820相互连接。然而,符号图标2811至2818的数目、位置和排列并不只限于图37的示例,而是可以依赖于示例性实施例而变化。
用户可以在控制图标2810上触摸并向预定方向移动图标2810。即,若检测到控制图标2810上的触摸并且所触摸的点被移动,那么控制单元130将显示控制图标2810的位置移动到已移动的触摸点。若被移动的控制图标2810与符号图标2811至2818中的至少一个碰撞,那么控制单元130意识到用户选择了被控制图标2810碰撞的符号图标。控制单元130可以通过计算显示各个符号图标2811至2818和控制图标2810的位置之间的距离,来确定图标是否碰撞。
图38是被提供以说明根据用户的操纵来移动控制图标2810的过程的视图。参照图38,用户在控制图标2810上触摸并顺序地触摸第三、第八和第五符号图标2813、2818、2815。在此情况下,控制单元130可以显示控制图标2810移动的路径。
若从多个符号图标2811至2818当中选择至少一个图标的次序匹配(即,若符号图标和控制图标之间碰撞的次序匹配)预设图样,那么控制单元130执行解锁操作。用户可以预设包括需要选择的符号图标以及选择符号图标的次序的解锁图样信息,并且在需要时频繁改变该信息。若解锁图样信息被改变,那么控制单元130可以将被改变的解锁图样信息存储到存储单元140。
同时,尽管在图38中被控制图标2810碰撞的符号图标没有展示特别的改变,但在另一示例性实施例,交互图像可以改变显示状态使得符号图标的物理交互响应于碰撞而被显示。
图39示出展现符号图标的物理交互的交互图像的示例。参照图39,控制单元130可以显示符号图标2811与正被推动的控制图标2810碰撞。控制单元130可以通过计算显示控制图标2810的位置和显示符号图标2811的位置之间的距离,来确定图标是否碰撞。此外,可能基于移动控制图标2810的速度和方向来确定被推回来的符号图标2811的距离和方向。
同时,如上所述,控制图标2810和符号图标2811至2818可以被设置为具有刚性或柔性性质。例如,若符号图标2811至2818被设置为具有柔性性质,那么符号图标2811至2818可以在与控制图标2810碰撞时改变形式。相比之下,若符号图标2811至2818被设置为具有很强排斥力的刚性形状,那么符号图标2811至2818在与控制图标2810碰撞时可以被推回相对远的距离。控制图标2810也可以具有刚性或柔性性质,并且它的形式在碰撞时可以依赖性质而改变。控制单元130可以基于图标的属性和碰撞的量级来计算变形的程度、或由碰撞推动的距离等等,并且控制图形处理单元137生成渲染屏幕,从而根据所计算的结果展现物理交互。
当符号图标2811与控制图标2810碰撞时,控制单元130可以将符号图标2811移动与所施加的力相对应的距离,然后使符号图标2811返回其原始位置。此时,独立于连接原始位置上的符号图标2811的连接线2820,另外的连接线2821可以被显示为连接在已移动位置处的符号图标2811。当图标返回原始位置时,连接线2820可以有弹性地跳跃,直到连接线2820返回原始位置为止。
图40示出展现符号图标的物理交互的交互图像的另一示例。参照图40,控制单元130控制以使得各个符号图标2811至2818的部分被连接线2820固定。例如,符号图标2811至2818可以被展现为被线穿(threaded)在连接线上。在此状态中,若各个符号图标2811至2818与控制单元130碰撞,那么控制单元130可以通过好像碰撞的符号图标2811在连接线2820上悬摆来展现这个情况。
尽管图38至图40示出控制图标2810自身被移动的示例,但控制图标2810可以以不同的配置来展现。
图41至图44示出根据与图38至图40所示的示例性实施例不同的示例性实施例的交互图像的示例。
参照图41,可能显示响应于用户的触摸输入而被移动的与控制图标2810相对应的标志2830,同时控制图标2810的外部形状被维持原样。若标志2830与符号图标之一碰撞,那么控制单元130意识到相应的符号图标被选择。与图38至图40中所示的示例性实施例不同,当标志2830与符号图标碰撞时,图41至图44的示例性实施例可以不显示符号图标被悬摆或被碰撞推回来的效果。
参照图42,线2840可以被显示在标志2830和控制图标2810之间,从而展现移动的路径。当标志2830与符号图标碰撞并且向另一符号图标的方向移动时,线2840可以通过将碰撞符号图标的位置用作拐点来将方向改变为新的方向。
参照图43和图44,若标志2830顺序地与第三、第四和第六符号图标2813、2814、2816碰撞,那么线2840可以顺序地被连接到第三、第四和第六符号图标2813、2814和2816。若所选择的第三、第四和第六符号图标2813、2814、2816与预设解锁图样信息匹配,那么控制单元130可以执行解锁操作。
在以上说明的示例性实施例中,符号图标可以被展现符号,但也可以被展现为数字、文本或图片。此外,作为设置所选择的符号图标的类型和选择符号图标的次序的替换,代表控制图标或标志的移动的过程的线2840的最终配置可以被定义。这个实施例在图45中被示出。
图45示出根据解锁操作显示解锁屏幕的过程的示例。参照图45,若解锁图样信息被设置为三角形,例如,若第一、第三和第五符号图标2811、2813、2815被选择然后第一符号图标2811最后被再次选择,那么连接第一、第三和第五符号图标2811、2813、2815的三角形的线被形成。由于该三角形的线与预设的解锁图样相对应,故控制单元130执行解锁操作。然后,控制单元130可以显示解锁屏幕。解锁屏幕可以是包括图标的常规屏幕60。
多个形状可以被注册为解锁图样,并且不同的功能可以被映射到各个形状。即,若解锁、电话呼叫连接和邮件检查操作的功能分别被映射到图45的三角形、矩形和五边形,那么当三个符号图标以三角形图样被选择时可以执行解锁操作,或者,当四个符号图标以矩形图样被选择时,用于电话呼叫连接的屏幕随着解锁操作立即出现。若五个符号图标以五边形图样被选择,那么伴随解锁操作,检查邮件的主屏幕被显示。如上所述,各种其他功能可以与解锁操作联合地被执行。
图46是被提供以说明当交互图像被实现为解锁屏幕时用于解锁的方法的流程图。参照图46,在S3910,显示装置100显示锁定屏幕。
在S3915,若用户在锁定屏幕上触摸并拖动,那么在S3920,控制图标的位置沿拖动的方向被移动。在S3925,若基于控制图标的位置的移动而确定控制图标与符号图标碰撞,那么在S3930,显示装置100根据碰撞改变符号图标的显示状态。例如,符号图标可以被展现为从原始位置被推回或者被摇动。可替代地,符号图标可以被展现为被弄皱。
在S3935,若确定选择符号图标的图样与预设解锁图样相对应,那么在S3940,显示装置100执行解锁操作。同时,在S3910,在解锁屏幕被显示的情况下,在S3915若没有作出进一步的触摸输入,并且在S3945若经过预设时间,那么在S3950解锁屏幕被关闭。
在目前为止所说明的各种示例性实施例中,响应于用户对于交互图像上的图标或其他各种类型的对象的触摸输入,相应的物理交互被展现在屏幕上。
另外,若特定事件发生,而不是用户的触摸输入,那么对象的形状可以相应地变化,使得用户能够直观地得知显示装置的状态。
图47和图48是被提供以说明通过使对象的形状变化来告知显示装置的状态的方法的视图。
图47示出展现应用下载状态的交互图像的示例。参照图47,若应用被选择并从诸如应用商店的外部服务器下载,那么显示装置100可以首先在交互图像上显示相应应用的基本图标4000。然后,图标主体4010可以重叠地显示在基本图标4000。图标主体4010可以被透明地形成,从而穿过图标主体4010保持基本图标4000可见,并且图标主体4010可以依赖于下载进展而具有不同尺寸。参照图40,图标主体4010可以被展现为从基本图标4000的底部逐步变成柔性的六面体的立方体对象,但并不限于此。例如,基本图标4000可以被展现为条状图或圆形图,在其一侧上依赖于下载的进展而变化。可替代地,基本图标4000的背景颜色可以根据下载的进展而逐步改变。
图48示出包括多个内容的图标的显示方法的示例。参照图48,显示装置100可以在交互屏幕上提供预览。
例如,若用户在其中包括多个内容的图标4100上触摸并且沿一个方向移动触摸点(T),图标4100可以在移动方向上被拉长,从而示出代表图标4100中包括的内容的图像4110-1、4110-2、4110-3、4110-4。图标4100可以像柔性对象变形一样,按照用户的触摸输入的方向和量级来发生变形。因此,在不必点击相应图标4100以改变内容回放屏幕的情况下,用户可以检查可播放的内容。在已改变的图标4100上显示的图像可以包括视频内容的捕捉图像、标题屏幕、标题、静止图像、内容的缩略图像等等。
如上所示,因为根据各种示例性实施例的显示装置在操纵交互图像时提供了现实生活的感觉,故提高了用户满意度。
同时,尽管目前为止主要基于用户的触摸输入来说明操作,但将理解的是,诸如动作、语音或接近的其他各种类型的操纵也可以被实现。
此外,显示装置可以被实现为各种类型的装置,诸如TV、移动电话、PDA、膝上型个人计算机(PC)、平板PC、PC、智能监视器、电子相框、电子书或MP3播放器。在这些示例中,在以上说明的示例性实施例中所示的交互图像的尺寸和布局可以被改变以适合在显示装置中提供的显示单元的尺寸、分辨率或长宽比。
此外,示例性实施例的方法可以被实现为程序并且被记录在非暂时性计算机可读介质上以被使用,或者被实现为固件。例如,当被加载有以上提及的应用的非暂时性计算机可读介质被安置在显示装置上时,显示装置可以实现根据以上所说明的各种示例性实施例的显示方法。
具体地说,可以提供如下非暂时性计算机可读介质,其中存储程序以实现显示包括至少一个对象的交互图像的操作、检测对于交互图像的触摸输入的操作、以及响应于触摸输入来改变交互图像的显示状态以展现物理交互的操作。交互图像的类型和配置以及被展现在该图像上的物理交互的示例可以依赖于示例性实施例而变化。
非暂时性计算机可读介质可以半持久性地存储数据,而不是如寄存器、缓存或内容短时间段地存储数据,并且非暂时性计算机可读介质可被设备读取。具体地说,以上提及的各种应用或程序可以被存储在非暂时性计算机可读介质中,诸如光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡,或者只读存储器(ROM),从而被提供。
因此,当以上提及的程序或固件被加载时,即使被提供有图形卡等的一般显示装置也可以实现以上所说明的各种类型的显示方法。
前述的实施例仅仅是示例性的,并不被理解为限制本发明。当前教导能够容易地被应用于其他类型的装置。此外,示例性实施例的描述旨在进行说明,而不是对权利要求的范围的限制,并且许多替代物、修改和变化对本领域技术人员是显而易见的。

Claims (14)

1.一种装置的显示方法,包括:
在屏幕上显示多个区域;
在所述屏幕的一个方向上检测触摸操纵;以及
在所述一个方向上缩小所述多个区域中的至少一个区域的尺寸,并且在与所述一个方向相反的方向上扩展所述多个区域中的至少一个区域的尺寸。
2.如权利要求1所述的显示方法,其中所述缩小和扩展是基本上同时发生的。
3.如权利要求1所述的显示方法,其中当所述触摸操纵结束时,所述多个区域返回它们的原始尺寸。
4.如权利要求3所述的显示方法,其中将所述多个区域恢复为它们的原始尺寸的速度是基于所述触摸操纵的强度的。
5.如权利要求1所述的显示方法,还包括:
若所述触摸操纵是在最后页面处作出的,则在所述屏幕上启动至少摇摆效果。
6.一种装置的显示方法,包括:
在屏幕上显示多个区域;
在所述屏幕的一个方向上检测触摸操纵;
仅仅对与所述触摸操纵发生的地方很接近的区域的形状、尺寸和边界当中的至少一者进行调整。
7.如权利要求6所述的显示方法,其中当所述触摸操纵结束时,所述多个区域返回它们的原始尺寸。
8.如权利要求7所述的显示方法,其中将所述多个区域恢复为它们的原始尺寸的速度是基于所述触摸操纵的强度的。
9.一种显示装置的显示方法,包括:
在屏幕上显示多个区域;
在所述屏幕上检测触摸操纵;以及
基于所述触摸操纵的强烈程度来确定被所述触摸操纵影响的区域的尺寸。
10.如权利要求9所述的显示方法,其中所述区域的尺寸随着所述触摸操纵的强烈程度的增加而变大。
11.一种显示装置,包括:
显示器,被配置为在屏幕上显示多个区域;
检测器,被配置为在所述屏幕的一个方向上检测触摸操纵;以及
控制器,如果检测到所述触摸操纵,则该控制器被配置为在所述一个方向上缩小所述多个区域中的至少一个区域的尺寸,并且在与所述一个方向相反的方向上扩展所述多个区域中的至少一个区域的尺寸。
12.如权利要求11所述的显示装置,其中,所述缩小和扩展是基本上同时发生的。
13.一种显示装置,包括:
显示器,被配置为在屏幕上显示多个区域;
检测器,被配置为在所述屏幕的一个方向上检测触摸操纵;以及
控制器,如果检测到所述触摸操纵,则该控制器被配置为:仅仅对与所述触摸操纵发生的地方很接近的区域的形状、尺寸和边界当中的至少一者进行调整。
14.一种显示装置,包括:
显示器,被配置为在屏幕上显示多个区域;以及
检测器,被配置为在所述屏幕上检测触摸操纵,
其中,被所述触摸操纵影响的区域的尺寸是基于所述触摸操纵的强烈程度来确定的。
CN201380063202.4A 2012-10-31 2013-10-31 显示装置及其方法 Pending CN104854549A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/665,598 2012-10-31
US13/665,598 US20130117698A1 (en) 2011-10-31 2012-10-31 Display apparatus and method thereof
KR1020130053915A KR102176508B1 (ko) 2012-05-18 2013-05-13 디스플레이 장치 및 그 디스플레이 방법
KR10-2013-0053915 2013-05-13
PCT/KR2013/009794 WO2014069917A1 (en) 2012-10-31 2013-10-31 Display apparatus and method thereof

Publications (1)

Publication Number Publication Date
CN104854549A true CN104854549A (zh) 2015-08-19

Family

ID=50628283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380063202.4A Pending CN104854549A (zh) 2012-10-31 2013-10-31 显示装置及其方法

Country Status (3)

Country Link
JP (1) JP2015537299A (zh)
CN (1) CN104854549A (zh)
WO (1) WO2014069917A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831976A (zh) * 2017-09-22 2018-03-23 阿里巴巴集团控股有限公司 消息显示方法及装置
WO2018068364A1 (zh) * 2016-10-14 2018-04-19 华为技术有限公司 用于页面显示的方法、装置、图形用户界面及移动终端
CN108334259A (zh) * 2017-01-17 2018-07-27 中兴通讯股份有限公司 应用的压力功能实现系统及方法
CN105844698B (zh) * 2016-03-15 2018-08-17 北京大学(天津滨海)新一代信息技术研究院 一种基于自然交互的物理仿真方法
CN110945466A (zh) * 2017-07-28 2020-03-31 标致雪铁龙汽车股份有限公司 用于在车辆中提供包括控件的图形界面的装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017014276A2 (zh) * 2014-12-31 2018-01-02 Huawei Technologies Co., Ltd. Equipment for mobile application interface elements, methods, and graphical user interface
CN107615231B (zh) * 2015-06-05 2020-10-30 京瓷办公信息系统株式会社 显示装置以及显示控制方法
JP6500180B2 (ja) * 2015-08-20 2019-04-17 株式会社Joled 画像処理装置、表示装置および電子機器
US10296088B2 (en) * 2016-01-26 2019-05-21 Futurewei Technologies, Inc. Haptic correlated graphic effects
JP6755125B2 (ja) * 2016-05-31 2020-09-16 シャープ株式会社 情報処理装置及びプログラム
JP2018032075A (ja) * 2016-08-22 2018-03-01 キヤノン株式会社 表示制御装置およびその制御方法
CN112286434B (zh) * 2017-10-16 2021-12-10 华为技术有限公司 一种悬浮按钮显示方法及终端设备
JP7030527B2 (ja) * 2018-01-11 2022-03-07 キヤノン株式会社 電子機器、情報処理方法、プログラム及び記憶媒体
JP7002512B2 (ja) * 2019-10-29 2022-01-20 華為技術有限公司 アプリケーション・インタフェース要素を移動させるために使用されるデバイス、方法およびグラフィック・ユーザ・インタフェース

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134425A1 (en) * 2008-12-03 2010-06-03 Microsoft Corporation Manipulation of list on a multi-touch display
US20110055752A1 (en) * 2009-06-04 2011-03-03 Rubinstein Jonathan J Method and Apparatus for Displaying and Auto-Correcting an Over-Scroll State on a Computing Device
CN101989176A (zh) * 2009-08-04 2011-03-23 Lg电子株式会社 移动终端及其图标碰撞控制方法
US20110161892A1 (en) * 2009-12-29 2011-06-30 Motorola-Mobility, Inc. Display Interface and Method for Presenting Visual Feedback of a User Interaction
US20110202859A1 (en) * 2010-02-12 2011-08-18 Microsoft Corporation Distortion effects to indicate location in a movable data collection
CN102449593A (zh) * 2010-01-22 2012-05-09 电子部品研究院 基于碰触压力的ui提供方法及采用该方法的电子装置
CN102474290A (zh) * 2009-07-13 2012-05-23 三星电子株式会社 移动终端的滚动方法以及用于执行该滚动方法的设备
US8209628B1 (en) * 2008-04-11 2012-06-26 Perceptive Pixel, Inc. Pressure-sensitive manipulation of displayed objects
CN102576292A (zh) * 2009-10-30 2012-07-11 摩托罗拉移动公司 用于增强在显示设备中的滚动操作的方法和设备
CN102597944A (zh) * 2009-10-16 2012-07-18 高通股份有限公司 内容边界信令技术

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265481A (ja) * 2000-03-21 2001-09-28 Nec Corp ページ情報表示方法及び装置並びにページ情報表示用プログラムを記憶した記憶媒体
US7903115B2 (en) * 2007-01-07 2011-03-08 Apple Inc. Animations
KR101640463B1 (ko) * 2009-05-19 2016-07-18 삼성전자 주식회사 휴대 단말기의 운용 방법 및 이를 지원하는 휴대 단말기
KR101646922B1 (ko) * 2009-05-19 2016-08-23 삼성전자 주식회사 휴대 단말기의 통신 관련 기능 운용 방법 및 이를 지원하는 휴대 단말기
JP5668401B2 (ja) * 2010-10-08 2015-02-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8209628B1 (en) * 2008-04-11 2012-06-26 Perceptive Pixel, Inc. Pressure-sensitive manipulation of displayed objects
US20100134425A1 (en) * 2008-12-03 2010-06-03 Microsoft Corporation Manipulation of list on a multi-touch display
US20110055752A1 (en) * 2009-06-04 2011-03-03 Rubinstein Jonathan J Method and Apparatus for Displaying and Auto-Correcting an Over-Scroll State on a Computing Device
CN102474290A (zh) * 2009-07-13 2012-05-23 三星电子株式会社 移动终端的滚动方法以及用于执行该滚动方法的设备
CN101989176A (zh) * 2009-08-04 2011-03-23 Lg电子株式会社 移动终端及其图标碰撞控制方法
CN102597944A (zh) * 2009-10-16 2012-07-18 高通股份有限公司 内容边界信令技术
CN102576292A (zh) * 2009-10-30 2012-07-11 摩托罗拉移动公司 用于增强在显示设备中的滚动操作的方法和设备
US20110161892A1 (en) * 2009-12-29 2011-06-30 Motorola-Mobility, Inc. Display Interface and Method for Presenting Visual Feedback of a User Interaction
CN102449593A (zh) * 2010-01-22 2012-05-09 电子部品研究院 基于碰触压力的ui提供方法及采用该方法的电子装置
US20110202859A1 (en) * 2010-02-12 2011-08-18 Microsoft Corporation Distortion effects to indicate location in a movable data collection

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844698B (zh) * 2016-03-15 2018-08-17 北京大学(天津滨海)新一代信息技术研究院 一种基于自然交互的物理仿真方法
WO2018068364A1 (zh) * 2016-10-14 2018-04-19 华为技术有限公司 用于页面显示的方法、装置、图形用户界面及移动终端
CN109804340A (zh) * 2016-10-14 2019-05-24 华为技术有限公司 用于页面显示的方法、装置、图形用户界面及移动终端
CN109804340B (zh) * 2016-10-14 2022-01-28 华为技术有限公司 用于页面显示的方法、装置、图形用户界面及移动终端
CN108334259A (zh) * 2017-01-17 2018-07-27 中兴通讯股份有限公司 应用的压力功能实现系统及方法
CN110945466A (zh) * 2017-07-28 2020-03-31 标致雪铁龙汽车股份有限公司 用于在车辆中提供包括控件的图形界面的装置
CN107831976A (zh) * 2017-09-22 2018-03-23 阿里巴巴集团控股有限公司 消息显示方法及装置
CN112799573A (zh) * 2017-09-22 2021-05-14 创新先进技术有限公司 消息显示方法及装置

Also Published As

Publication number Publication date
WO2014069917A1 (en) 2014-05-08
JP2015537299A (ja) 2015-12-24

Similar Documents

Publication Publication Date Title
JP6670369B2 (ja) ディスプレイ装置及びそのディスプレイ方法
US9367233B2 (en) Display apparatus and method thereof
CN104854549A (zh) 显示装置及其方法
US8302032B2 (en) Touch screen device and operating method thereof
CN105224166B (zh) 便携式终端及其显示方法
CN104011639B (zh) 用于在触摸屏显示器上提供可视效果的方法、设备和图形用户界面
CN102473066B (zh) 在多功能手持设备上显示、导航和选择电子方式存储内容的系统和方法
CN102221974B (zh) 指示笔设置
US20140149903A1 (en) Method for providing user interface based on physical engine and an electronic device thereof
EP2612220B1 (en) Method and apparatus for interfacing
AU2014312481B2 (en) Display apparatus, portable device and screen display methods thereof
US20080297484A1 (en) Method and apparatus for providing gesture information based on touchscreen and information terminal device having the apparatus
CN102207788A (zh) 使用边框手势的径向菜单
CN102122230A (zh) 多手指手势
US11314411B2 (en) Virtual keyboard animation
CN102122229A (zh) 使用边框作为输入机制
CN102754050A (zh) 屏幕上和屏幕外手势组合
CN102207818A (zh) 使用屏幕上和屏幕外手势的页面操纵
US20120284671A1 (en) Systems and methods for interface mangement
CN102884498A (zh) 用于创建屏幕上输入的屏幕外手势
US9207848B2 (en) Text display device, text display program, and text display method presenting tactile sensations in accordance with displayed text
US10331297B2 (en) Device, method, and graphical user interface for navigating a content hierarchy
US20120131501A1 (en) Portable electronic device and method therefor
KR20170057823A (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
WO2010095255A1 (ja) 情報処理装置、表示制御方法および表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150819

RJ01 Rejection of invention patent application after publication