CN103914222A - 图像显示装置及其控制方法 - Google Patents

图像显示装置及其控制方法 Download PDF

Info

Publication number
CN103914222A
CN103914222A CN201410006935.0A CN201410006935A CN103914222A CN 103914222 A CN103914222 A CN 103914222A CN 201410006935 A CN201410006935 A CN 201410006935A CN 103914222 A CN103914222 A CN 103914222A
Authority
CN
China
Prior art keywords
touch input
touch
input window
display unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410006935.0A
Other languages
English (en)
Other versions
CN103914222B (zh
Inventor
方有锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130149431A external-priority patent/KR102291879B1/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103914222A publication Critical patent/CN103914222A/zh
Application granted granted Critical
Publication of CN103914222B publication Critical patent/CN103914222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

图像显示装置及其控制方法。本公开的实施方式可以包括:显示单元,其被构造为使得能够进行触摸输入;感测单元,其被构造为感测施加到显示单元的触摸输入;以及控制器,其被构造为在接收到触摸输入窗口的请求时,在维持显示在显示单元上显示的对象的显示状态的同时控制显示单元显示具有预定透明度的触摸输入窗口,其中,当在显示有触摸输入窗口的区域中感测到第一触摸输入时,控制器在显示单元的一个区域中显示按照第一触摸输入的移动而移动的指针,并且利用该指针指点特定对象以输入对应的控制命令;并且当感测到在触摸输入窗口之外的区域中显示的对象上的第二触摸输入时,允许向该对象应用与第二触摸输入相对应的功能。

Description

图像显示装置及其控制方法
技术领域
本公开涉及图像显示装置及其控制方法,更具体地,涉及使能在显示器上进行触摸输入的图像显示装置及其控制方法。
背景技术
图像显示装置是包括输出可以由用户看到和听到的图像和声音的功能的装置。这种图像显示装置可以包括诸如便携式电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪等移动终端以及诸如数字TV、台式计算机等的静止终端的图像显示装置。
用户可以通过图像显示装置查看与诸如拍摄静止图像或运动图像、播放音乐或视频文件、玩游戏、接收广播等复合功能相对应的图像。
此外,图像显示装置提供用户界面(UI)环境,该UI环境允许用户容易且方便地检索或选择各种功能以查看图像。对于这些用户界面中的一种,例如使用了诸如键盘或者鼠标的直观输入装置。
另一方面,随着图像显示装置变得更轻和更简单并且逐渐强调小型化和便携性,用于提供诸如键盘或鼠标的单独输入装置的物理空间进一步受限。
发明内容
因而,本公开实施方式的一个方面提供了图像显示装置及其控制方法,其中实现了在显示单元上显示的不占据物理空间的虚拟输入装置。
此外,本公开实施方式的另一方面提供了图像显示装置及其控制方法,其中实现了在用户的期望位置显示的虚拟输入装置,该虚拟输入装置不会遮住在显示单元上显示的画面。
另外,本公开实施方式的又一方面提供了图像显示装置及其控制方法,利用对显示单元的直接触摸输入和虚拟输入装置,无需额外操作就可以连续切换基于指针的输入,并且可以根据特定条件仅执行对显示单元的直接触摸输入。
为此,根据本公开实施方式的图像显示装置可以包括:显示单元,其被构造为使得能够进行触摸输入;感测单元,其被构造为感测施加到所述显示单元的触摸输入;控制器,其被构造为在接收到对触摸输入窗口的请求时,在维持显示在所述显示单元上的对象的显示状态的同时控制所述显示单元显示具有预定透明度的触摸输入窗口,其中,当在显示有所述触摸输入窗口的区域中感测到第一触摸输入时,所述控制器进行控制以在所述显示单元的一个区域中显示与所述第一触摸输入的移动成比例地移动的指针,并且利用所述指针指点特定对象以输入对应的控制命令,并且当感测到在所述触摸输入窗口以外的区域中显示的对象上的第二触摸输入时,所述控制器进行控制以允许所述指针消失并且向所述对象应用与所述第二触摸输入相对应的功能。
根据实施方式,所述控制器可以响应于施加到所述触摸输入窗口中的预设区域的拖动触摸而控制所述显示单元沿着所述拖动触摸输入移动所述触摸输入窗口。
根据实施方式,当感测到沿着所述拖动触摸输入移动的所述触摸输入窗口的至少一部分离开所述显示单元的预设边界区域时,所述控制器可以基于所述预设边界区域控制所述显示单元使得所述触摸输入窗口位于所述预设边界区域之内。
作为与本公开相关的示例,可以在所述预设区域中显示与根据触摸而选择性地激活的第一模式和第二模式相对应的显示,并且当在所述第一模式下在所述触摸输入窗口之外的背景画面区域中感测到预设触摸时,所述控制器可以控制所述触摸输入窗口和所述指针从所述显示单元消失,并且当在所述第二模式下在所述触摸输入窗口之外的背景画面区域中感测到所述预设触摸时,所述控制器可以进行控制以维持所述触摸输入窗口和所述指针的显示。
根据实施方式,在接收到对所述触摸输入窗口的请求时,所述控制器可以控制所述触摸输入窗口和所述指针显示在从所述显示单元消失之前显示的位置处。
根据实施方式,所述触摸输入窗口可以包括至少第一区域和第二区域,并且当所述第一触摸输入的起点在所述第一区域中开始时,所述控制器可以对所述指针指示的对象执行双击功能,并且当所述第一触摸输入的起点在所述第二区域中开始时,所述控制器进行控制以显示用于执行与显示有所述指针的区域相关联的至少一个功能的菜单项。
根据实施方式,所述控制器可以在所述第一区域和所述第二区域之间的被施加了第一触摸输入的起点的区域中显示与其它区域视觉区分开的显示。
根据实施方式,当所述第一触摸输入的起点所在的区域与所述第一触摸输入的终点所在的区域不同时,所述控制器可以控制以仅执行与所述第一触摸输入的起点所在的区域相对应的功能。
根据实施方式,所述控制器可以在接收到所述第一输入信号时在所述显示单元的预设位置处将所述第一区域和所述第二区域彼此分开地显示,并且响应于在所述第一区域和所述第二区域中的至少一个中感测到拖动触摸输入而控制在所述显示单元的一个区域中显示按照所述拖动触摸输入的移动而移动的指针,并且在接收到第二输入信号时控制所述显示单元将所述第一区域和所述第二区域包含在一个触摸输入窗口中。
根据实施方式,所述控制器可以基于用户的设定来进行控制与在所述第一区域和所述第二区域中执行的所述第一触摸输入相对应的功能的切换。
根据实施方式,所述显示单元可以在根据所感测到的机体的倾斜而确定的方向上显示所述对象,并且所述控制器可以控制所述第一区域和所述第二区域的所述显示方向与所确定的方向匹配。
根据实施方式,所述控制器可以基于用户的输入而改变所述触摸输入窗口的尺寸。
根据实施方式,当所述触摸输入窗口的尺寸与所述显示单元的尺寸匹配时,响应于在所述显示单元上感测到的第三触摸输入,所述控制器可以控制所述显示单元在感测到所述第三触摸输入的位置处显示所述指针,并且响应于在所述显示单元上感测到的所述第一触摸输入而在所述显示单元的一个区域中显示按照所述第一触摸输入的移动而移动的指针。
根据实施方式,即使当从显示有所述触摸输入窗口的区域开始的所述第一触摸离开显示有所述触摸输入窗口的区域时,所述控制器也可以进行控制以维持按照第一触摸移动的指针的显示状态,并且即使当施加到在所述触摸而窗口之外的区域中显示的对象的第二触摸进入到显示有所述触摸输入窗口的所述区域时,也维持按照所述第二触摸移动的对象的显示状态。
根据实施方式,响应于施加到所述触摸输入窗口的预设区域的触摸输入,所述控制器可以显示用于调整所述触摸输入窗口的透明度的指示符图标,并且根据对所述指示符图标的操纵来调整所述触摸输入窗口的所述透明度。
根据实施方式,响应于施加到所述触摸输入窗口的预设触摸,所述控制器可以控制在所述触摸输入窗口内显示与在所述显示单元上显示的画面相关联的至少一个控制键。
根据实施方式,当在显示所述触摸输入窗口的状态下弹出与第一应用的执行相对应的窗口画面时,所述控制器可以使对所述触摸输入窗口中的与弹出的窗口画面交叠的区域的触摸输入无效。
根据实施方式,所述控制器可以基于预设优先级来确定是否显示所述触摸输入窗口以及是否使能对所述触摸输入窗口中的与所述窗口画面交叠的区域的触摸输入。
根据实施方式,响应于在显示有所述触摸输入窗口的区域中感测到的所述第一触摸输入,所述控制器可以进行控制以显示与所述第一触摸输入相对应的声音、振动和高亮效果中的至少一种。
根据本公开实施方式的控制图像显示装置的方法可以包括以下步骤:接收对触摸输入窗口的请求;响应于接收到的请求,在维持显示在显示单元上的对象的显示状态的同时在屏幕上显示具有预定透明度的触摸输入窗口;当在显示有所述触摸输入窗口的区域中感测到第一触摸输入时,在所述显示单元的一个区域中显示与所述第一触摸输入的移动成比例地移动的指针,并且利用所述指针指点特定对象以执行对应的控制命令;以及当感测到在所述触摸输入窗口之外的区域中显示的对象上的第二触摸输入时,允许所述指针消失并且向所述对象应用与所述第二触摸输入相对应的功能。
附图说明
附图被包括进来以提供对本发明的进一步理解,并结合到本申请中且构成本申请的一部分,这些附图例示了本发明的实施方式,并与说明书一起用于解释本发明的原理。
在附图中:
图1是根据本公开一个实施方式的图像显示装置的示例性构造的框图;
图2是例示作为根据本公开实施方式的图像显示装置的示例的膝上型计算机的图;
图3是根据本公开实施方式的图像显示装置的操作方法的示意流程图;
图4A到图4E是用于说明根据本公开实施方式的使用在显示单元上显示的虚拟输入装置来控制画面的方法的概念图;
图5A到图5C是用于说明根据本公开实施方式的移动在显示单元上显示的虚拟输入装置的方法的概念图;
图6A和图6B是用于说明根据本公开实施方式的将显示单元上显示的虚拟输入装置从画面释放和固定到画面的方法的概念图;
图7A到图7D是用于说明根据本公开实施方式的在显示单元上显示的虚拟输入装置中执行不同功能的方法的概念图;
图8是用于说明根据本公开实施方式的在显示单元上的多个区域中显示虚拟输入装置的方法的概念图;
图9A和图9B是用于说明根据本公开实施方式的用于基于图像显示装置的画面方向或分辨率变化来显示虚拟输入装置的方法的概念图;
图10A到图10F是用于说明根据本公开实施方式的调整虚拟输入装置的尺寸并且通过调整了尺寸的虚拟输入装置来执行输入的方法的概念图;
图11A到图11C是用于说明根据本公开实施方式的维持直接触摸输入和基于指针的输入的方法以及向虚拟输入装置添加对用户方便的界面环境的方法的概念图;以及
图12是用于说明根据本公开实施方式的基于特定应用停用虚拟输入装置的方法的概念图。
具体实施方式
在下文中,将参照附图描述本发明的优选实施方式,并且无论附图中的标号,使用相同的附图标记表示相同或相似的元素,并且省略冗余的描述。用于以下描述中公开的组成元件的后置语“模块”或者“单元”仅旨在便于说明书的描述,并且后置语本身不提供任何特殊含义或功能。另外,在本发明的描述中,当判断对本发明所属的公知技术的具体描述将混淆本发明的精神时,将省略详细描述。并且,应注意,附图仅仅是例示以便于说明本发明的概念,因此不应理解为此处公开的技术概念受到附图限制。
此处公开的图像显示装置可以包括便携式电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、移动多媒体播放器(PMP)、导航仪、slate PC、平板PC(tablet PC)、超级本等。然而,本领域技术人员容易理解,除了特别针对移动构造的元件,根据以下描述的构造可以应用于诸如数字TV、台式计算机等静止终端。
图1是例示根据本公开中公开的实施方式的图像显示装置100的框图。
图像显示装置100可以包括无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源单元190等。然而,并不必须需要图1中例示的组成部件,并且图像显示装置可以用比例示的部件多或少的部件实现。
在下文中,将按顺序描述上述组成部件。
无线通信单元110可以包括允许在图像显示装置100和无线通信系统之间进行无线通信或者允许在图像显示装置100和图像显示装置100所处的网络之间进行无线通信的一个或更多个模块。例如,无线通信单元110可以包括广播接收模块111、移动通信模块112、无线因特网模块113、短距离通信模块114、位置信息模块115等中的至少一个。
广播接收模块111经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。
广播频道可以包括卫星频道或地面频道。广播管理实体可以指生成并发射广播信号和/或广播相关信息的服务器,或者指接收预先生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以实现为TV广播信号、无线电广播信号和数据广播信号等。广播信号还可以包括与TV或无线电广播信号组合的数据广播信号。
广播相关信息的示例可以包括与广播频道、广播节目、广播服务提供商等相关的信息。广播相关信息可以经由移动通信网络来提供,并且通过移动通信模块112接收。
广播相关信息可以实现为各种格式。例如,广播相关信息可以包括数字多媒体广播(DMB:Digital Multimedia Broadcasting)的电子节目指南(EPG:Electronic ProgramGuide)、手持数字视频广播(DVB-H)的电子服务指南(ESG:Electronic Service Guide)等。
广播接收模块111可以被配置为接收从各种类型的广播系统发送的数字广播信号。这种广播系统可以包括地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、媒体仅前向链路(MediaFLO)、手持数字视频广播(DVB-H)、地面综合业务数字广播(ISDB-T)等。当然,广播接收模块111可以构造为适用于发送广播信号的每一种广播系统以及数字广播系统。
经由广播接收模块111接收到的广播信号和/或广播相关信息可以存储在存储器160中。
移动通信模块112在无线通信网络上向和从基站、外部终端和服务器中的至少一方发射和/或接收无线信号。这里,无线信号可以包括音频呼叫信号、视频呼叫信号,或者根据文本和多媒体消息的收发包括各种格式的数据。
移动通信模块112可以构造为实现视频通信模式和语音通信模式。视频通信模式是指在观看对方的图像时进行通信的构造,并且语音通信模式是指在不观看对方的图像时进行通信的构造。移动通信模块112可以被构造为发送或接收音频或视频数据中的至少一种以实现视频通信模式和语音通信模式。
无线因特网模块113是指用于支持无线因特网接入的模块,并且可以是内置于图像显示装置100中或外部安装在图像显示装置100上。这里,可以使用包括WLAN(无线LAN)、Wi-Fi(Wireless Fidelity:无线保真)直连(DLNA)(数字现场网络联盟)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行分组接入)等的无线因特网接入技术。
短距离通信模块114是指用于支持短距离通信的模块。这里,可以使用包括蓝牙TM、射频识别(RFID)、红外数据委员会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)等的短距离通信技术。
位置信息模块115是用于检查或获取图像显示装置的位置的模块,并且存在全球定位模块(GPS)模块或无线保真(WiFi)作为代表示例。
参照图1,A/V(音频/视频)输入单元120接收音频或视频信号,并且A/V(音频/视频)输入单元120可以包括摄像头121和麦克风122。摄像头121处理图像传感器在视频电话呼叫模式或图像拍摄模式中获得的诸如静止图像或运动图像的图像帧。经处理的图像帧可以在显示单元151上显示。
经过摄像头121处理的图像帧可以存储在存储器160中或通过无线通信单元110发送到外部装置。此外,从摄像头121获取的图像帧可以产生用户的位置信息等。根据使用环境,可以设置两个或更多个摄像头121。
麦克风122在电话呼叫模式、记录模式、语音识别模式等中通过麦克风来接收外部音频信号,并且将音频信号处理为电语音数据。在电话呼叫模式中,经处理的语音数据被转换并输出为可通过移动通信模块112发射至移动通信基站的格式。麦克风122可以实现各种类型的噪声消除算法以消除在接收外部音频信号的过程中产生的噪声。
用户输入单元130可以产生用于控制图像显示装置100的操作的输入数据。用户输入单元130可以由键盘、薄膜开关、触摸板(压力/电容)、滚轮、拨动开关等构成。
感测单元140检测图像显示装置100的当前状态,诸如图像显示装置100的打开或闭合构造、图像显示装置100的位置、是否存在与图像显示装置100的用户的接触、图像显示装置100的方向、图像显示装置100的加速度/减速度等,以产生用于控制图像显示装置100的操作的感测信号。例如,当图像显示装置100是滑盖式电话时,感测单元140可以感测图像显示装置的滑动部分是打开还是闭合的。其它示例包括感测功能,例如感测单元140感测是否存在由电源单元190提供的电力、接口单元170和外部设备之间的联结是否存在。
输出单元150被构造为生成与视觉、听觉或触觉相关联的输出,并且可以包括显示单元151、音频输出模块153、告警单元154、触觉模块155等。
显示单元151可以显示(输出)在图像显示装置100中处理的信息。例如,当图像显示装置100处于电话呼叫模式时,显示单元151可以显示与呼叫相关的用户界面(UI)或图形用户界面(GUI)。当图像显示装置100处于视频呼叫模式或图像拍摄模式时,显示单元151可以显示拍摄的图像和/或接收到的图像、UI或GUI。
显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等中的至少一种。
这些显示器中的一些可以被配置为透明或光学透明型以允许透过显示单元看到外部,这可以被称为透明显示器。通常的透明显示器的示例可以包括透明LCD(TOLED)等。通过这种构造,透过由终端机体的显示单元151占据的区域,用户可以看到位于终端机体的后侧的物体。
根据图像显示装置100的构造,可以实现两个或更多个显示单元151。例如,多个显示单元151可以彼此隔开或彼此集成地布置在一个表面上,或者可以布置在图像显示装置100的不同表面上。
此外,显示单元151可以有用于显示立体图像的立体显示单元152。
这里,立体图像指示三维立体图像,并且三维立体图像是使得用户能够如同在真实空间中一样感觉监视器或屏幕上的对象的逐渐深度和真实性的图像。可以使用双目视差实现该三维立体图像。在此,双目视差表示由两个眼睛彼此分开的位置形成的视差,当两个眼睛看到不同的二维图像并接着图像通过视网膜传递并在大脑中合并为单个图像时使得用户能够感觉到立体图像的深度和真实性。
立体法(眼镜法)、自动立体法(无眼镜法)、投影法(全息法)等可应用于立体显示单元152。主要用于家用电视机接收器等的立体方法可以包括Wheatstone立体法等。
自动立体法的示例可以包括视差栅栏法、双凸透镜(lenticular)法、积分成像法等。投影法可以包括反射全息法、透射全息法等。
通常,三维立体图像可以包括左图像(针对左眼的图像)和右图像(针对右眼的图像)。根据将左图像和右图像组合为三维立体图像的方法,实现三维立体图像的方法可以被划分为:上下法,其中,左图像和右图像在帧内布置在上部和下部;左右(L到R)或并排法,其中,左图像和右图像在帧内布置在左侧和右侧;棋盘法,其中,多个左图像和右图像按照瓷砖的格式布置;交织法,其中,针对每列和每行交替布置左图像和右图像;以及时间序列或逐帧法,其中,针对每个时间帧交替显示左图像和右图像。
对于三维缩略图图像,可以从原始图像帧的左图像和右图像产生左图像缩略图和右图像缩略图,接着将它们彼此组合以产生三维缩略图图像。通常,缩略图表示缩小的图像或缩小的静止视频。按此方式产生的左缩略图图像和右缩略图图像按照与左图像和右图像的视差相对应的深度在屏幕上显示为具有左右距离差,由此实现立体空间感觉。
实现三维立体图像需要的左图像和右图像由立体处理单元(未示出)在立体显示单元152上显示。立体处理单元接收3D图像以从该3D图像中提取左图像和右图像,或者接收2D图像并将2D图像转换为左图像和右图像。
另一方面,当显示单元151和触摸敏感传感器(在下文中,称为“触摸传感器”)具有层间结构(在下文,称为“触摸屏”)时,显示单元151除了可以用作输出装置以外还可以用作输入装置。触摸传感器可以实现为触摸膜、触摸片、触摸板等。
触摸传感器可以配置为将施加至显示单元151的特定部分的压力或从显示单元151的特定部分发生的电容的变化转换为电输入信号。触摸传感器可以被构造为不仅感测触摸位置和触摸面积,而且还感测触摸物体主体在触摸传感器上触摸的触摸压力。这里,触摸物体主体可以是手指、触摸笔或手写笔、指针等作为对触摸传感器施加触摸的物体。
当存在对触摸传感器的触摸输入时,对应的信号被发送到触摸控制器。触摸控制器处理信号,并接着将对应的数据发送到控制器180。因此,控制器180可以感测显示单元151的哪个区域被触摸。
参照图1,接近传感器141可以被设置在图像显示装置100的被触摸屏围绕的内部区域或者与触摸屏相邻。接近传感器141可以被提供为感测单元141的示例。接近传感器141是指在没有机械接触的情况下利用电磁场或红外线来感测接近要感测的表面的物体或靠近要感测的表面布置的物体的存在或不存在的传感器。与接触传感器相比,接近传感器141具有更长的寿命以及更强的实用性。
接近传感器141可以包括光学透射型光电传感器、直接反射型光电传感器、镜像反射型光电传感器、高频振荡型接近传感器、电容型接近传感器、磁接近传感器、红外线接近传感器等。当触摸屏被实现为电容型时,通过电磁场的改变来感测具有导电性的物体(在下文称为“指针”)对触摸屏的接近。在这种情况下,可以将触摸屏(触摸传感器)归类为接近传感器。
在下文中,为了便于简要说明,将把指针被放置为接近触摸屏但没有与触摸屏接触的行为称为“接近触摸”,而把指针与触摸屏充分接触的行为称为“接触触摸”。对于与指针在触摸屏上的接近接触相对应的位置,这种位置对应于在指针的接近触摸时指示垂直地面向触摸屏的位置。
接近传感器141感测接近触摸和接近触摸模式(例如,接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等)。与感测到的接近触摸和感测到的接近触摸模式有关的信息可以输出至触摸屏。
当立体显示单元152和触摸传感器按层间结构(在下文,称为“立体触摸屏”)构造或者立体显示单元152和用于检测触摸操作的3D传感器彼此组合时,立体显示单元152可以用作三维输入装置。
作为3D传感器的示例,感测单元140可以包括接近传感器141、立体触摸感测单元142、超声波感测单元143和摄像头感测单元144。
接近传感器141在没有机械接触的情况下使用电磁场或红外线来测量感测物体(例如,用户的手指或手写笔)和被施加触摸的检测表面之间的距离。图像显示装置可以使用测量到的距离来识别立体图像的哪个部分被触摸。具体地,当触摸屏实现为电容型时,可以将触摸屏构造为使得通过与感测物体的接近相对应的电磁场的变化来对感测对象的接近程度进行感测,以使用该接近程度来识别三维触摸。
立体触摸感测单元142可以被构造为感测施加到触摸屏的触摸的强度或持续时间。例如,立体触摸感测单元142感测用户施加的触摸压力,并且如果施加的压力强,则立体触摸感测单元142将该触摸识别为针对位置离触摸屏远的对象的触摸。
超声波感测单元143可以被构造为使用超声波对感测物体的位置进行感测。
例如,超声波感测单元143可以配置有光学传感器和多个超声波传感器。光学传感器可以被形成为感测光,并且超声波传感器可以形成为感测超声波。由于光比超声波快得多,因此光到达光学传感器的时间比超声波到达超声波传感器快得多。因此,使用光和超声波到达光学传感器的时间差可以计算波产生源的位置。
摄像头感测单元144可以包括摄像头121、光电传感器和激光传感器中的至少一个。
例如,摄像头121和激光传感器可以彼此组合以对感测物体对三维立体图像的触摸进行感测。激光传感器感测到的距离信息被添加到摄像头捕捉到的二维图像,以获取三维信息。
举另一个示例,光电传感器可以设置在显示元件上。光电传感器可以被构造为扫描接近触摸屏的感测物体的移动。更具体地,光电传感器被集成有按行和列布置的光电二极管和晶体管,并且可以利用根据施加到光电二极管的光量改变的电信号来扫描光电传感器上的内容。换句话说,光电传感器根据改变的光量进行感测物体的坐标计算,因此可以检测到感测物体的位置坐标。
音频输出模块153可以在呼叫接收模式、呼叫发起模式、记录模式、语音识别模式、广播接收模式等中输出从无线通信单元110接收到的或存储在存储器160中的音频数据。音频输出模块153可以输出与图像显示装置100中执行的功能相关的音频信号(例如,提示接收到呼叫或接收到消息等的声音信号)。音频输出模块153可以包括接收器、扬声器、蜂鸣器等。
告警单元154输出通知从图像显示装置100发生的事件的信号。从图像显示装置100发生的事件可以包括接收到呼叫、接收到消息、按键信号输入、触摸输入等。告警单元154不仅可以输出视频或音频信号,还可以输出其它类型的信号,例如,以振动方式通知事件的发生的信号。由于可以通过显示单元151或音频输出单元153输出视频信号或频信号,所以可以将显示单元151和音频输出模块153归类为告警单元154的一部分。
触觉模块155生成用户可以感觉到的各种触觉效果。由触觉模块154生成的触觉效果的典型示例包括振动。由触觉模块154生成的振动可以具有可控的强度、可控的模式等。例如,可以以合成的方式或连续的方式输出不同的振动。
触觉模块155可以生成多种触觉效果。这样的触觉效果不仅包括振动,而且还包括由与用户的皮肤接触的垂直移动的针列造成的效果、由通过喷孔或吸孔的空气喷力或空气吸力造成的效果、掠过皮肤表面造成的效果、与电极接触造成的效果、静电力造成的效果以及利用能够吸热或放热装置的热和冷温度的施加造成的效果。
触觉模块155可以配置为通过用户的直接接触或者利用用户的手指或手的肌觉来传递触觉效果。根据图像显示装置100的配置,触觉模块155可以在数目上实现为两个或更多个。
存储器160可以存储对控制器180进行处理和控制的程序。另选地,存储器160可以临时存储输入/输出数据(例如,电话薄、消息、静止图像、视频等)。而且,存储器160可以存储与振动的各种模式相关的数据以及在触摸屏上进行触摸输入时的声音输出。
可以利用任何类型的适合的存储介质实现存储器160,这些存储介质包括闪存类型、硬盘类型、存储卡类型(例如,SD或DX存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。而且,图像显示装置100可以与在因特网上执行存储器160的存储功能的网络存储器相关联地进行操作。
接口单元170可以一般被实现为将图像显示装置连接到与图像显示装置100连接的外部装置。接口单元170可以允许来自外部装置的数据接收、向图像显示装置100中的各个组件的电力传输或者从图像显示装置100到外部装置的数据发送。接口单元170可以包括例如有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于耦接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
另一方面,识别模块可以配置为用于存储对使用图像显示装置100的权限进行认证所需的各种信息的芯片,识别模块可以包括用户身份模块(UIM)、订户身份模块(SIM)等。而且,具有识别模块的装置(以下称为“识别装置”)可以实现为智能卡的类型。因此,识别装置可以经由端口耦接至终端100。
此外,接口单元170可以用作当图像显示装置100连接至外部支架时从外部支架向图像显示装置100供电的路径,或者用作将由用户从支架输入的各种指令信号传递到图像显示装置100的路径。这些从支架输入的各种指令信号或者电源可以操作为识别图像显示装置100已被正确地安装到支架的信号。
控制器180通常控制图像显示装置100的总体操作。例如,控制器180执行与电话呼叫、数据通信、视频呼叫等相关的控制和处理。控制器180可以包括提供多媒体播放的多媒体模块181。多媒体模块181可以被配置为控制器180的一部分或者被配置为单独组件。
电源单元190在控制器180的控制下接收外部电力或内部电力,以提供各个部件要求的电力。
此处描述的各个实施方式可以提供使用软件、硬件或者软件硬件的任意组合而在计算机或者类似装置可读的介质中实现。
对于硬件实现方式,可以用以下至少一种来实现:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行此处描述的功能的电学单元。在一些情况下,可以在控制器180自身中实现这样的实施方式。
对于软件实现,可以由单独的软件模块实现本公开中描述的诸如过程或者功能的实施方式。各软件模块可以执行本公开中描述的至少一个功能或操作。
可以用以任何合适的编程语言编写的软件应用来实现软件代码。可将软件代码存储在存储器160中,并由控制器180执行。
另一方面,应用于根据本公开的实施方式的图像显示装置100的触摸输入装置被构造为具有预定透明度以维持在显示单元151上显示的对象的显示状态。当在显示单元151上显示触摸输入装置时,感测单元140感测施加到所显示的触摸输入装置的触摸,该触摸与施加到触摸输入窗口之外的区域的触摸区分开。
控制器180在显示单元上显示与第一触摸输入的移动成比例地移动的指针,并且利用指针指点在显示单元上显示的特定对象以响应于在显示有触摸输入窗口的区域中感测到的第一触摸输入来执行对应的控制命令。此外,当在显示在触摸输入窗口之外的区域中的对象上感测到第二触摸输入时,控制器180允许指针消失并且向该对象应用与第二触摸输入相对应的功能。
在下文中,参照图2,将描述膝上型计算机作为应用了根据本公开的实施方式的虚拟触摸输入装置的图像显示装置100的示例。
参照图2,代替了诸如鼠标这样的指点装置,在图像显示装置100的显示单元151的一个区域中显示了虚拟触摸输入装置500。根据本公开的实施方式,响应于用户的触摸输入,虚拟触摸输入装置500可以执行与鼠标相同功能。例如,当触摸被施加到显示单元151的一个区域中的虚拟触摸输入装置500时,可以在上面显示鼠标指针。此外,用户可以将他或她的手或手写笔放置在显示在显示单元151上的虚拟触摸输入装置500上,以将其在他或她期望的方向上移动,诸如上、下、左、右、对角线方向等,由此控制鼠标指针。
具体地,图像显示装置100可以从与施加到虚拟触摸输入装置500的触摸输入相对应的移动信息产生鼠标指针的X、Y坐标。此外,图像显示装置100可以根据产生的X、Y坐标来显示鼠标指针。此外,对于图像显示装置100,可以基于施加到虚拟触摸输入装置500的触摸输入的压力、方向、速度和频度来确定鼠标指针的形状(或大小)、移动方向、移动速度和移动距离。此外,除了箭头形状,鼠标指针还可以由点、游标、提示符、轮廓等形状形成。
另一方面,虚拟触摸输入装置500具有预定透明度以不遮挡显示单元151上的各种对象的显示并且不妨碍对所述对象的输入。结果,可以同时克服由于提供输入装置而导致的空间限制和屏幕限制两者。
此外,虚拟触摸输入装置500可以被移动到显示单元151内的用户期望的位置,并且其尺寸可以针对用户适当地改变。因此,用户可以将虚拟触摸输入装置500放置在他或她的方便的位置以进行输入,并且指针和用于控制鼠标指针的虚拟触摸输入装置500彼此分开,由此防止要被用户的手或手写笔指点的对象被遮挡住。
另外,针对图2例示的膝上型计算机100,键盘输入装置例如被例示为用户输入单元130,但虚拟键盘也可以实现为在显示单元151上显示来代替键盘输入装置。
在下文中,将参照图3、图4A到图4E描述根据本公开实施方式的显示了虚拟输入装置的图像显示装置100的操作方法。
图3是根据本公开实施方式的图像显示装置的操作方法的示意流程图,并且图4A到图4E是用于说明根据本公开实施方式的使用在显示单元上显示的虚拟输入装置来控制画面的方法的概念图。
首先,对于图像显示装置100的控制方法,执行根据预设的用户输入来接收对触摸输入窗口的请求的处理(S310)。
这里,与对触摸输入窗口的请求相对应的输入信号可以以各种方式实现。例如,用户可以触摸与在显示单元151的一个区域(例如,下端区域)中显示的触摸输入窗口相对应的图标或软键,或按下用户输入单元130的特定键以输入用于执行触摸输入窗口的开/关功能的控制命令。否则,例如,当输入预设语音命令(例如,“鼠标”)时,可以识别为对触摸输入窗口的请求。
随后,响应于接收到的请求,图像显示装置100在维持显示在图像显示装置100的显示单元151上的对象的显示状态的同时在显示单元151上显示具有预定透明度的触摸输入窗口(S320)。
这里,预定透明度可以是预设的值。此外,触摸输入窗口的至少一部分可以具有不同于其它区域的透明度值。例如,触摸输入窗口的边界区域可以以低于预设透明度值的透明度显示,并且其它区域可以设定为具有预设透明度值。因此,用户可以立即识别出触摸输入窗口的显示或者非显示以及显示位置。
例如,参照图4A,触摸输入窗口500可以按照预定透明度显示在显示单元151的一个区域中,以将在显示单元141的一个区域中弹出的网页401的显示以及背景画面402维持原样。此外,在显示单元151的一个区域中显示与对触摸输入窗口500的触摸输入相对应的指针。另外,当在显示单元151上显示触摸输入窗口500时,在显示单元151的下端区域中显示用于指示操作状态的图标450。
另一方面,与对触摸输入窗口500的触摸输入相对应的指针可以控制在显示单元151上显示的全部对象和画面。例如,如图4A所示,当显示有触摸输入窗口500的区域与用于控制网页401的画面的键区域(key region)交叠时,控制器可以进行控制以禁用相关的键区域并且仅激活显示有触摸输入窗口500的区域,尽管用于控制网页401的画面的键区域以透明方式显示。此外,即使当在显示触摸输入窗口500的区域上弹出新的窗口画面时,控制器也可以控制仅激活显示有触摸输入窗口500的区域。
但是,如以下更详细描述的,对于预设的特定区域或特定程序,控制器可以将触摸输入窗口500处理为被锁定或将施加到触摸输入窗口500的触摸输入处理为无效。
在下文中,参照图4D,作为触摸输入窗口的示例,将参照图4D更详细地描述鼠标的形状和功能。
如图4D所示,触摸输入窗口可以包括多个可区分的区域501、502、503、504。此外,区域501、502、503、504中的每一个可以感测由用户的手、手写笔等实现的触摸输入的位置、压力级别、触摸时间、触摸拖动长度、触摸频度等。例如,第一区域501可以对应于用于控制指针的鼠标区域。此外,第二区域502可以对应于用于执行鼠标的左键(即,点击功能)的输入区域。此外,第三区域存储单元503可以对应于用于将触摸输入窗口移动到另一个位置或者执行将其固定到特定位置的定位功能的输入区域。此外,第四区域504可以对应于用于执行用于显示鼠标的右键(即,上下文菜单)的控制命令的输入区域。
另一方面,根据本公开实施方式的触摸输入窗口可以不必限制于上述形状和区域,并且还可以基于用户的输入或根据用户的方便以各种形状实现。此外,图4D中的触摸输入窗口可以附加地设置有虚拟输入装置,诸如鼠标滚轮、拨杆等。
图4E例示了添加有虚拟键盘的上述虚拟输入装置的示例。图4E例示的虚拟键盘的键布局方案可以基于激活的输入语言(例如,朝鲜语、英语、日语、法语等)和输入键的数量而改变。
尽管图4E未例示,控制器180可以根据键盘的键布局方案按照适当方式调整虚拟键盘布局以将其显示在显示单元151上。此外,控制器180可以基于在显示单元151上显示的指针的位置而获得输入语言值,并且显示以“朝鲜语”布局的虚拟键盘。这里,根据本公开实施方式的虚拟触摸输入窗口应在不妨碍显示单元151的输入和输出的方向上显示到最大,并且因而与输入语言值相对应的键的显示也被形成为具有预设透明度。否则,没有键信息可以针对虚拟键盘的每个键显示。在此情况下,能够在虚拟键盘上在与“FJ”键(或朝鲜语键)相对应的键508、509上显示突出形状,或者根据触摸输入输出预定振动。另外,当根据指针的位置改变而获取了不同输入语言值时,控制器180可以对其感测以改变虚拟键盘的布局。
随后,参照图4E,虚拟键盘还可以包括与虚拟鼠标相对应的键。例如,如图4E所示,用于控制在显示单元151上显示的指针的鼠标501可以显示在虚拟键盘的中心区域,并且鼠标的左键502和右键504可以显示在虚拟键盘的下端区域。此外,当感测到针对与虚拟键盘和虚拟鼠标相对应的特定键的触摸输入时,与相关键的输入相对应的显示(例如,阴影效果等)可以显示在所述键上。此外,指示虚拟鼠标和键盘装置被激活的多个图标450、460可以显示在显示单元151的下端区域。
在触摸输入窗口如上所述地显示在显示单元151上的状态下,感测单元140可以感测施加到触摸输入窗口的触摸输入或施加到触摸输入窗口之外的区域中的触摸输入。这里,在触摸输入窗口内进行的触摸输入伴随着将其转换为与相关输入装置相对应的输入数据(即,鼠标输入数据或者键盘输入数据)的处理。
为此,在根据本公开实施方式的图像显示装置100的存储器单元160中,可以存储用于识别与在显示有触摸输入窗口的区域中进行的触摸相对应的X、Y坐标和它们的坐标变化量的触摸过滤驱动程序。触摸过滤驱动程序还可以预先存储在存储器160中,但是也可以从外部装置或服务器下载并安装。
例如,在显示单元151上显示触摸输入窗口的时间点,与触摸输入窗口关联的指针的X、Y坐标可以传递到控制器180。此外,每当触摸被施加到触摸输入窗口,指针的X、Y坐标改变量可以传递到控制器180。控制器180可以将通过执行触摸过滤驱动程序而接收到的坐标值与显示有触摸输入窗口的区域中的坐标值进行比较(可以确定触摸输入窗口是否被激活),以确定与接收到的坐标值相对应的触摸是在触摸输入窗口内进行的还是在触摸输入窗口之外的区域中进行的。当确定传递到控制器180的坐标值是施加到触摸输入窗口的触摸输入时,执行与在触摸过滤驱动程序中预定义的描述符相对应的控制命令。
这里,利用事件通知方案,预定义的描述符传递到控制器180。例如,当触摸输入窗口被划分为多个区域时,如以下更详细描述的,与感测到触摸输入的区域的位置相对应的描述符被按照预定义的消息形式格式化并且传递到控制器180,并且控制器180基于传递的信息执行与感测到触摸输入的区域相对应的控制命令。
另一方面,当传递到控制器180的X、Y坐标值被识别为从触摸输入窗口之外的区域开始时,所述X、Y坐标值被原样地传递到图像显示装置100内的操作系统(OS)触摸输入程序。相反,当传递到控制器180的X、Y坐标值和它们的坐标改变量被识别为从触摸输入窗口开始时,则X、Y坐标值被传递到OS输入程序(例如,诸如OS键盘、鼠标、拨杆等的程序),以将施加到触摸输入窗口的触摸输入的坐标值转换为与键盘、鼠标或拨杆相对应的输入数据。
按此方式,响应于在显示有触摸输入端口的区域中感测到第一触摸输入,控制器180在显示单元151的一个区域中显示与第一触摸输入的移动成比例地移动的指针。此外,控制器180控制所显示的指针指点特定对象来执行对应的控制命令(S330)。
这里,第一触摸输入可以是从显示有触摸输入窗口的区域开始的拖动触摸输入。此外,第一触摸输入可以是在显示的指针指点特定对象的状态下施加到显示有触摸输入窗口的区域的双短触摸输入。在下文中,这种触摸输入可以称为“间接触摸输入”。
此外,根据触摸输入显示的指针的形状可以实现为预设形状,例如,箭头形状,但是可以不必限制于此,而是根据用户的选择以各种方式改变或者实现为根据指针所位于的应用的类型以适当形式自动选择。
此外,控制器180可以基于触摸输入窗口的面积来控制指针与第一触摸输入的触摸力、拖动长度、拖动速度等成比例地或以类似方式移动。
例如,当所显示的触摸输入窗口小于预设尺寸时,与第一触摸输入的拖动长度相对应的指针的移动距离可以改变为较大。此外,例如,当所显示的触摸输入窗口大于预设尺寸时,与第一触摸输入的拖动长度相对应的指针的移动距离可以改变为较小。否则,例如,随着从显示有触摸输入窗口的区域开始的第一触摸输入的拖动速度增加,指针的运动速度可能较快。
此外,控制器180可以控制与第一触摸输入的移动成比例的指针的移动速度根据指针所在区域的属性而不同地改变。例如,当指针所在的区域的属性包含多个菜单对象时,与第一触摸输入的移动成比例的指针的移动速度可以比基准值减小以便更准确的控制。
此外,响应于在显示有触摸输入窗口的区域中感测到第一触摸输入,可以显示与第一触摸输入相对应的声音、振动和突出效果中的至少一个。这里,当与第一触摸输入相对应的效果被输出为声音或振动时,声音的音量或振动的程度可以与施加的触摸输入的压力和速度成比例地不同地输出。
参照图4C,当拖动触摸输入施加到触摸输入窗口500的一个区域时,在显示单元151的一个区域中显示指针410。用户可以在左、右、上和下方向上移动施加到触摸输入窗口500的触摸,以在与其成比例或类似的长度和方向移动指针410。这里,如上所述,对于指针410的X、Y坐标,控制器180首先使用触摸过滤驱动程序确定与触摸输入相对应的坐标值是否是从触摸输入窗口内开始(过滤),并且当确定与触摸输入相对应的坐标值是从触摸输入窗口内开始时,控制器180将其转换为适用于相关输入装置的输入数据(即,鼠标输入数据),以将其传递到图像显示装置100的OS程序。用户可以利用指针410指点弹出的网页401的结束键401a以终止弹出的网页401。
另一方面,当感测到在触摸输入窗口之外的区域中显示的对象上的第二触摸输入时,控制器180可以控制所显示的指针消失,并且向该对象应用与第二触摸输入相对应的功能(S340)。
这里,第二触摸输入可以是从显示有触摸输入窗口的区域之外的区域开始的长触摸输入或拖动触摸输入。否则,第二触摸输入可以是施加到显示在触摸输入窗口之外的区域中的对象的双短触摸输入。在下文中,这种触摸输入可以称为“直接触摸输入”。
此外,在这里,与第二输入触摸相对应的功能可以根据对象的属性而改变。例如,当被施加了第二触摸输入的对象是特定应用的图标时,与第二触摸输入相对应的功能可以是与该图标的特定应用的执行命令。否则,当被施加了第二触摸输入的对象是特定菜单键时,与第二触摸输入相对应的功能可以是用于进入与该相关菜单键相对应的画面的执行命令。
参照图4B,即使是在显示单元151上显示并激活了触摸输入窗口500的情况下,用户也可以对显示单元151上显示的特定图标420a进行直接触摸输入。此时,通过对触摸输入窗口500触摸而控制的指针从画面消失。如上所述,当触摸输入从触摸输入窗口500之外的区域中开始时,控制器180仅产生被施加触摸输入的位置的坐标以将它们传递到OS程序。用户可以对特定图标420a进行直接触摸输入以执行对应的应用。这里,尽管附图中未示出,但是可以在同一时间显示与指示用户进行触摸输入的位置的指针区分开的形状(例如,手形指示符)。
另一方面,用户可以如上所述地进行直接触摸输入,并接着无需操纵就以自然和连续的方式立即进行间接触摸输入。例如,可以利用“直接触摸输入”进行用于控制在显示单元151上显示的大画面的操纵,并且可以使用指针利用“间接触摸输入”进行用于选择和控制在显示单元151上显示的对象的操纵。这种操作可以在没有切换操作的情况下顺序且交替地进行。
此时,用于进行“间接触摸输入的”指针位于目标对象,并且用于控制该指针的用户的手、手写笔等位于触摸输入窗口处或附近,因而不造成指针或目标对象被用户的手或手写笔遮挡住的不便。
如上所述,根据本公开的实施方式,与图像显示装置关联的输入装置可以实现为位于画面内而不遮挡其它对象,由此克服由于输入装置引起的物理空间的限制。此外,能够使得对画面的输入和输出的限制减到最小,并且避免用户的手或手写笔要指点的对象被遮挡住的不便。
另一方面,上述触摸输入窗口500可以在用户的期望位置处显示。在下文中,将参照图5A到图5C描述将在显示单元上显示的虚拟输入装置移动到期望位置的方法。
在接收到对触摸输入窗口的请求时,在显示单元151的一个区域中显示具有预定透明度的触摸输入窗口。触摸输入窗口可以设置有包含用于将该窗口移动到另一个位置或者固定到特定位置的定位功能的一个区域或按钮(在下文称为“定位(pinning)键”)。
响应于施加到触摸输入窗口中的预设区域(即,定位键)的拖动触摸,控制器180可以沿着拖动触摸方向移动触摸输入窗口。
例如,如图5A所示,在用户的手触摸了触摸输入窗口500的定位键503的状态下,触摸输入窗口500可以在期望方向移动到期望位置。此时,在定位键503上显示指示触摸的显示,例如,阴影效果或者透明度降低效果。
另一方面,施加到触摸输入窗口的触摸还基于显示单元151的X、Y坐标,因而被激活的触摸输入窗口应位于显示单元151的至少一个区域内。因此,边界区域可以被构造为使得触摸输入窗口位于显示单元151内。
具体地,当沿着拖动施加到定位键的触摸的触摸方向移动的触摸输入窗口的至少一部分被感测为要超出预设的边界区域时,控制器180可以基于预设的边界区域来控制显示单元151使得所述触摸输入窗口位于边界区域内部。
此时,当超出边界区域的触摸输入窗口返回位于显示单元151的预设边界区域内的位置时,可以向其应用诸如被加载弹簧的动画效果。换句话说,可以相触摸输入窗口应用诸如加速度和反向加速度这样的运动的物理定律,因而触摸输入窗口可以按照与超出预设边界区域的距离、根据触摸到达边界区域的力量和速度而成比例的弹跳方式返回。此外,此时,当触摸输入窗口连续到达多个边界区域时,可以改变以弹跳方式返回的触摸输入窗口的方向。
例如,参照图5B,在用户触摸了触摸输出窗口500上的定位键503的状态下,当触摸输入窗口到达边界区域401a时(参照图5B的(a)),触摸输入窗口500按照用户的手拖动的方向和力的反向加速度弹跳并返回显示单元151内(参照图5B的(b))。
另一方面,根据另一个示例,如图5C所示,在显示单元151上,可以针对特定区域401b按照更厚的方式构造边界区域,例如,由于直接触摸输入而显示用户界面的区域。否则,根据另一个示例,即使当触摸输入窗口显示在相关区域内时,对所显示的触摸输入窗口的触摸也可以被处理为无效。
在下文中,将描述根据用户的方便来从画面释放上述触摸输入窗口或连续地固定到画面的方法。
为此,图6A和图6B是用于说明根据本公开实施方式的将显示在显示单元151上的虚拟输入装置从画面释放和固定到画面的方法的概念图。
当通过以上任一方法接收到对触摸输入窗口的请求时,在显示单元151上显示具有预定透明度的触摸输入窗口500。触摸输入窗口500的预设区域可以包括用于允许移动的定位键。
另一方面,在触摸输入窗口的预设区域中显示与根据用户的触摸而选择性地激活的第一模式和第二模式相对应的显示。这里,可以通过改变预设区域的透明度或者显示预设区域的阴影效果来实现第一模式和第二模式的区分。此外,第一模式是通常模式,并且第二模式是固定模式。例如,当用户对触摸输入窗口500的预设区域进行短触摸时,第一模式可以改变到第二模式。此外,当用户对触摸输入窗口500的预设区域再次进行短触摸时,第二模式可以再次恢复到第一模式。
在第一模式下,响应于在触摸输入窗口之外的背景画面区域中感测到的预设触摸,控制器180可以控制触摸输入窗口和指针以从显示单元151消失。
当在显示单元151的一个区域上显示的触摸输入窗口的图标被触摸时,消失的触摸输入窗口可以在画面上再次显示。
这里,在接收到对触摸输入窗口的请求时,控制器180记忆触摸输入窗口和指针从显示单元消失之前被显示的位置并且控制触摸输入窗口和指针分别在相关位置出现。
另一方面,在第二模式中,即使当在触摸输入窗口之外的背景画面区域中感测到预设触摸时,控制器180也维持触摸输入窗口和指针的显示。
例如,如图6A所示,当在触摸输入窗口500的定位键503在通常模式的状态下用户触摸了输入窗口之外的触摸背景画面区域602时(参照图6A的(a)),触摸输入窗口500和指针610从画面消失(参照图6A的(b))。接着,在触摸输入窗口的图标650上显示指示触摸输入窗口处于无效状态的显示(650″)。相反,如图6B所示,在触摸输入窗口500的定位键503在固定模式的状态下(显示与固定模式相对应的显示),即使用户触摸了触摸输入窗口之外的背景画面区域602(参照图6B的(a)),触摸输入窗口500和指针610也被维持而不从画面消失(参照图6B的(b))。
在下文中,将描述当上述触摸输入窗口包含多个区域时根据在每个区域中的触摸执行不同功能的示例。这里,为了说明,触摸输入窗口用作鼠标输入装置的示例,但是当诸如虚拟键盘、拨杆等的另一个输入装置被添加或切换到触摸输入窗口时用于实现与实际输入装置相同功能的示例。
图7A到图7D是用于说明根据本公开实施方式的使用在显示单元上显示的虚拟输入装置来控制画面的方法的概念图。此外,图8是用于说明根据本公开实施方式的在显示单元上的多个区域中显示虚拟输入装置的方法的概念图。
在接收到对触摸输入窗口的请求时,在图像显示单元100的显示单元151上显示具有预定透明度的触摸输入窗口。所显示的触摸输入窗口可以包括能够执行至少不同功能的第一区域和第二区域。
更具体地,当施加到触摸输入窗口的第一触摸输入的起点在第一区域中开始时,控制器180可以对指针指示的对象进行点击或双击功能。
此外,当施加到触摸输入窗口的第一触摸输入的起点在与第一区域不同的第二区域中执行时,控制器180显示用于执行与显示有指针的位置或区域相关联的至少一个功能的菜单项。这里,与显示有指针的位置或区域相关联的功能由在第二区域中开始触摸的时刻指针所在的位置来确定。
此外,控制器180可以在第一区域和第二区域之间的被施加了第一触摸输入的起点的区域中输出显示,其在视觉上可以与其它区域区分开。
参照图7A,当用户对触摸输入窗口500的左下端区域进行短触摸时(参照图7A的(a)),执行对由指针710指点的对象701a的双击功能(参照图7A的(b))。换句话说,当触摸输入窗口500的左下端区域502被触摸时,执行与鼠标的左键(MLB)相同的功能。因此,弹出的网页701被终止。
随后,参照图7B,当在网页701弹出在显示单元151上的状态下用户对触摸输入窗口500的右下端区域504进行短触摸时(参照图7B的(a)),显示用于执行与指针710指示的位置相关联的至少一个功能的上下文菜单730(参照图7B的(b))。换句话说,当触摸输入窗口500的右下端区域504被触摸时,执行与鼠标的右键(MRB)相同的功能。用户对触摸输入窗口的上部区域501进行拖动触摸输入以利用指针710指点期望选择的项,例如,“打印”项730c(参照图7B的(c))。
另一方面,当施加到触摸输入窗口的第一触摸输入的起点所在的区域不同于第一触摸输入的终点所在的区域时,控制器180可以控制仅执行与第一触摸输入的起点所在的区域相对应的功能。
换句话说,在触摸输入被释放之前一直维持从触摸输入窗口开始的触摸输入的属性,即使该触摸输入随后离开了触摸输入窗口。这以类似方式应用于从触摸输入窗口之外的区域开始的触摸输入随后进入触摸输入窗口的情况。
例如,参照图7C和图7D,当用户的触摸从触摸输入窗口500的左下端区域502开始时,即使当相关触摸离开左下端区域502而移动到右下端区域504(图7C)或者完全离开触摸输入窗口500(图7D)时,也施加并维持与推动鼠标的左键(MLB)相同的功能。这以类似方式应用于用户进行对触摸输入窗口500的上端区域501或右下端区域504的触摸的情况。
另一方面,根据用户的输入或者当预定条件满足时,上述触摸输入窗口的中包含的多个区域可以单独显示在显示单元151的每个区域中。
具体地,在接收第一输入信号时,控制器180可以在显示单元151的预定位置处分开地显示第一区域和第二区域。此外,响应于在分开的第一区域和第二区域中的至少一个区域中感测到的拖动触摸输入,控制器180可以在显示单元的一个区域中显示按照拖动触摸输入的移动而移动的指针。这里,当推动特定硬键或软键或者进行预定手势或声音命令时,可以识别第一输入信号。
例如,参照图8,在感测到第一输入信号时,为了,控制器180可以按照以下方式进行控制,即,使触摸输入窗口500的多个区域位于显示单元151的左/右下侧以方便用户的双手位置(图8的(a)),或者使与不频繁使用的功能相对应的键区域(例如,对应于鼠标右键(MRB)的区域)位于显示单元151的用户的手不容易很好接触的一个上侧(图8的(b)和图8的(c))。
这里,可以基于用户的输入或者根据已经感测达预定时间段的触摸输入的面积来确定或改变图8中例示的每个分开区域的面积。
另一个例子,当触摸输入窗口以虚拟键盘实现时,基于在每个键上感测到的触摸输入的面积或者每个键的位置来确定键的面积。例如,当感测到的触摸输入的面积小于基准值时,可以维持预定尺寸,并且每个键的面积可以改变为比预定尺寸大以当感测到的触摸输入的面积超过基准值时允许用户正确进行触摸输入。此外,例如,在主要被用户的拇指触摸的位置显示的键可以以大于基准值的面积显示。
另一方面,在感测到第二输入信号时,控制器180可以按照如下方式进行控制,即,使得多个分开的区域(即,第一区域和第二区域)再次包含在触摸输入窗口500中。这里,当再次触摸接收第一输入信号(切换(toggle)功能)或执行预定手势或语音命令的键或区域时,第二输入信号可以被识别。
此外,控制器180可以控制以基于用户的设定来切换与在第一区域和第二区域中执行的第一触摸输入相对应的功能。这里,无论第一区域和第二区域被包含在一个触摸输入窗口500中时还是在显示单元151的各个区域中分开时,都可以支持功能的切换。此外,用户的设定可以被自动地设定为匹配图像显示装置100的操作系统(OS)的设定。
换句话说,例如,当图像显示装置100的操作系统(OS)的设定被设定为右撇子时,触摸输入窗口500的左下端区域可以自动设定为鼠标左键功能,并且触摸输入窗口500的右下端区域可以自动设定为鼠标右键功能。相反,当图像显示装置100的操作系统(OS)的设定被设定为左撇子时,触摸输入窗口500的左下端区域可以自动设定为鼠标右键功能,并且触摸输入窗口500的右下端区域可以自动设定为鼠标左键功能,无需用户的额外操纵。因此,能够提供用户定制的用户界面环境。
在下文中,将描述基于图像显示装置100的屏幕显示方向或分辨率变化在显示单元151上显示触摸输入窗口的方法。
图9A和图9B是根据本公开实施方式的用于基于图像显示装置的画面方向或分辨率变化显示虚拟输入装置的说明方法的概念图。
根据本公开实施方式的图像显示装置100的感测单元140可以检测基于显示单元151的屏幕感测到的图像显示装置机体的倾斜和/或用户的脸方向。显示单元151在根据检测到的机体的倾斜和/或检测到的用户的脸方向而确定的方向在屏幕上显示对象。
随后,控制器180可以控制触摸输入窗口500的第一区域和第二区域的显示方向与所确定的方向匹配。
例如,当如图9A的(a)所示的图像显示装置100在水平方向上倾斜时,触摸输入窗口500的显示方向被确定为与画面的对象901和背景画面902匹配的水平方向。相反,如图9A的(b)所示,当图像显示装置100在垂直方向上倾斜时,触摸输入窗口500的显示方向被确定为与画面的对象901和背景画面902匹配的垂直方向。
此外,即使当显示单元151上的屏幕的分辨率改变时,控制器180也可以控制触摸输入窗口的分辨率(或DPI值)保持预定值(例如,400dpi)。
例如,参照图9B,尽管OS的分辨率改变使得在显示单元151上显示的对象920和背景画面被水平地扩展(920″),触摸输入窗口500也原样保持先前的分辨率值并且因此其形状不改变。
另一方面,触摸输入窗口的上述尺寸可以根据用户的输入而调整。例如,触摸输入窗口可以被显示为与显示单元151的尺寸相同的尺寸。在此情况下,当触摸输入窗口被激活时,针对对象的“间接触摸输入”变得无效。
为此,图10A到图10F是用于说明根据本公开实施方式的调整虚拟输入装置的尺寸的方法以及通过调整了尺寸的虚拟输入装置来执行输入的方法的概念图。
根据对触摸输入窗口的请求,在显示单元151的一个区域上显示具有预定透明度的触摸输入窗口。
控制器180可以基于用户的输入改变触摸输入窗口的尺寸。这里,用户的输入可以是从内到外(尺寸扩大)拖动施加到触摸输入窗口的多个触摸点或者将将所述多个触摸点从外向内拖动(尺寸缩小)的触摸输入。否则,可以是特定键输入,通过该键输入,预先设定多个尺寸级别以与输入频度成比例地逐渐增大或减小尺寸级别。
例如,如图10A所示,在用户向触摸输入窗口500施加多个触摸的状态下,当施加到触摸输入窗口的多个触摸位置被向外拖动时,如图10B所示,触摸输入窗口的尺寸被扩大(500″)。这里,以透明方式显示尺寸扩大的触摸输入窗口500″,因而在透明方式中显示了与扩大的部分交叠的背景画面或对象。
如上所述,触摸输入窗口的最大尺寸可以等于显示单元151的尺寸。
按此方式,当触摸输入窗口的尺寸等于显示单元151的尺寸时,控制器180可以响应在显示单元151上感测到的第三触摸输入而在感测到该第三触摸输入的位置处显示指针。
这里,第三触摸输入可以是从上述的第一触摸输入或第二触摸输入区分开的长触摸输入。当触摸输入窗口被用作显示单元151的整个区域时,存在用户应重复多个触摸输入或长时间地执行触摸输入的拖动以将指针移动到他或她期望的位置的不便。换句话说,为了利用直接触摸输入补偿间接触摸输入的缺点,可以按照以下方式进行改变,即,使得指针可以立即移动到期望位置或期望位置的附近。
随后,在指针被显示在感测到第三触摸输入的位置处的情况下,当在显示单元151上感测到第一触摸输入时,控制器180可以在显示单元151的一个区域中显示按照第一触摸输入的移动而移动的指针。换句话说,用户可以根据第一触摸输入将指针移动到他或她期望的位置附近,接着在画面上进行触摸和拖动以便更精确控制,由此正确地将指针移动到他或她期望的位置。
例如,如图10B所示,当多个触摸被施加到尺寸扩大的触摸输入窗口500″以进一步将其向外拖动时,如图10C所示,其整个区域变为触摸输入窗口。区域区别从在整个区域上显示的触摸输入窗口消失,以仅显示指针910。是否激活触摸输入窗口可以从在显示单元151的下端区域显示的触摸输入窗口图标1050的显示状态看出。按此方式,当显示单元151的整个区域变为触摸输入窗口时,显示单元151的整个区域可以执行与鼠标相同的功能。此外,尽管附图中未示出,可以在显示单元151的一个区域中显示用于执行鼠标右键功能的局部区域。
这里,为了解决用户在显示单元151上应重复多个触摸输入或长时间地执行触摸输入的拖动以将指针移动到他或她期望的位置的不便,如图10D所示,当用户对用户期望将指针移动到的位置910b进行长触摸输入时,如图10E所示,位于第一图标820a附近的指针910被显示在感测到长触摸输入的第二图标920b上(910″)。按此方式,在第二图标920b被指针910″指点的状态下,当用户对背景画面的一个区域(不显示对象的位置)进行双短触摸输入时,如图10F所示,在显示单元151上显示与第二图标920b相对应的图片库应用的执行画面903。
另一方面,为了将显示单元151的整个区域中显示的触摸输入窗口改变为原始尺寸,用户可以对触摸输入窗口图标或特定键进行触摸以允许触摸输入窗口消失并接着再施加用于请求触摸输入窗口的信号,由此在显示单元151的先前位置处显示具有预定尺寸的触摸输入窗口。
按此方式,根据本公开实施方式的在屏幕上显示的虚拟触摸输入窗口可以实现为在用户的期望位置以用户期望的尺寸显示输入装置,由此使得输入和输出的限制减到最小,并且使得要被指点的对象被用户的手或者手写笔遮挡住的不便减到最小。
在下文中,将描述根据在显示单元151上以透明方式显示的触摸输入窗口的属性,即使与直接触摸输入相对应的功能和与间接触摸输入相对应的功能穿过触摸输入窗口传递也连续进行的示例。
图11A到图11C是用于说明根据本公开实施方式的无论触摸输入窗口如何都基于指针维持直接触摸输入和间接触摸输入的方法以及向虚拟输入装置添加方便用户的界面环境的方法的概念图。
即使当根据对触摸输入窗口的请求而在显示单元151上显示具有预定透明度的触摸输入窗口时,即使从显示有所显示的触摸输入窗口的区域开始的第一触摸离开了显示有触摸输入窗口的区域时,控制器180也进行控制以维持按照第一触摸而移动的指针的显示状态。换句话说,在第一触摸终止前,直接触摸输入不被触摸输入窗口遮挡。
此外,即使施加到在所显示的触摸输入窗口之外的区域中显示的对象的第二触摸输入进入了显示有触摸输入窗口的区域中时,控制器180也进行控制以维持按照第二触摸而移动的对象的显示状态。这里,当第二触摸输入穿过触摸输入窗口时,按照第二触摸而移动的对象也被显示为穿过触摸输入窗口。换句话说,在第二触摸终止之前,输入和输出不被触摸输入窗口限制。
例如,参照图11A,如图11A的(a)所示,在触摸输入窗口500显示在屏幕上的状态下,当用户对特定图标1120进行直接触摸输入并且接着将其拖动到显示有触摸输入窗口500的区域时,如图11A的(b)所示,图标1120显示在触摸输入窗口500内。此时,随着用户维持施加到图标1120的触摸的同时连续进行拖动,图标1120穿过触摸输入窗口500而位于触摸终止的位置处。换句话说,在维持直接触摸输入的时,触摸输入窗口的效果被无效,由此充分地反映以透明方式显示的触摸输入窗口的属性和用户期望进行直接触摸输入的意愿。
此外,随后,参照图11B,即使当施加到触摸输入窗口500的触摸被拖动以离开显示有触摸输入窗口的区域时,指针1110移动并且尽可能显示为与拖动长度相同或者以与其成比例的长度。换句话说,即使基于指针的间接触摸输入离开触摸输入窗口,也连续保持该触摸输入。然而,在终止了离开触摸输入窗口500的触摸输入之后,触摸输入窗口内的触摸当然应再次进行以将其识别为基于指针的间接触摸输入。
另一方面,为了用户更清楚地识别显示有触摸输入窗口的区域,即,为了更清楚地知道作为输入装置的显示,存在调整预定透明度或者其它对象应被阻挡不以透明方式显示的情况。
为此,响应于施加到所显示的触摸输入窗口的预定区域的触摸输入,控制器180可以显示用于调整触摸输入窗口的透明度的指示符图标。接着,控制器180可以根据对该指示符图标的操纵来调整触摸输入窗口的透明度。
例如,如图11C的(a)所示,当用户对触摸输入窗口500的上端区域进行长触摸时,如图11C的(b)所示,在触摸输入窗口500的上端区域中显示用于调整透明度的指示符图标508。当用户在一个方向上拖动指示符区域508中包含的移动指示符时,如图11C的(c)所示,触摸输入窗口500的透明度减小(或者增大)。因此,在触摸输入窗口500的后侧显示的背景画面或对象未示出(或未更清楚地示出)。
另一方面,根据在指针当前所在的位置处显示的执行画面的类型,可以进一步将方便用户的界面添加到触摸输入窗口内。
例如,响应于施加到所显示的触摸输入窗口的预定触摸,控制器180可以在触摸输入窗口内显示与在显示单元151上显示的画面相关联的至少一个控制键。
参照图10B,在网页画面1103显示在指针所在的位置处的情况下,当用户对触摸输入窗口的一个区域(例如,右边界区域)进行长触摸时,显示用于滚动网页画面1103的滚动条507。此时,对显示有滚动条507的触摸被识别为直接触摸输入。结果,当用户应当以交替方式频繁进行基于指针的间接触摸输入和网页画面1103的滚动功能时,用户的手或手写笔可以仅在触摸输入窗口内移动,由此提供方便用户的界面环境。
另一方面,存在优选的情况,在该情况下,根据特定应用仅执行用户的直接触摸输入。在下文中,将参照图12描述根据特定应用来使虚拟输入装置无效的方法。
在接收到对触摸输入窗口的请求时,在显示单元151上显示具有预定透明度的触摸输入窗口。
按此方式,当与预定的第一应用的执行相对应的窗口画面弹出并且同时显示触摸输入窗口时,控制器180可以使对触摸输入窗口上的与弹出的窗口画面交叠的区域的触摸输入无效。否则,控制器180可以控制所显示的触摸输入窗口从该画面消失。
为此,控制器180可以确定是否显示触摸输入窗口以及是否使能对触摸输入窗口中的与窗口画面交叠的区域的触摸输入。例如,在预定应用的情况下,控制器可以处理具有比触摸输入窗口高的优先级的预定区域或预定对象、对与触摸输入窗口交叠的部分触摸输入无效。否则,在具有最高优先级应用、区域或对象的情况下,控制器可以允许所显示的触摸输入窗口从画面消失或者忽略对触摸输入窗口的请求信号。
例如,参照图12的(a),在触摸输入窗口500显示在显示单元151的右边界区域处的状态下,当用户在屏幕的中心的方向上对右边界区域进行短暂触摸时,在相关区域中显示包含多个预设图标的菜单区域1240。此时,如图12的(b)所例示,与菜单区域1240交叠的触摸输入窗口500的部分区域被处理为消失或者针对触摸输入无效。然而,不与菜单区域1240交叠的触摸输入窗口500的部分区域中的触摸输入被处理为仍有效的间接触摸输入。另外,当特定图标1241被从菜单区域1240选择并且与相关图标1241相对应的应用被设定为仅执行直接触摸输入时,如图12的(c)所示,触摸输入窗口500从画面消失。
如上所述,根据本公开实施方式的图像显示装置及其控制方法,与图像显示装置相关联的输入装置可以被实现为在屏幕上显示而不遮挡其它对象,由此克服由于输入装置引起的物理空间的限制。此外,能够使得对画面的输入和输出的限制减到最小,并且避免要被用户的手或手写笔指点的对象被遮挡住的不便。此外,输入装置可以被实现为在用户期望的位置以期望的尺寸显示,由此使得对屏幕的输入和输出的限制减到最小并且避免要被指点的对象被用户的手或手写笔遮挡住的不便。此外,可以允许为了控制在屏幕上显示的小对象而进行基于指针的输入并且为了控制其它对象而进行直接触摸输入,由此提供用户可以根据要控制的对象的尺寸来选择更适当的界面环境的方便。
此外,根据本公开的实施方式,上述方法可以被实现为在被程序写入的介质上可被处理器读取的代码。处理器可读介质的示例可以包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置等,并且还可以包括载波实现的装置(例如,经由因特网传送)。根据上述实施方式的配置和方法将按照有限的方式应用于上述图像显示装置及其控制方法,并且每一个实施方式的全部或者一部分可以被选择性地组合和配置以对实施方式进行修改。

Claims (20)

1.一种图像显示装置,该图像显示装置包括:
显示单元,该显示单元被构造为使得能够进行触摸输入;
感测单元,该感测单元被构造为感测施加到所述显示单元的触摸输入;以及
控制器,该控制器被构造为在接收到对触摸输入窗口的请求时,在维持显示在所述显示单元上的对象的显示状态的同时控制所述显示单元显示具有预定透明度的触摸输入窗口,
其中,所述控制器响应于在显示有所述触摸输入窗口的区域中施加的第一触摸输入而在所述显示单元上显示与所述第一触摸输入的移动成比例地移动的指针并且利用所述指针指点显示在所述显示单元上的特定对象以执行对应的控制命令,并且在感测到显示在所述触摸输入窗口之外的区域中的对象上的第二触摸输入时允许所述指针消失并且向所述对象应用与所述第二触摸输入相对应的功能。
2.根据权利要求1所述的图像显示装置,其中,所述控制器响应于施加到所述触摸输入窗口中的预设区域的触摸被拖动而控制所述显示单元按照所述拖动触摸输入移动所述触摸输入窗口。
3.根据权利要求2所述的图像显示装置,其中,当感测到按照所述拖动触摸输入移动的所述触摸输入窗口的至少一部分离开所述显示单元的预设边界区域时,所述控制器基于所述预设边界区域控制所述显示单元使得所述触摸输入窗口位于所述预设边界区域内。
4.根据权利要求2所述的图像显示装置,其中,在所述预设区域中显示与根据触摸而选择性地激活的第一模式和第二模式相对应的显示,并且
当在所述第一模式下在所述触摸输入窗口之外的背景画面区域中感测到预设触摸时,所述控制器控制所述触摸输入窗口和所述指针从所述显示单元消失,并且当在所述第二模式下在所述触摸输入窗口之外的背景画面区域中感测到预设触摸时,所述控制器进行控制以维持所述触摸输入窗口和所述指针的显示。
5.根据权利要求4所述的图像显示装置,其中,在接收到对所述触摸输入窗口的请求时,所述控制器控制所述触摸输入窗口和所述指针分别在它们从所述显示单元消失之前被显示的位置处显示。
6.根据权利要求1所述的图像显示装置,其中,所述触摸输入窗口包括至少第一区域和第二区域,并且
当所述第一触摸输入的起点在所述第一区域中实现时,所述控制器对由所述指针指示的对象执行双击功能,并且当所述第一触摸输入的起点在所述第二区域中实现时,所述控制器显示用于执行与显示有所述指针的区域相关联的至少一个功能的菜单项。
7.根据权利要求6所述的图像显示装置,其中,所述控制器在所述第一区域和所述第二区域之间的被施加了所述第一触摸输入的起点的区域中显示能够与其它区域视觉区分开的显示。
8.根据权利要求6所述的图像显示装置,其中,当所述第一触摸输入的起点所在的区域与所述第一触摸输入的终点所在的区域不同时,所述控制器进行控制以仅执行与所述第一触摸输入的起点所在的区域相对应的功能。
9.根据权利要求6所述的图像显示装置,其中,所述控制器在接收到第一输入信号时在所述显示单元的预设位置处显示彼此分开的所述第一区域和所述第二区域,并且响应于在所述第一区域和所述第二区域中的至少一个区域中感测到的拖动触摸输入而进行控制以在所述显示单元的一个区域中显示按照所述拖动触摸输入的移动而移动的指针,并且在接收到第二输入信号时控制所述显示单元将所述第一区域和所述第二区域包含在一个触摸输入窗口中。
10.根据权利要求6所述的图像显示装置,其中,所述控制器进行控制以基于用户的设定来切换与在所述第一区域和所述第二区域中执行的所述第一触摸输入相对应的功能。
11.根据权利要求6所述的图像显示装置,其中,所述显示单元在根据所感测到的机体的倾斜而确定的方向上显示所述对象,并且
所述控制器控制所述第一区域和所述第二区域的所述显示方向与所确定的方向匹配。
12.根据权利要求1所述的图像显示装置,其中,所述控制器基于用户的输入来控制所述显示单元改变所述触摸输入窗口的尺寸。
13.根据权利要求12所述的图像显示装置,其中,当所述触摸输入窗口的尺寸与所述显示单元的尺寸匹配时,响应于在所述显示单元上感测到第三触摸输入,所述控制器控制所述显示单元在感测到所述第三触摸输入的位置处显示指针,并且响应于在所述显示单元上感测到所述第一触摸输入,所述控制器在所述显示单元的一个区域中显示按照所述第一触摸输入的移动而移动的指针。
14.根据权利要求1所述的图像显示装置,其中,即使当从显示有所述触摸输入窗口的区域开始的所述第一触摸离开了显示有所述触摸输入窗口的区域时,所述控制器也进行控制以维持按照所述第一触摸而移动的指针的显示状态,并且即使当施加到在所述触摸而窗口之外的区域中显示的对象的所述第二触摸进入显示有所述触摸输入窗口的区域中时,所述控制器也维持按照所述第二触摸而移动的所述对象的显示状态。
15.根据权利要求1所述的图像显示装置,其中,所述控制器响应于施加到所述触摸输入窗口的预设区域的触摸输入而显示用于调整所述触摸输入窗口的透明度的指示符图标,并且根据对所述指示符图标的操纵来调整所述触摸输入窗口的透明度。
16.根据权利要求1所述的图像显示装置,其中,响应于施加到所述触摸输入窗口的预设触摸,所述控制器进行控制以在所述触摸输入窗口内显示与在所述显示单元上显示的画面相关联的至少一个控制键。
17.根据权利要求1所述的图像显示装置,其中,在所述触摸输入窗口被显示的状态下,当与第一应用的执行相对应的窗口画面弹出时,所述控制器使对所述触摸输入窗口中的与弹出的窗口画面交叠的区域的触摸输入无效。
18.根据权利要求17所述的图像显示装置,其中,所述控制器基于预设优先级来确定是否显示所述触摸输入窗口以及是否激活对所述触摸输入窗口中的与所述窗口画面交叠的区域的触摸输入。
19.根据权利要求1所述的图像显示装置,其中,响应于在显示有所述触摸输入窗口的区域中感测到的所述第一触摸输入,所述控制器进行控制以显示与所述第一触摸输入相对应的声音效果、振动效果和突出效果中的至少一种。
20.一种控制图像显示装置的方法,该方法包括以下步骤:
接收对触摸输入窗口的请求;
响应于接收到的请求,在维持显示在显示单元上的对象的显示状态的同时在屏幕上显示具有预定透明度的触摸输入窗口;
当在显示有所述触摸输入端口的区域中感测到第一触摸输入时,在所述显示单元的一个区域中显示与所述第一触摸输入的移动成比例移动的指针,并且利用所述指针指点特定对象以执行对应的控制命令;以及
当感测到显示在所述触摸输入窗口之外的区域中的对象上的第二触摸输入时,允许所述指针消失并且向所述对象应用与所述第二触摸输入相对应的功能。
CN201410006935.0A 2013-01-07 2014-01-07 图像显示装置及其控制方法 Active CN103914222B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361749696P 2013-01-07 2013-01-07
US61/749,696 2013-01-07
KR1020130149431A KR102291879B1 (ko) 2013-01-07 2013-12-03 영상표시장치 및 그것의 제어방법
KR10-2013-0149431 2013-12-03

Publications (2)

Publication Number Publication Date
CN103914222A true CN103914222A (zh) 2014-07-09
CN103914222B CN103914222B (zh) 2019-01-08

Family

ID=50112662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410006935.0A Active CN103914222B (zh) 2013-01-07 2014-01-07 图像显示装置及其控制方法

Country Status (3)

Country Link
US (1) US9367234B2 (zh)
EP (1) EP2752758A3 (zh)
CN (1) CN103914222B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881217A (zh) * 2015-02-15 2015-09-02 上海逗屋网络科技有限公司 在触摸终端上加载触摸控制场景的方法及设备
CN105426376A (zh) * 2014-09-22 2016-03-23 联想(北京)有限公司 一种信息处理方法和电子设备
CN105872702A (zh) * 2015-12-09 2016-08-17 乐视网信息技术(北京)股份有限公司 一种虚拟键盘的显示方法及装置
CN105892918A (zh) * 2016-03-31 2016-08-24 维沃移动通信有限公司 一种具有触摸屏的移动终端及其控制方法
CN105975150A (zh) * 2016-04-27 2016-09-28 广东欧珀移动通信有限公司 一种用户终端控制方法及用户终端
CN107291235A (zh) * 2017-06-22 2017-10-24 三星电子(中国)研发中心 控制方法和装置
CN107407979A (zh) * 2015-03-19 2017-11-28 精工爱普生株式会社 控制装置、电子设备的控制方法以及记录介质
WO2018046000A1 (zh) * 2016-09-08 2018-03-15 中兴通讯股份有限公司 触控操作方法和装置
CN109144368A (zh) * 2018-08-23 2019-01-04 维沃移动通信有限公司 一种图片的转换方法和终端
CN109542284A (zh) * 2018-11-15 2019-03-29 上海联影医疗科技有限公司 一种图像显示参数调节方法、装置、终端及存储介质
CN110515508A (zh) * 2019-08-16 2019-11-29 维沃移动通信有限公司 一种图标控制方法、终端设备及计算机可读存储介质
CN110851030A (zh) * 2019-10-18 2020-02-28 苏州佳世达电通有限公司 显示设备及其图像移动方法
CN112416480A (zh) * 2019-08-21 2021-02-26 北京嗨动视觉科技有限公司 窗口编辑方法、装置和系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
KR20140112918A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 온도 및 습도를 이용한 화면 표시 제어 장치 및 방법
US10691291B2 (en) * 2013-05-24 2020-06-23 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
US20150160849A1 (en) * 2013-12-06 2015-06-11 Microsoft Corporation Bezel Gesture Techniques
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
DE102014208222A1 (de) * 2014-04-30 2015-11-05 Siemens Aktiengesellschaft Verfahren zum Abrufen von Anwendungsbefehlen, Recheneinheit und medizinisches Bildgebungssystem
CN104199592B (zh) * 2014-09-09 2017-11-28 联想(北京)有限公司 一种显示方法及电子设备
US10061509B2 (en) * 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
CN104484111A (zh) * 2014-12-30 2015-04-01 小米科技有限责任公司 触摸屏的内容显示方法及装置
JP2017073017A (ja) * 2015-10-08 2017-04-13 セイコーエプソン株式会社 電子装置、及び、表示制御方法
US11335302B2 (en) * 2016-01-15 2022-05-17 Google Llc Adaptable user interface with dual screen device
KR102462813B1 (ko) * 2016-07-21 2022-11-02 한화테크윈 주식회사 파라미터 설정 방법 및 장치
US9817511B1 (en) * 2016-09-16 2017-11-14 International Business Machines Corporation Reaching any touch screen portion with one hand
US20180121000A1 (en) * 2016-10-27 2018-05-03 Microsoft Technology Licensing, Llc Using pressure to direct user input
KR20180056174A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
JP6601690B2 (ja) * 2017-08-25 2019-11-06 パナソニックIpマネジメント株式会社 表示制御装置
KR102624185B1 (ko) 2018-02-05 2024-01-15 엘지전자 주식회사 디스플레이 장치
JP7490967B2 (ja) * 2020-01-27 2024-05-28 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077156A (zh) * 2008-06-27 2011-05-25 微软公司 虚拟触摸垫
CN102129312A (zh) * 2010-01-13 2011-07-20 联想(新加坡)私人有限公司 用于触摸设备的虚拟触摸板
US20110285636A1 (en) * 2010-05-20 2011-11-24 Howard John W Touch screen with virtual joystick and methods for use therewith
US20120054671A1 (en) * 2010-08-30 2012-03-01 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404443B1 (en) * 1999-08-25 2002-06-11 Sharp Laboratories Of America Three-dimensional graphical user interface for managing screen objects
US7450114B2 (en) * 2000-04-14 2008-11-11 Picsel (Research) Limited User interface systems and methods for manipulating and viewing digital documents
US20020084991A1 (en) * 2001-01-04 2002-07-04 Harrison Edward R. Simulating mouse events with touch screen displays
US7343566B1 (en) * 2002-07-10 2008-03-11 Apple Inc. Method and apparatus for displaying a window for a user interface
US8281241B2 (en) * 2004-06-28 2012-10-02 Nokia Corporation Electronic device and method for providing extended user interface
US7478326B2 (en) * 2005-01-18 2009-01-13 Microsoft Corporation Window information switching system
US9213477B2 (en) * 2009-04-07 2015-12-15 Tara Chand Singhal Apparatus and method for touch screen user interface for handheld electric devices part II
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US9213482B2 (en) * 2011-11-11 2015-12-15 Elan Microelectronics Corporation Touch control device and method
US9292114B2 (en) * 2012-05-31 2016-03-22 Intel Corporation Dual touch surface multiple function input device
US9495097B2 (en) * 2012-11-09 2016-11-15 Pitcher AG Touch-sensitive electric apparatus and window operation method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077156A (zh) * 2008-06-27 2011-05-25 微软公司 虚拟触摸垫
CN102129312A (zh) * 2010-01-13 2011-07-20 联想(新加坡)私人有限公司 用于触摸设备的虚拟触摸板
US20110285636A1 (en) * 2010-05-20 2011-11-24 Howard John W Touch screen with virtual joystick and methods for use therewith
US20120054671A1 (en) * 2010-08-30 2012-03-01 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426376A (zh) * 2014-09-22 2016-03-23 联想(北京)有限公司 一种信息处理方法和电子设备
CN105426376B (zh) * 2014-09-22 2019-04-23 联想(北京)有限公司 一种信息处理方法和电子设备
CN104881217A (zh) * 2015-02-15 2015-09-02 上海逗屋网络科技有限公司 在触摸终端上加载触摸控制场景的方法及设备
CN107407979B (zh) * 2015-03-19 2020-08-18 精工爱普生株式会社 控制装置、电子设备的控制方法以及记录介质
CN107407979A (zh) * 2015-03-19 2017-11-28 精工爱普生株式会社 控制装置、电子设备的控制方法以及记录介质
CN105872702A (zh) * 2015-12-09 2016-08-17 乐视网信息技术(北京)股份有限公司 一种虚拟键盘的显示方法及装置
CN105892918A (zh) * 2016-03-31 2016-08-24 维沃移动通信有限公司 一种具有触摸屏的移动终端及其控制方法
CN105975150A (zh) * 2016-04-27 2016-09-28 广东欧珀移动通信有限公司 一种用户终端控制方法及用户终端
WO2018046000A1 (zh) * 2016-09-08 2018-03-15 中兴通讯股份有限公司 触控操作方法和装置
CN107291235A (zh) * 2017-06-22 2017-10-24 三星电子(中国)研发中心 控制方法和装置
CN107291235B (zh) * 2017-06-22 2021-09-21 三星电子(中国)研发中心 控制方法和装置
CN109144368A (zh) * 2018-08-23 2019-01-04 维沃移动通信有限公司 一种图片的转换方法和终端
CN109542284A (zh) * 2018-11-15 2019-03-29 上海联影医疗科技有限公司 一种图像显示参数调节方法、装置、终端及存储介质
CN109542284B (zh) * 2018-11-15 2022-09-06 上海联影医疗科技股份有限公司 一种图像显示参数调节方法、装置、终端及存储介质
CN110515508A (zh) * 2019-08-16 2019-11-29 维沃移动通信有限公司 一种图标控制方法、终端设备及计算机可读存储介质
CN110515508B (zh) * 2019-08-16 2021-05-07 维沃移动通信有限公司 一种图标控制方法、终端设备及计算机可读存储介质
CN112416480A (zh) * 2019-08-21 2021-02-26 北京嗨动视觉科技有限公司 窗口编辑方法、装置和系统
CN110851030A (zh) * 2019-10-18 2020-02-28 苏州佳世达电通有限公司 显示设备及其图像移动方法

Also Published As

Publication number Publication date
US20140195957A1 (en) 2014-07-10
EP2752758A2 (en) 2014-07-09
CN103914222B (zh) 2019-01-08
EP2752758A3 (en) 2016-10-26
US9367234B2 (en) 2016-06-14

Similar Documents

Publication Publication Date Title
CN103914222A (zh) 图像显示装置及其控制方法
KR102029242B1 (ko) 이동 단말기 제어방법
US9973685B2 (en) Mobile terminal and method of controlling the same
CN103577066B (zh) 电子装置和使用电子装置的电子笔记系统
US10044928B2 (en) Mobile terminal and method for controlling the same
US9513710B2 (en) Mobile terminal for controlling various operations using a stereoscopic 3D pointer on a stereoscopic 3D image and control method thereof
CN101739200B (zh) 终端及在其中使用因特网的方法
EP2602703B1 (en) Mobile terminal and controlling method thereof
EP2838009A2 (en) Terminal and method for controlling the same
US10241613B2 (en) Mobile terminal and method for controlling the same
KR20190107490A (ko) 이동 단말기 및 그 제어 방법
KR102251541B1 (ko) 이동단말기 및 그것의 제어방법
EP2503438B1 (en) Mobile terminal and control method thereof
KR102254884B1 (ko) 전자장치
KR20170088691A (ko) 페어링된 장치, 알림 및 어플리케이션의 제어에 관한 한 손 조작 모드를 적용한 이동 통신 단말기
KR102659981B1 (ko) 이동 단말기 및 그 제어방법
US10613744B2 (en) Mobile terminal and method for controlling the same
KR102606119B1 (ko) 단말기 및 그 제어 방법
KR101810468B1 (ko) 이동 단말기 및 그것의 제어 방법
CN103257784A (zh) 移动终端及其控制方法
CN112369005B (zh) 移动终端及具备移动终端的电子装置
KR20110045686A (ko) 이동 통신 단말기에서의 홀로그램 데이터 표시방법 및 이를 적용한 이동 통신 단말기
EP3332540B1 (en) Mobile terminal
KR20140090074A (ko) 영상표시장치 및 그것의 제어방법
KR20200110298A (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant