CN102693069B - 移动终端及其控制方法 - Google Patents
移动终端及其控制方法 Download PDFInfo
- Publication number
- CN102693069B CN102693069B CN201110251163.3A CN201110251163A CN102693069B CN 102693069 B CN102693069 B CN 102693069B CN 201110251163 A CN201110251163 A CN 201110251163A CN 102693069 B CN102693069 B CN 102693069B
- Authority
- CN
- China
- Prior art keywords
- display unit
- mobile terminal
- detection target
- distance
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及移动终端及其控制方法。本公开涉及用于允许将触摸输入到三维立体图像的移动终端及其控制方法。此处公开的方法可以包括:显示包括多个对象的三维立体图像;在与三维立体图像相对应的检测区域中检测检测目标的位置;基于检测目标的位置来选择第一对象;在选择了第一对象的状态下,将第一对象沿着检测目标的移动而移动;以及当第一和第二对象之间的距离由于第一对象的移动而在一个方向上增加时,在第一和第二对象之间生成至少一个对象。
Description
技术领域
本公开涉及一种移动终端,并且更确切地说,涉及一种用于允许对三维立体图像的触摸输入的移动终端及其控制方法。
背景技术
终端基于其移动性而能够被分类成移动终端和固定终端。此外,终端基于其是否能被用户直接携带而能够被分类成手持终端和车载终端。
随着其变得多功能,能够允许移动终端捕获静止或活动图像、播放音乐或视频文件、玩游戏、接收广播等,以便被实现为集成多媒体播放器。此外,为了支持和增强终端的功能,可以从结构或软件方面考虑终端的改进。
由于该改进,终端已经演进到超过显示两维立体图像的水平,达到显示允许深度感知或立体视觉的三维立体图像。结果,用户能够通过三维立体图像来享受更真实的用户界面或内容。
发明内容
本发明的目的是提供一种能够使用在三维立体图像上显示的距离改变来控制对象的移动终端及其控制方法。
另外,本发明的另一目的是提供一种能够通过控制在三维立体图像上显示的对象而增强用户的便利性的移动终端及其控制方法。
根据本发明的实施例的控制移动终端的方法可以包括:显示包括多个对象的三维立体图像;在与三维立体图像相对应的检测区域中检测检测目标的位置;基于检测目标的位置来选择第一对象;在选择了第一对象的状态下,沿着检测目标的移动而移动第一对象;以及当第一和第二对象之间的距离由于第一对象的移动而在一个方向上增加时,在第一和第二对象之间生成至少一个对象。
所述控制移动终端的方法可以进一步包括:当在第一对象和第二对象之间的距离由于第一对象的移动而在一个方向上减少时,删除在第一对象和第二对象之间显示的对象中的至少一个对象。
在第一对象和第二对象之间生成或删除的对象的数目可以由第一对象和第二对象之间的改变的距离而确定。所述一个方向可以是相对于用于输出三维立体图像的显示单元的垂直方向。
所述控制移动终端的方法可以进一步包括:当第一对象和第二对象之间的距离向与所述一个方向垂直的另一方向改变时,向所述另一方向改变在第一对象和第二对象之间显示的对象的位置。
所述控制移动终端的方法可以进一步包括:基于检测目标的位置来选择第三对象;在选择了第一对象和第三对象的状态下,沿着检测目标的移动而移动第一对象和第三对象;以及当在第一对象和第三对象之间的距离由于第一对象和第三对象之间的移动而在一个方向上增加时,在第一对象和第三对象之间生成至少一个对象。
所述控制移动终端的方法可以进一步包括:基于检测目标的位置,选择在第一对象和第二对象之间生成的第四对象;以及在选择了第四对象的状态下,控制第四对象。
所述控制第四对象可以包括:显示与第四对象相关联的控制菜单;以及将与通过使用控制菜单输入的选择信息相对应的第五对象添加到第四对象。所述控制第四对象可以包括:响应于由检测目标输入的删除命令而删除第四对象。
所述控制移动终端的方法可以进一步包括:当删除第四对象时,改变剩余对象中的至少一个的位置。此外,所述控制移动终端的方法可以进一步包括:当删除了第四对象时,在第一对象和第二对象之间的空置区域中生成取代第四对象的第六对象。
所述控制第四对象可以包括:沿着检测目标的移动在第一对象和第二对象之间移动第四对象。
所述控制移动终端的方法可以进一步包括:当移动第四对象时,改变在第一对象和第二对象之间显示的至少一个对象的位置。
所述控制第四对象可以包括:当第四对象包括剪贴板时,使用剪贴板来执行编辑操作。所述控制第四对象可以包括:当第四对象包括虚拟键盘时,显示和存储通过使用第四对象中的虚拟键盘输入的数据。虚拟键盘可以被显示成朝向用于显示三维立体图像的显示单元倾斜。
所述控制移动终端的方法可以进一步包括:响应于由检测目标输入的固定命令而固定第一对象。在所述固定第一对象过程中,可以当检测目标将第一对象拖出检测区域时,输入固定命令。在所述固定第一对象过程中,可以基于检测目标触模第一对象的频率或时间中的至少一个,输入固定命令。
所述控制移动终端的方法可以进一步包括:当在第一对象和第二对象之间显示的第三对象和第四对象位于三维立体图像内的编组区域中时,编组第三对象和第四对象。
在第一对象和第二对象之间生成的所述至少一个对象可以包括反映对象属性的指示。与在三维立体图像上显示的每个对象相对应的检测范围可以根据相对于每个对象的垂直距离而确定。
根据本发明的另一实施例的控制移动终端的方法,可以包括:在显示单元上显示包括多个对象的三维立体图像;基于应用到显示单元的触摸的强度、频率和时间中的至少一个,在关于显示单元的垂直方向上移动第一对象;以及当在垂直方向上移动第一对象以增加第一对象和第二对象之间的距离时,在第一对象和第二对象之间生成至少一个对象。
所述控制移动终端的方法可以进一步包括:当在垂直方向上移动第一对象以减少第一对象和第二对象之间的距离时,删除在第一对象和第二对象之间显示的至少一个对象。
所述控制移动终端的方法可以进一步包括:基于在显示单元上的拖动,在关于显示单元的水平方向上移动第一对象;以及当在水平方向上移动第一对象以改变第一对象和第二对象之间的距离时,向水平方向改变在第一对象和第二对象之间显示的对象的位置。
根据本发明的实施例的移动终端,包括:终端主体、显示单元、检测单元以及控制器。显示单元可以形成在终端主体上,并且被配置成显示包括第一对象和第二对象的三维立体图像。检测单元可以被安装在终端主体上,以在与三维立体图像相对应的检测区域中检测检测目标的位置。此外,控制器可以被配置成:基于检测目标的位置来选择第一对象;在选择了第一对象的状态下,沿着检测目标的移动而移动第一对象;以及当第一对象和第二对象之间的距离由于第一对象的移动而在一个方向上增加时,在第一对象和第二对象之间生成至少一个对象。
当第一对象和第二对象之间的距离由于第一对象的移动而在一个方向上减少时,控制器可以删除在第一对象和第二对象之间显示的至少一个对象。
当第一对象和第二对象之间的距离向与所述一个方向垂直的另一方向改变时,控制器可以向所述另一方向改变在第一对象和第二对象之间显示的对象的位置。
附图说明
附图被包括以提供对本发明的进一步理解,并且被并入且构成本发明书的一部分,附图图示了本发明的实施例,并且与描述一起用于解释本发明的原理。
在附图中:
图1是图示根据本发明实施例的移动终端的框图;
图2是用于解释应用于图1中所示的移动终端的控制方法的实施例的流程图;
图3A、3B、4A、4B、5A和5B是图示根据图2中所示的控制方法的操作示例的概念图;
图6是图示以示例性方式执行与图2中所示的控制方法相关联的对象固定模式的情况的概念图;
图7至图12是图示与图2中所示的控制方法相关联的附加对象控制方法的实施例的概念图;
图13A至图13C是图示与应用于根据本发明的移动终端的控制方法的实施例相关联的视觉效果的概念图;
图14A和14B是图示与应用于根据本发明的移动终端的控制方法的实施例相关联的对象检测范围的概念图;
图15是用于解释应用于图1中所示的移动终端的控制方法的另一实施例的流程图;
图16A和16B是图示根据在图15中所示的控制方法的操作示例的概念图;
图17是用于解释应用于图1中所示的移动终端的控制方法的又一实施例的流程图;以及
图18是图示根据图17中所示的控制方法的操作示例的概念图。
具体实施方式
在下文中,将参考附图,以本领域的技术人员能够容易地实现本发明的技术精神的程度,对本发明的实施例进行详细地描述。然而,本发明也能以各种形式来实现,并且不限于此处所描述的实施例。此外,为了在附图中清楚地描述本发明,所以将省略与描述无关的元件,并且在整个说明书中,相同或相似的元件被指定相同的附图标记。
此处公开的终端可以包括便携式电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪等。然而,本领域的技术人员将很容易理解,排除仅为移动终端特别配置的构成元件,此处公开的配置可以应用于诸如数字TV、台式计算机等的固定终端等。
图1是图示与本发明实施例相关联的移动终端100的框图。参考图1,移动终端100可以包括无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源单元190等。然而,图1中所示的构成元件不是必需的,并且能够用多于或少于那些所图示的元件来实现移动终端。
在下文中,将依次描述移动终端100的构成元件110-190。
无线通信单元110通常包括允许在移动终端100和无线通信系统之间进行无线电通信、或者允许在移动终端100和移动终端100所位于的网络之间进行无线电通信的一个或多个元件。例如,无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114、位置信息模块115等。
广播接收模块111通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。此处,广播相关信息可以意指关于广播信道、广播节目、广播服务提供商等的信息。广播相关信息也可以通过移动通信网络来提供,并且在这种情况下,可以通过移动通信模块112接收广播相关信息。通过广播接收模块111接收到的广播信号和/或广播相关信息可以存储在存储器160中。
移动通信模块112通过移动通信网络,向基站、外部终端和服务器中的一个发射和/或从其接收无线电信号。此处,无线电信号可以包括语音呼叫信号、视频呼叫信号、和/或根据文本和/或多媒体消息的发送和/或接收的各种类型数据。
作为用于支持无线互联网接入的模块的无线互联网模块113可以内置或者外部安装到移动终端100。此处,可以使用包括WLAN(无线LAN)、Wi-Fi、Wibro(无线带宽)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)等的无线互联网技术。
短距离通信模块114是用于支持短距离通信的模块。此处,可以使用包括蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超带宽(UWB)、紫蜂等的短距离通信技术。
位置信息模块115是用于检查或获取移动终端的位置的模块,并且有GPS模块作为代表示例。
参考图1,A/V(音频/视频)输入单元120接收音频或视频信号,并且A/V(音频/视频)输入单元120可以包括相机121、麦克风122等。相机121处理诸如在视频电话呼叫或图像捕获模式中由图像传感器获得的静止或活动图像的图像帧。在显示单元151上可以显示已处理的图像帧。由相机121处理的图像帧可以存储在存储器160中,或者通过无线通信单元110被发射到外部设备。根据移动终端的使用环境可以提供两个或两个以上的相机121。
麦克风122在电话呼叫模式、记录模式、语音识别模式等中通过麦克风来接收外部音频信号,并且将该音频信号处理成电子语音数据。由麦克风122处理的已处理语音数据可以被转换成在电话呼叫模式中通过移动通信模块112可被发射到移动通信基站的格式并且输出。麦克风122可以实现各种类型的噪声消除算法,以消除在接收外部音频信号的过程中生成的噪声。
用户输入单元130可以生成输入数据,以控制终端的操作。用户输入单元130可以通过包括小键盘、薄膜开关、触摸板(压力/电容)、滚轮、轻摇开关等来配置。
感测单元140检测移动终端100的当前状态,诸如移动终端100的打开/闭合状态、移动终端100的位置、移动终端100的方位等,并且生成用于控制移动终端100的操作的感测信号。例如,当移动终端100是滑动电话类型时,移动终端100可以感测滑动电话的打开或闭合状态。此外,感测单元140负责与是否从电源单元190供给电力、或者外部设备是否耦合到接口单元170相关联的感测功能。
感测单元140可以包括接近传感器141、立体触摸感测单元142、超声波感测单元143和相机感测单元144。感测单元140以配置有用于检测对象(在下文,称为“检测目标”)在三维检测区域中存在或移动的位置的三维传感器。
此外,感测单元140可以包括触摸传感器(未示出),用于感测对显示单元151的触摸操作。触摸传感器可以被实现为触摸膜、触摸片、触摸板等。触摸传感器可以被配置成将应用于显示单元151的特定部分的压力的改变、或者从显示单元151的指定部分发生的电容的改变转换成电子输入信号。而且,触摸传感器可以被配置成不仅感测触摸的位置和触摸的区域,也感测触摸压力。
当显示单元151和触摸灵敏传感器(称为触摸传感器)在其间具有层状结构时,显示单元151可以被用作输入设备而非输出设备。显示单元151可以被称为“触摸屏”。
当存在通过触摸屏输入的触摸时,相应的信号被发送到触摸控制器(未示出)。触摸控制器处理所接收到的信号,并且然后将与已处理的信号相对应的数据发射到控制器180。因此,控制器180可以感测显示单元151的哪个区域已被触摸。
当利用电容类型来实现触摸屏时,其可以被配置成通过电磁场的改变来感测检测目标的接近。在这种情况下,触摸屏可以被归类成接近传感器141。
接近传感器141指的是用于使用电磁场或红外线而非机械触摸来检测检测目标存在与否的传感器。接近传感器141可以包括透射类型光电传感器、直接反射类型光电传感器、镜面反射类型光电传感器、高频振荡接近传感器、电容类型接近传感器、磁类型接近传感器、红外线接近传感器等。
接近传感器141可以部署在由触摸屏覆盖或者与触摸屏相邻的移动终端100的内部区域。接近传感器141使用电磁场或红外线而非机械触摸来测量检测目标(例如,用户的手指或手写笔)和被施加触摸的检测表面之间的距离。接近传感器141通过使用所检测到的距离来识别立体图像的哪个部分已被触摸。
另一方面,接近传感器141可以被配置成使用检测目标的接近级别来感测三维空间上的触摸。
立体触摸感测单元142可以被配置成感测施加到触摸屏的触摸的强度、频率或持续时间。例如,立体触摸感测单元142感测用户施加的触摸压力,并且如果所施加的压力很强,则立体触摸感测单元142将其识别为对于离触摸屏更远的对象的触摸。
超声波感测单元143可以被配置成使用超声波来感测检测目标的位置。例如,超声波感测单元143可以配置有光学传感器和多个超声波传感器。
光学传感器可以被配置成感测光。例如,光学传感器可以是用于感测红外线的红外数据协会(IRDA)。
超声波传感器可以被配置成感测超声波。多个超声波传感器被布置成彼此分离,并且通过该配置,多个超声波传感器在同一或邻近点生成的感测超声波中可以具有时间差。
从波生成源生成超声波和光。可以在检测目标中设置波生成源,例如,手写笔。由于光比超声波快得多,所以光到达光学传感器的时间要比超声波到达光学传感器的时间快得多。因此,可以通过使用光和超声波到达光学传感器之间的时间差来计算光生成源的位置。
相机感测单元144可以包括相机、激光传感器和光传感器中的至少一个。例如,可以将相机和激光传感器彼此合并,以感测对三维立体图像的检测目标的触摸。由激光传感器感测到的距离信息被添加到由相机捕获的二维图像,以获取三维信息。
又例如,可以将光传感器安置在显示元件上。光传感器可以被配置成扫描在触摸屏附近的检测目标的动作。更确切地说,光传感器与光电二极管(PD)和晶体管以行或者列结合一起,并且通过使用根据施加到光电二极管的光量而改变的电子信号,可以扫描置于光传感器上的内容。换言之,通过光传感器可以检测根据已改变的光量的检测目标的位置坐标。
输出单元150被配置成提供与视觉、听觉、触觉等相关联的输出,并且输出单元150可以包括显示单元151、音频输出模块153、警报单元154、触觉模块155等。
显示单元151可以显示(输出)在移动终端100中处理的信息。例如,当移动终端100处于电话呼叫模式时,显示单元151可以显示与呼叫相关联的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频呼叫模式或图像捕获模式时,显示单元151可以显示捕获的图像和/或接收到的图像,UI或GUI。
显示单元151可以包括液晶显示器(LCD)、薄膜晶体管-LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器和电子墨水显示器中的至少一个。
在显示单元151中包括的至少一个显示器(或显示元件)可以用透明或光透明类型配置,以允许通过显示单元观看外部。其可以被称为透明显示器。典型透明显示器的示例包括透明LCD(TOLED)等。在该配置下,用户能够通过由终端主体的显示单元151所占用的区域看见位于终端主体后侧的对象。
根据移动终端100的配置方面,显示单元151在数目上可以被实现为两个或多个。例如,可以在一个表面上彼此间隔地或者结合地布置多个显示单元151,或者可以在不同表面上布置多个显示单元151。
显示单元151可以被配置有用于显示立体图像的立体显示单元152。此处,立体图像指示三维立体图像,并且三维立体图像是用于允许用户如在实际空间一样感觉位于监视器或屏幕上的对象的渐进深度和真实性的图像。
通过使用双眼视差可以实现三维立体图像。此处,双眼视差表示分开大约65mm的双眼的位置所形成的视差,当两眼看见不同的二维图像时,允许用户感觉立体图像的深度和真实性,并且然后图像通过视网膜传输并在大脑中融合为单一图像。
立体方法(眼镜方法)、自动立体方法(非眼镜方法)、投影方法(全息方法)等可以被应用到立体显示单元152。在家庭电视接收器中主要使用的立体方法可以包括惠斯通(wheatstone)立体方法等。
自动立体方法的示例可以包括平行屏障法、透镜法、全景成像方法等。投影方法可以包括反射全息方法、发射全息方法等。
通常,三维立体图像可以包括左图像(用于左眼的图像)和右图像(用于右眼的图像)。根据将左图像和右图像组合成三维立体图像的方法,实现三维立体图像的方法可以被划分成:由上而下的方法,在该方法中,左图像和右图像被部署在帧内的顶部和底部;左至右(L-至-R)或并排的方法,在该方法中,左图像和右图像被部署在帧内的左边和右边;棋盘法,在该方法中,左图像和右图像的片以棋盘格式部署;隔行扫描法,在该方法中,对于每个列和行单元,交替部署左图像和右图像;以及时间序列或逐帧法,在该方法中,对于每个时间帧,交替显示左图像和右图像。
作为三维立体图像的示例,如三维缩略图图像,左图像缩略图和右图像缩略图可以从原始图像帧的左或右图像生成,并且然后彼此组合,以生成三维立体图像。通常,缩略图表示缩小的图像或者缩小的静止视频。以对应于左和右图像的视差的深度,用屏幕上左和右的距离差来显示通过这种方式生成的左和右缩略图图像,从而实现立体空间感觉。
当立体显示单元152和触摸传感器被配置有隔层结构或者立体显示单元152和用于检测触摸操作的3D传感器彼此组合时,立体显示单元152可以被用作三维输入设备。立体显示单元152可以被称为“立体触摸屏”。
在呼叫接收模式、呼叫拨打模式、记录模式、语音识别模式、广播接收模式等中,音频输出模块153可以输出从无线通信单元110接收到的或者在存储器160中存储的音频数据。音频输出模块153可以输出与在移动终端100中执行的功能相关的音频信号(例如,警报接收到呼叫或接收到消息等的声音)。音频输出模块153可以包括接收器、扬声器、蜂鸣器等。
警报器154从移动终端100输出通知事件发生的信号。从移动终端100发生的事件可以包括接收到呼叫、接收到消息、键信号输入、触摸输入等。警报器154不仅可以输出视频或音频信号,也可以以振动方式输出其他类型的信号,诸如通知事件发生的信号。由于通过显示单元151或音频输出单元153可以输出视频或音频信号,所以显示单元151和音频输出模块153可以被归类为警报器154的一部分。
触觉模块155生成用户能够感觉到的各种触觉效果。由触觉模块155生成的触觉效果的代表性示例是振动。由触觉模块155生成的振动可以具有可控制的强度、可控制的模式等。例如,能够以合成的方式或连续地方式输出不同振动。
触觉模块155可以生成各种触觉效果,不仅包括振动效果,也包括相对于触摸的皮肤而垂直移动的针布置的效果、通过喷射/抽吸孔的空气的喷射力或抽吸力的效果、触摸皮肤表面的效果、与电极接触与否的效果、诸如静电力的刺激的效果、使用吸热设备或放热设备的冷或热感觉的再现的效果等。
触觉模块155可以被配置成通过用户的直接接触、或者使用手指或手的用户肌肉感觉来传达触觉效果。触觉模块155可以根据移动终端100的配置在数目上实现为两个或两个以上。
存储器160可以存储用于处理和控制控制器180的程序。替代地,存储器160可以临时存储输入/输出数据(例如:电话簿、消息、静止图像、视频等)。而且,存储器160可以存储与振动的各种模式相关的数据和根据触摸屏幕上的触摸输入而输出的声音。
可以使用任何适合类型的存储介质来实现存储器160,存储介质包括闪速存储器类型、硬盘类型、多媒体卡微型、存储卡类型(例如,SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。而且,移动终端100可以与网络存储器相关联地操作,网络存储器在互联网上执行存储器160的存储功能。
接口单元170通常被实现成将便携式终端与连接至移动终端100的外部设备对接。接口单元170可以允许从外部设备的数据接收、传递到移动终端100中的每个组件的电力、或者从移动终端100至外部设备的数据传输。例如,接口单元170可以包括有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于耦合具有识别模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
识别模块可以被配置为用于存储验证使用移动终端100需要的权限的各种信息的芯片,其可以包括用户识别模块(UIM)、订户识别模块(SIM)等。而且,可以将具有识别模块的设备(在下文中,称为“识别设备”)实现为智能卡类型。因此,识别设备可以经由端口耦合到移动终端100。
而且,当移动终端100被连接到外部托架时,接口单元170可以用作从外部托架向移动终端100提供电力的通道,或者用作将用户从托架输入的各种命令信号传输到移动终端100的通道。这样的各种命令信号或从托架输入的电力可以操作为用于识别移动终端100已被精确地装载到托架中的信号。
控制器180通常控制移动终端100的整体操作。例如,控制器180执行与电话呼叫、数据通信、视频呼叫等相关联的控制和处理。控制器180可以包括提供多媒体回放的多媒体模块181。多媒体模块181可以被配置为控制器180的一部分,或者配置为单独组件。
控制器180能够执行模式识别处理,以便将在触摸屏上执行的书写输入或绘画输入识别为文本或图像。
电源单元190接收外部和内部电力,以在控制器180的控制之下提供各种组件所需要的电力。
此处描述的各种实施例可以在使用软件、硬件或其任何组合的计算机或相似设备可读介质中实现。
对于硬件实现,通过使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计成执行此处描述的功能的电子单元中的至少一个来实现。在一些情况下,也可以在控制器180中实现这样的实施例。
对于软件实现,诸如进程或函数的实施例可以与允许执行至少一个功能或操作的单独软件模块一起来实现。软件代码能够通过以任何适当的编程语言编写的软件应用来实现。软件代码可以被存储在存储器160中,并且由控制器180来执行。
在下文中,将描述对移动终端100的用户输入的处理方法。
操纵用户输入单元130,以接收用于控制便携式终端100的操作的命令,并且可以包括多个操纵单元。操纵单元可以共同地设计为操纵部件,并且如果是允许用户用触觉来执行操纵的触觉方式时,则可以采用任何方法。
在显示单元151上可以显示各种各样的视觉信息。可以以字符、数字、符号、图形或图标的形式来显示视觉信息,或者可以以三维立体图像中实现视觉信息。对于视觉信息的输入,字符、数字、符号、图形或图标中的至少一个可以以预定布置显示,以便以键盘的形式实现。这样的键盘可以被称为所谓的“软键”。
显示单元151可以在整个区域上操作,或者通过划分成多个区域进行操作。在后者的情况下,多个区域可以被配置成以相关联的方式操作。例如,输出窗口和输入窗口可以分别地显示在显示单元的上部分和下部分。输出窗口和输入窗口可以是分别被分配给输出或输入信息的区域。在输入窗口上输出软键,在软键上显示用于输入电话号码等的数字。当软键被触摸时,在输出窗口上显示与触摸的软键相对应的数字。当操纵单元被操纵时,尝试用于在输出窗口上显示的电话号码的呼叫连接,或者可以将输出窗口上显示的文本输入到应用。
显示单元151或触摸板可以被配置成感测触摸滚动。通过滚动显示单元151或触摸板,用户可以移动在显示单元151上显示的对象,例如,置于图标上的光标或指示器。此外,当手指在显示单元151或触摸板上移动时,通过手指移动的路径可以被可视地显示在显示单元151上。这对编辑在显示单元151上显示的图像可能是有用的。
为了应对在预定时间段内显示单元151和触摸板一起被触摸的情况,可以执行移动终端100的一个功能。如被一起触摸的情况,存在当用户使用食指和拇指夹紧移动终端100的终端主体时的情况。对于在移动终端100中执行的功能之一,能对显示单元151或触摸板执行激活或去激活。
在下文中,将描述用于使用在移动终端100中的三维立体图像上显示的对象之间的距离改变来控制对象的机制。
图2是用于解释应用到图1中所示的移动终端100的控制方法的实施例的流程图。参考图2,在步骤S110中,显示包括多个对象的三维立体图像。立体显示单元152(参考图1)可以输出通过直接图像方法实现的三维立体图像。三维立体图像可以以相对于例如立体显示单元152的表面的移动终端100的窗口而言,突出或陷入移动终端100的形式来实现。
在步骤S 120中,在与三维立体图像相对应的检测区域中感测检测目标的位置。感测单元140(参考图1)可以感测检测目标的二维位置,例如,在与移动终端100的窗口平行的表面上的位置。此外,感测单元140可以感测检测目标的三维位置,例如,包括相对于移动终端100的窗口的垂直距离的位置。
在步骤S130中,基于检测目标的位置,可以选择在三维立体图像中包括的多个对象中的至少一个。控制器180可以使用从感测单元140提供的检测目标的位置信息来选择多个对象中的至少一个。此时,在三维立体图像中已经选择的对象的位置可以对应于在检测区域中的检测目标的位置。
在步骤S140中,所选择的对象沿着检测目标的移动而移动。例如,当检测目标在一个方向上移动时,所选择的对象也能够在与检测目标的移动方向相同的方向上移动。
在步骤S150中,由于所选择的对象的移动,确定在所选择的对象和另一对象之间的距离被向哪个方向改变。作为确定的结果,当在所选择的对象和另一对象之间的距离被向与移动终端100的窗口垂直的方向(在下文中,称为“垂直方向”)改变时,前进至步骤S160。反之,当在所选择的对象和另一对象之间的距离被向与移动终端100的窗口成水平的方向(在下文中,称为“水平方向”)改变时,前进到步骤S190。
在步骤S160中,确定在所选择的对象和另一对象之间的距离是增加还是减少。根据确定的结果,当在所选择的对象和另一对象之间的距离被增加时,前进至步骤S170。在步骤S170中,在所选择的对象和另一对象之间生成另外对象。反之,当所选择的对象和另一对象之间的距离减少时,进行到步骤S180。在步骤180中,在所选择的对象和另一对象之间显示的至少一个对象被删除。
在步骤S190中,在所选择的对象和另一对象之间显示的对象的位置被向水平方向改变。例如,在所选择的对象和另一对象之间显示的对象的间隔可以被在水平方向均匀地控制。
如上所述,根据应用到本发明的移动终端100的控制方法的实施例,可以执行对象控制操作,以在三维空间中将选择的对象沿着检测目标的移动而移动,并且根据由于所选择的对象的移动而导致对象之间的距离改变来生成或删除至少一个对象。或者,可以执行对象控制操作以改变对象的位置(间隔)。
结果,除了与所选择的对象的移动相关联的命令之外,通过使用在对象之间改变的空间而非输入其他附加命令,可以有效地控制移动终端100的对象。
图3A、3B、4A、4B、5A和5B是图示根据图2中所示的控制方法的操作示例的概念图。
将在下文描述操作示例,立体显示单元252输出以相对于其表面的移动终端200的突出形式来实现的三维立体图像。在与三维立体图像相对应的检测区域246中,感测单元(未示出)感测检测目标248的位置。控制器(未示出)基于检测目标248的位置来控制在三维立体图像上显示的对象。
图3A和3B图示了将在三维立体图像中包括的多个对象202、204中的对象202(在下文中,称为“第一对象”)沿着检测目标248的移动在垂直方向上移动的情况。
参考图3A,当由于第一对象202的移动而导致第一对象202和未选择的对象204(在下文中,称为“第二对象”)之间的距离在垂直方向上增加时,在第一和第二对象202、204之间生成至少一个对象206、208。
此时,根据由移动终端200驱动的操作系统(OS)和应用,在第一和第二对象202、204之间生成各种各样的对象。例如,在第一和第二对象202、204之间生成空置区域(在三维立体图像中未显示任何的区域)、在网页浏览器窗口中的备忘录或空置页面、剪贴板、虚拟键盘、图标、多媒体内容、控制菜单、电话目录、对话窗口、微件、电子书文档、数据表等。
通过在第一和第二对象202、204之间的已改变距离可以确定在第一和第二对象202、204之间显示的对象的数目。例如,所生成的对象的数目可以随着第一和第二对象202、204之间的距离的增加而增加。
在第一和第二对象202、204之间生成的对象206、208可以包括反映对象属性的指示。例如,如附图中所示,在所生成的对象206、208上显示添加符号,作为示出所生成的对象206、208需要额外控制的指示。
参考图3B,当由于第一对象202的移动而导致第一对象202和第二对象204之间的距离在垂直方向上减少时,在第一和第二对象202、204之间显示的对象206、208中的至少一个被删除。
此时,根据优先级,在第一和第二对象202、204之间显示的对象206、208可以被删除。例如,如在附图中所示的,最近生成的对象208可以早于先前生成的对象206而被删除。
图4A和图4B图示了将第一对象202在水平方向上沿着检测目标248的移动而移动的情况。例如,图4A和图4B图示了在与立体显示单元252平行的表面上在不同方向上移动第一对象202的情况。
参考图4A和图4B,在水平方向上移动第一对象202,同时与立体显示单元252维持垂直方向。然后,在第一和第二对象202、204之间显示的对象206、208的位置可以被沿着第一对象202的移动向水平方向改变。例如,在第一和第二对象202、204之间显示的对象206、208的位置可以被改变成使对象202、204、206、208的间隔相等。
在第一和第二对象202、204之间显示的对象206、208可以是通过在垂直方向上增加在第一和第二对象202、204之间的距离而生成的对象。
在图5A和图5B中,除了第一和第二对象202、204之外,进一步图示了另一个选择的对象203(在下文中,称为“第三对象”)。图5A和图5B图示了将第一和第三对象202、203在垂直方向沿着检测目标248的移动而移动的情况。换言之,图5A和图5B图示了使用多触摸的控制方法的实施例。
参考图5A,第一和第三对象202、203被沿着检测目标248的移动而移动,同时互相之间维持垂直距离。然后,当由于第一和第三对象202、203的移动而导致在第一和第三对象202、203中的任一个与第二对象204之间的距离在垂直方向上增加时,在第一和第三对象202、203中的任一个与第二对象204之间生成至少一个对象206。例如,在第一和第二对象202、204之间生成至少一个对象206,如附图中所示。
参考图5B,第一和第三对象202、203沿着检测目标248的移动,在彼此被拉开的方向上移动。然后,当由于第一和第三对象202、203的移动而导致在第一和第三对象202、203之间的距离在垂直方向上增加时,在第一和第三对象202、203之间生成至少一个对象206。
图6是图示以示例性方式执行与图2中示出的控制方法相关联的对象固定模式的情况。此处,对象固定模式是指当移动检测目标时将对象属性改变成固定所选择的对象的位置的模式。
参考图6,第一对象302响应于通过检测目标348输入的固定命令而被固定。更确切地说,当检测目标348将第一对象302拖出检测区域346时,输入固定命令,并且响应于该固定命令而固定第一对象302。此时,第一对象302沿着第一对象302的移动而移动,直至接收到固定命令。
虽然在附图中未示出,但是通过使用选择键可以输入固定命令。另外,可以基于检测目标348对于第一对象302的触摸频率和时间中的至少一个,输入固定命令。
当执行对象固定模式时,可以在第一对象302上显示指示第一对象302被固定的指示。
根据本发明的实施例,随后执行对象固定模式,可以执行用于在第一和第二对象302、304之间显示的对象306、308的附加操作。在下文中,将描述在根据图2所示的控制方法控制对象之后执行的增强用户的便利性的对象控制操作。
图7至图12是图示与图2中所示的控制方法相关联的附加对象控制方法的实施例的概念图。在参考图7至图11描述的实施例中,移动终端400的立体显示单元452可以输出包括第一至第四对象402、404、406、408的三维立体图像。此处,第三和第四对象406、408是指随着第一和第二对象402、404之间的距离在垂直方向上增加,在第一和第二对象402、404之间生成的对象。换言之,在此处描述的第三对象406与图5A和5B中的第三对象203不同。
参考图7,基于在检测区域446中的检测目标448的位置来选择第四对象408。当选择了第四对象408时,在三维立体图像上显示与第四对象408相关联的控制菜单401。
控制菜单401可以包括诸如微件、备忘录、MP3播放器等的候选对象的列表。此处,可以滚动在控制菜单401的列表上显示的候选对象的名称。
可以根据通过使用控制菜单401输入的选择信息来选择候选对象的一个对象405(在下文中,称为“第五对象”),例如,MP3播放器。然后,与通过使用控制菜单401输入的选择信息相对应的第五对象405可以被添加到第四对象408。
参考图8,响应于由检测目标448输入的删除命令而删除第四对象408。更确切地说,当检测目标448将第四对象408从检测区域446中拖出时输入删除命令,并且响应于该删除命令而删除第四对象408。
当删除第四对象408时,第四对象408被删除的位置可以保持为空置区域,或者可以执行附加控制操作。例如,当删除第四对象408时,改变剩余的第一至第三对象402、404、406中的至少一个的位置。更确切地说,在第一和第二对象402、404之间显示的第三对象406的位置可以被改变成使剩余的第一至第三对象402、404、406的间隔相等。
又例如,当删除第四对象408时,可以在第一和第二对象402、404之间的空置区域中生成取代第四对象408的第六对象409。此处,第六对象409可以是与邻近对象相关联的对象。例如,第六对象409可以是与电子邮件相关联的地址簿。在第一和第二对象402、404之间的空置区域可以对应于第四对象408在删除之前所位于的位置。
参考图9,第四对象408在第一和第二对象402之间沿着检测目标448的移动而移动。然后,当第四对象408被移动时,在第一和第二对象402、404之间显示的至少一个对象的位置被改变。例如,当将第四对象408移动至第三对象406所位于的位置时,第三和第四对象406、408的位置可以彼此转换。
参考图10,第四对象408可以包括剪贴板。剪贴板可以存储诸如文本、图像等的各种对象(对象1-对象3)。通过使用剪贴板可以执行诸如复制、剪切、粘贴等的编辑操作。例如,响应于由检测目标448输入的复制命令而复制在剪贴板中存储的任何一个对象(对象2),并且可以响应于由检测目标448输入的粘贴命令而将所复制的对象(对象2)粘贴到第三对象406。
参考图11,第四对象408可以包括虚拟键盘408′。当第四对象408包括虚拟键盘408′时,通过使用虚拟键盘408′输入的数据可以被显示并且被存储在第四对象408中。
更确切地说,当感测到检测目标448对第四对象408的触摸时,虚拟键盘408′被放大和弹出,并且可以通过使用虚拟键盘408′来输入数据。此时,第四对象408可以被显示成朝向立体显示单元452倾斜。
参考图12,在第一和第二对象402、404之间显示的第三和第四对象406、408可以被组合成一组。更确切地说,当检测目标448将第三和第四对象406、408拖动到检测区域446中的编组区域446′时,并且由此,当第三和第四对象406、408位于编组区域446′中时,第三和第四对象406、408被组合成一组。
例如,当通过拖动检测目标448将第四对象408移动至编组区域446′,并且然后通过拖动检测目标448将第三对象406移动到编组区域446’,并且由此,第三和第四对象406、408位于彼此相邻的位置时,第三和第四对象406、408可以被组合成一组。
如上所述,通过支持诸如添加、删除、编组、编辑、输入操作等的附加控制,在控制显示在三维立体图像中的对象上可以增强用户的便利性。
图13A至图13C是图示与应用到根据本发明的移动终端的控制方法的实施例相关联的视觉效果的概念图。
在参考图13A至图13C描述的实施例中,移动终端500的立体显示单元552可以输出包括第一和第二对象502、504的三维立体图像。当由于第一对象502的移动而导致第一和第二对象502、504之间的距离在垂直方向上增加时,在第一和第二对象502、504之间生成第三对象506。
根据图示第三对象506是通过控制第一对象502而生成的对象的视觉效果,第三对象506的一部分可以被显示为折叠的,如图13A中所示,以及第三对象506可以被显示为朝向立体显示单元552倾斜,如图13B中所示,以及第三对象506以两维方式显示为放大,如图13C中所示。
虽然在附图中未示出,但是根据图示第三对象506是通过控制第一对象502而生成的对象的视觉效果,以各种形式对第三对象506进行形状、格式、透明度、背景颜色、文本颜色等改变,或者还对第三对象506给出诸如高亮、下划线、边界高亮等的效果是可能的。此外,在第三对象506上可以显示诸如页码、图表、测量仪数值等的信息。
图14A和图14B是图示与应用到根据本发明的移动终端的控制方法的实施例相关联的对象检测范围的概念图。
参考图14A和图14B,当移动终端的感测单元感测到检测目标时,与在三维立体图像中显示的任何一个对象602相对应的检测区域可以为对象602根据垂直距离而确定。例如,检测区域可以随着被从对象602拉开而变得更宽,并且随着被从对象602拉近而变得更窄。因此,在位于离开对象602第一垂直距离(d1)的平面上的检测区域,比在位于离开第二垂直距离(d2)的平面上的检测区域更窄。
另一方面,根据相对于对象602的垂直距离的检测区域的形状可以是如图14A中所示的圆形,或者是如图14B中所示的矩形。然而,检测区域的形状可以不限于此并且可以以各种方式来实现。
图15是用于解释应用于图1中所示的移动终端100的控制方法的另一实施例的流程图。在下文中,将省略已经对图2中所示控制方法进行的冗余描述。
参考图15,在步骤S210中,在立体显示单元152(参考图1)上显示包括多个对象的三维立体图像。
在步骤S220中,基于应用到立体显示单元152的强度、频率、以及触摸时间中的至少一个,在垂直方向上移动从多个对象选择的一个对象。例如,选择的对象根据应用到立体显示单元152的触摸的频率可以被从立体显示单元152拉开。又例如,选择的对象根据应用到立体显示单元152的触摸的时间可以被向立体显示单元152拉近。
在步骤S230中,可以确定所选择的对象和另一对象之间的距离是增加还是减少。作为确定的结果,当所选择的对象和另一对象之间的距离增加时,前进至步骤S240。在步骤S240中,在所选择的对象和另一对象之间生成另外对象。反之,当所选择的对象和另一对象之间的距离减小时,前进至步骤S250。在步骤S250中,在所选择的对象和另一对象之间显示的至少一个对象被删除。
如上所述,根据应用到本发明的移动终端100的控制方法的另一实施例,执行用于将所选择的对象在垂直方向上移动并且然后根据所选择的对象的移动来生成或删除至少一个对象的对象控制操作是可能的。
图16A和图16B是图示根据图15中所示的控制方法的操作示例的概念图。
在下文所描述的操作示例中,立体显示单元752可以输出以相对于其表面凹陷进移动终端700的形式实现的三维立体图像。感测单元(未示出)感测立体显示单元752上的触摸。控制器(未示出)基于所感测到的触摸来控制在三维立体图像上显示的对象。
图16A和图16B图示了基于应用到立体显示单元752的触摸的强度、频率和时间中的至少一个在垂直方向上移动第一对象702的情况。例如,随着应用到立体显示单元752的触摸的频率增加,可以将第一对象702从立体显示单元752拉开。又例如,随着应用到立体显示单元752的触摸时间被增加,可以将第一对象702向立体显示单元752拉近。
参考图16A,当由于第一对象702的移动而导致第一和第二对象702、704之间的距离在垂直方向上增加时,在第一和第二对象702、704之间生成至少一个对象706、708。
参考图16B,当由于第一对象702的移动而导致第一和第二对象702、704之间的距离在垂直方向上减小时,在第一和第二对象702、704之间显示的至少一个对象706、708被删除。
此时,根据优先级,可以删除在第一和第二对象702、704之间显示的对象706、708。例如,如附图中所示,最近生成的对象708可以早于先前生成的对象706而被删除。
图17是用于解释应用到图1中所示的移动终端100的控制方法的又一实施例的流程图。在下文中,将省略已经在图2所示的控制方法中进行的冗余描述。
参考图17,在步骤S310中,在立体显示单元152上显示包括多个对象的三维立体图像(参见图1)。
在步骤S320中,基于在立体显示单元152上的拖动,在水平方向上移动在多个对象当中选择的对象。例如,可以在与在立体显示单元152上的拖拉方向相同的方向上将所选择对象拉开或者向立体显示单元152拉近。
在步骤S330中,当由于所选择对象的移动而导致所选择对象和另一对象之间的距离被向水平方向改变时,在所选择的对象和另一对象之间显示的对象的位置被向水平方向改变。例如,在所选择的对象和另一对象之间显示的对象的间隔可以在水平方向被均匀地控制。
如上所述,根据应用到根据本发明的移动终端100的控制方法的又一实施例,执行用于使用在立体显示单元152上的拖动在水平方向上移动所选择的对象,并且然后根据所选择的对象的移动来改变对象的位置(间隔)的对象控制操作是可能的。
图18是图示根据图17中所示的控制方法的操作示例的概念图。
根据此处所描述的操作示例,立体显示单元852可以输出以相对于其表面凹陷进移动终端800的形式实现的三维立体图像。感测单元(未示出)感测立体显示单元852上的拖动。控制器(未示出)基于所感测到的拖动来控制在三维立体图像上显示的对象。
参考图18,第一对象802在与在立体显示单元852上的拖动方向相同的方向上移动,同时维持相对于立体显示单元852的垂直距离。然后,在第一和第二对象802、804之间显示的对象806、808的位置被沿着第一对象802的移动向水平方向改变。例如,在第一和第二对象802、804之间显示的对象806、808的位置可以改变成使对象802、804、806、808的水平间隔相等。
在第一和第二对象802、804之间显示的对象806、808可以是通过在垂直方向上增加第一和第二对象802、804之间的距离而生成的对象。
如上所述,基于根据本发明的实施例的移动终端及其控制方法,可能的是,执行用于在三维空间中根据检测目标的移动而移动所选择的对象,并且然后生成或删除至少一个对象,或者根据由于所选择对象的移动而导致的对象之间的距离变化来改变对象的位置(间隔)的对象控制操作。结果,通过使用在对象之间改变的空间,而没有输入除了与所选择的对象的移动相关联的命令之外的附加命令,可以有效地控制对象。
此外,通过支持用于对象的诸如添加、删除、编组、编辑、输入操作等的附加控制,在控制显示在三维立体图像中的对象中可以增强用户的便利性。
本领域的技术人员应当理解,在不脱离本发明的范围和技术精神的情况下,能够对本发明的结构做出各种修改和改变。考虑到上文的描述,如果各种修正和变化被包括在下面的权利要求及其等同物内,则应当理解本发明包括其修改和改变。
Claims (27)
1.一种控制移动终端的方法,所述方法包括:
显示包括多个对象的三维立体图像;
在与所述三维立体图像相对应的检测区域中,检测检测目标的位置;
基于所述检测目标的所述位置来选择第一对象;
在选择了所述第一对象的状态下,沿着所述检测目标的移动而移动所述第一对象;以及
当所述第一对象和第二对象之间的距离由于所述第一对象的移动而在相对于显示单元的垂直方向上增加时,在所述第一对象和所述第二对象之间生成至少一个对象。
2.根据权利要求1所述的方法,进一步包括:
当所述第一对象和所述第二对象之间的距离由于所述第一对象的移动而在相对于显示单元的垂直方向上减少时,删除在所述第一对象和所述第二对象之间显示的对象中的至少一个。
3.根据权利要求2所述的方法,其中,在所述第一对象和所述第二对象之间生成或删除对象的数目由所述第一对象和所述第二对象之间的改变的距离而确定。
4.根据权利要求1所述的方法,进一步包括:
当所述第一对象和所述第二对象之间的距离向与所述垂直方向垂直的另一方向改变时,向所述另一方向改变在所述第一对象和所述第二对象之间显示的对象的位置。
5.根据权利要求1所述的方法,进一步包括:
基于所述检测目标的所述位置来选择第三对象;
在选择了所述第一对象和所述第三对象的状态下,沿着所述检测目标的移动而移动所述第一对象和所述第三对象;以及
当所述第一对象和所述第三对象之间的距离由于所述第一对象和所述第三对象的移动而在垂直方向上增加时,在所述第一对象和所述第三对象之间生成至少一个对象。
6.根据权利要求1所述的方法,进一步包括:
基于所述检测目标的所述位置,选择在所述第一对象和所述第二对象之间生成的第四对象;以及
在选择了所述第四对象的状态下,控制所述第四对象。
7.根据权利要求6所述的方法,其中,所述控制所述第四对象包括:
显示与所述第四对象相关联的控制菜单;以及
将与通过使用所述控制菜单输入的选择信息相对应的第五对象添加到所述第四对象。
8.根据权利要求6所述的方法,其中,所述控制所述第四对象包括:
响应于由所述检测目标输入的删除命令而删除所述第四对象。
9.根据权利要求8所述的方法,进一步包括:
当删除了所述第四对象时,改变剩余对象中的至少一个的位置。
10.根据权利要求8所述的方法,进一步包括:
当删除了所述第四对象时,在所述第一对象和所述第二对象之间的空置区域中生成取代所述第四对象的第六对象。
11.根据权利要求6所述的方法,其中,所述控制所述第四对象包括:
沿着所述检测目标的移动在所述第一对象和所述第二对象之间移动所述第四对象。
12.根据权利要求11所述的方法,进一步包括:
当移动所述第四对象时,改变在所述第一对象和所述第二对象之间显示的至少一个对象的位置。
13.根据权利要求6的所述方法,其中,所述控制所述第四对象包括:当所述第四对象包括剪贴板时,使用所述剪贴板来执行编辑操作。
14.根据权利要求6所述的方法,其中,所述控制所述第四对象包括:当所述第四对象包括虚拟键盘时,显示和存储通过使用在所述第四对象中的所述虚拟键盘输入的数据。
15.根据权利要求14所述的方法,其中,所述虚拟键盘被显示成朝向用于显示所述三维立体图像的所述显示单元倾斜。
16.根据权利要求6所述的方法,进一步包括:
响应于由所述检测目标输入的固定命令而固定所述第一对象。
17.根据权利要求16所述的方法,其中,在所述固定所述第一对象的过程中,当所述检测目标将所述第一对象拖出所述检测区域时,输入所述固定命令。
18.根据权利要求16所述的方法,其中,在所述固定所述第一对象过程中,基于所述检测目标触摸所述第一对象的频率或时间中的至少一个,输入所述固定命令。
19.根据权利要求1所述的方法,进一步包括:
当在所述第一对象和所述第二对象之间显示的第三对象和第四对象位于在所述三维立体图像中的编组区域内时,编组所述第三对象和所述第四对象。
20.根据权利要求1所述的方法,其中,在所述第一对象和所述第二对象之间生成的所述至少一个对象包括反映对象属性的指示。
21.根据权利要求1所述的方法,其中,与在所述三维立体图像上显示的每个对象相对应的检测范围根据相对于所述每个对象的垂直距离而确定。
22.一种控制移动终端的方法,所述方法包括:
在显示单元上显示包括多个对象的三维立体图像;
基于应用到所述显示单元的触摸的强度、频率和时间中的至少一个,在关于所述显示单元的垂直方向上移动第一对象;以及
当在垂直方向上移动所述第一对象以增加所述第一对象和第二对象之间的距离时,在所述第一对象和所述第二对象之间生成至少一个对象。
23.根据权利要求22所述的方法,进一步包括:
当在所述垂直方向上移动所述第一对象以减少所述第一对象和所述第二对象之间距离时,删除在所述第一对象和第二对象之间显示的对象中的至少一个。
24.根据权利要求22所述的方法,进一步包括:
基于在所述显示单元上的拖动,在关于所述显示单元的水平方向上移动所述第一对象;以及
当在所述水平方向上移动所述第一对象以改变所述第一对象和所述第二对象之间的距离时,向所述水平方向改变在所述第一对象和所述第二对象之间显示的对象的位置。
25.一种移动终端,包括:
终端主体;
显示单元,所述显示单元形成在所述终端主体上,并且被配置成显示包括第一对象和第二对象的三维立体图像;
检测单元,所述检测单元安装在所述终端主体上,以在与所述三维立体图像相对应的检测区域中检测检测目标的位置;以及
控制器,所述控制器被配置成:基于所述检测目标的所述位置来选择所述第一对象;在选择了所述第一对象的状态下,沿着所述检测目标的所述移动而移动所述第一对象;以及当所述第一对象和所述第二对象之间的距离由于所述第一对象的移动而在相对于显示单元的垂直方向上增加时,在所述第一对象和所述第二对象之间生成至少一个对象。
26.根据权利要求25所述的移动终端,其中,当所述第一对象和所述第二对象之间的距离由于所述第一对象的移动而在相对于显示单元的垂直方向上减少时,所述控制器删除在所述第一对象和所述第二对象之间显示的对象中的至少一个。
27.根据权利要求26所述的移动终端,其中,当所述第一对象和所述第二对象之间的距离向与所述垂直方向垂直的另一方向改变时,所述控制器向所述另一方向改变在所述第一对象和所述第二对象之间显示的对象的位置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110026589A KR101781908B1 (ko) | 2011-03-24 | 2011-03-24 | 이동 단말기 및 그것의 제어방법 |
KR10-2011-0026589 | 2011-03-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102693069A CN102693069A (zh) | 2012-09-26 |
CN102693069B true CN102693069B (zh) | 2015-04-22 |
Family
ID=44897588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110251163.3A Expired - Fee Related CN102693069B (zh) | 2011-03-24 | 2011-08-16 | 移动终端及其控制方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8797317B2 (zh) |
EP (1) | EP2503438B1 (zh) |
KR (1) | KR101781908B1 (zh) |
CN (1) | CN102693069B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5785753B2 (ja) * | 2011-03-25 | 2015-09-30 | 京セラ株式会社 | 電子機器、制御方法および制御プログラム |
EP2717140B1 (en) * | 2011-05-24 | 2019-01-09 | Mitsubishi Electric Corporation | Equipment control device, operation reception method, and program |
US20120304090A1 (en) * | 2011-05-28 | 2012-11-29 | Microsoft Corporation | Insertion of picture content for use in a layout |
WO2013005586A1 (ja) * | 2011-07-04 | 2013-01-10 | Necカシオモバイルコミュニケーションズ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US8943582B1 (en) | 2012-07-18 | 2015-01-27 | Amazon Technologies, Inc. | Transferring information among devices using cameras |
JP5751233B2 (ja) * | 2012-10-02 | 2015-07-22 | 株式会社デンソー | 操作デバイス |
US9652115B2 (en) * | 2013-02-26 | 2017-05-16 | Google Inc. | Vertical floor expansion on an interactive digital map |
JP6206099B2 (ja) * | 2013-11-05 | 2017-10-04 | セイコーエプソン株式会社 | 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置 |
KR102399589B1 (ko) | 2014-11-05 | 2022-05-18 | 삼성전자주식회사 | 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체 |
KR102337216B1 (ko) | 2015-01-05 | 2021-12-08 | 삼성전자주식회사 | 영상 표시 장치 및 영상 표시 방법 |
CN107823877A (zh) * | 2016-09-16 | 2018-03-23 | 天津思博科科技发展有限公司 | 应用三维定位传感器实现的虚拟运动游戏装置 |
KR102316024B1 (ko) * | 2017-03-02 | 2021-10-26 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법 |
WO2019027919A2 (en) | 2017-08-01 | 2019-02-07 | Intuitive Surgical Operations, Inc. | TOUCH SCREEN USER INTERFACE FOR INTERACTING WITH A VIRTUAL MODEL |
DE102019200090A1 (de) * | 2019-01-07 | 2020-07-09 | Continental Automotive Gmbh | Bedienvorrichtung zur Bedienung mindestens eines Gerätes und Verfahren zur Bedienung einer solchen Bedienvorrichtung |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101938666A (zh) * | 2009-06-30 | 2011-01-05 | 索尼公司 | 立体图像显示设备、对象邻近检测设备和电子装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6727924B1 (en) * | 2000-10-17 | 2004-04-27 | Novint Technologies, Inc. | Human-computer interface including efficient three-dimensional controls |
US7043701B2 (en) * | 2002-01-07 | 2006-05-09 | Xerox Corporation | Opacity desktop with depth perception |
JP4325449B2 (ja) * | 2004-03-19 | 2009-09-02 | ソニー株式会社 | 表示制御装置,表示制御方法,記録媒体 |
JP4274997B2 (ja) | 2004-05-06 | 2009-06-10 | アルパイン株式会社 | 操作入力装置および操作入力方法 |
KR100608589B1 (ko) * | 2004-07-24 | 2006-08-03 | 삼성전자주식회사 | 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치 |
CN101308442B (zh) * | 2004-10-12 | 2012-04-04 | 日本电信电话株式会社 | 三维指示方法和三维指示装置 |
US8334841B2 (en) * | 2006-03-13 | 2012-12-18 | Navisense | Virtual user interface method and system thereof |
US8578282B2 (en) * | 2006-03-15 | 2013-11-05 | Navisense | Visual toolkit for a virtual user interface |
EP2010999A4 (en) * | 2006-04-21 | 2012-11-21 | Google Inc | SYSTEM FOR ORGANIZING AND VISUALIZING DISPLAY OBJECTS |
US8284165B2 (en) * | 2006-10-13 | 2012-10-09 | Sony Corporation | Information display apparatus with proximity detection performance and information display method using the same |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
US9513765B2 (en) * | 2007-12-07 | 2016-12-06 | Sony Corporation | Three-dimensional sliding object arrangement method and system |
US8576181B2 (en) * | 2008-05-20 | 2013-11-05 | Lg Electronics Inc. | Mobile terminal using proximity touch and wallpaper controlling method thereof |
KR101481556B1 (ko) * | 2008-09-10 | 2015-01-13 | 엘지전자 주식회사 | 이동 단말기 및 이를 이용한 객체 표시방법 |
KR101586627B1 (ko) * | 2008-10-06 | 2016-01-19 | 삼성전자주식회사 | 멀티 터치를 이용한 리스트 관리 방법 및 장치 |
KR20100041006A (ko) * | 2008-10-13 | 2010-04-22 | 엘지전자 주식회사 | 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법 |
US20120005624A1 (en) * | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
CN101989179A (zh) | 2010-11-09 | 2011-03-23 | 福州瑞芯微电子有限公司 | 前进式三维用户界面的实现方法和移动终端 |
-
2011
- 2011-03-24 KR KR1020110026589A patent/KR101781908B1/ko active IP Right Grant
- 2011-07-08 US US13/178,780 patent/US8797317B2/en not_active Expired - Fee Related
- 2011-08-16 CN CN201110251163.3A patent/CN102693069B/zh not_active Expired - Fee Related
- 2011-09-29 EP EP11007902.7A patent/EP2503438B1/en not_active Not-in-force
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101938666A (zh) * | 2009-06-30 | 2011-01-05 | 索尼公司 | 立体图像显示设备、对象邻近检测设备和电子装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2503438A3 (en) | 2016-06-08 |
US8797317B2 (en) | 2014-08-05 |
EP2503438B1 (en) | 2018-08-22 |
KR101781908B1 (ko) | 2017-09-26 |
US20120242652A1 (en) | 2012-09-27 |
CN102693069A (zh) | 2012-09-26 |
EP2503438A2 (en) | 2012-09-26 |
KR20120109090A (ko) | 2012-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102693069B (zh) | 移动终端及其控制方法 | |
KR102082417B1 (ko) | 이동 단말기 및 그 제어 방법 | |
US10901574B2 (en) | Mobile terminal and method for multi-tasking using an extended region to display related content | |
US10044928B2 (en) | Mobile terminal and method for controlling the same | |
US10691327B2 (en) | Mobile terminal and control method for the mobile terminal | |
US8780076B2 (en) | Mobile terminal and method for controlling the same | |
EP3226541A1 (en) | Mobile terminal and method for controlling the same | |
KR102251541B1 (ko) | 이동단말기 및 그것의 제어방법 | |
CN101739200B (zh) | 终端及在其中使用因特网的方法 | |
US10321045B2 (en) | Mobile terminal and method for controlling the same | |
CN104823434A (zh) | 移动终端及其控制方法 | |
CN104049837B (zh) | 移动终端及其修改的键区使用方法 | |
CN105278855A (zh) | 移动终端及其控制方法 | |
CN104049885A (zh) | 移动终端和控制移动终端的方法 | |
CN105022581A (zh) | 移动终端及其控制方法 | |
CN104935723A (zh) | 移动终端及其控制方法 | |
KR20160006341A (ko) | 이동 단말기 및 이의 제어방법 | |
KR102215817B1 (ko) | 이동 단말기 및 그 제어 방법 | |
US20170285933A1 (en) | Mobile terminal and method for controlling the same | |
CN103257784A (zh) | 移动终端及其控制方法 | |
US10019156B2 (en) | Mobile terminal and method for controlling the same | |
KR20110054256A (ko) | 이동 단말기 및 그 제어방법 | |
KR101631966B1 (ko) | 이동 단말기 및 이의 제어방법 | |
KR20180133138A (ko) | 이동 단말기 및 그 제어 방법 | |
KR20180065692A (ko) | 이동 단말기 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150422 Termination date: 20200816 |