CN104216653A - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN104216653A
CN104216653A CN201410230670.2A CN201410230670A CN104216653A CN 104216653 A CN104216653 A CN 104216653A CN 201410230670 A CN201410230670 A CN 201410230670A CN 104216653 A CN104216653 A CN 104216653A
Authority
CN
China
Prior art keywords
electronic equipment
virtual controlling
controlling object
plane
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410230670.2A
Other languages
English (en)
Other versions
CN104216653B (zh
Inventor
金世镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104216653A publication Critical patent/CN104216653A/zh
Application granted granted Critical
Publication of CN104216653B publication Critical patent/CN104216653B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种包括投射模块的电子设备及其控制方法。所述电子设备包括：显示模块；照相机，所述照相机被构造为获取用户手势；所述投射模块，所述投射模块被构造为将虚拟控制对象投射在距所述电子设备预定距离之内的平面上；以及控制器，所述控制器被构造为在所述显示模块上显示与在所述电子设备上运行的操作关联的画面，并且在通过所述照相机接收到预定用户手势时，通过所述投射模块在所述平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行的所述操作中的至少一个。因此，能够在平面上投射用于控制在所述电子设备上运行的操作的虚拟控制对象。

Description

电子设备及其控制方法
技术领域
本发明涉及一种电子设备及其控制方法，更具体地说，涉及将虚拟控制对象投射在平面上以控制在电子设备上运行的操作。
背景技术
随着诸如个人计算机、膝上型计算机、蜂窝电话的终端的功能多样化，终端变为具有用于如下各项的多种功能的多媒体播放器：获取图片或运动图像、播放音乐、运动图像文件和游戏以及接收广播节目。
终端能够被分类为移动终端和固定终端。根据用户是否能够人工地携带这些终端，移动终端能够进一步由手持终端和车载终端组成。包括移动终端的常规终端提供越来越多的复杂和各种功能。为了支持和改善终端中的越来越多的功能，期望改进终端的结构部分和/或软件部分。
随着包括移动终端的各种终端提供各种复杂功能，菜单结构也变得复杂。而且，添加了通过终端显示包括网页的数字文档的功能。
发明内容
本发明的目的是，提供一种能够将虚拟控制对象投射在平面上以控制在其上运行的操作的电子设备及其控制方法。应当理解的是，由本发明实现的技术目的不限于上述技术目的，并且根据以下描述，本文未提及的其它技术目的对于本发明所属领域的普通技术人员而言将是显而易见的。
为了实现上述目的，本发明的实施方式提供了一种包括投射模块的电子设备，所述电子设备包括：显示模块；照相机，所述照相机被构造为获取用户手势(gesture)；所述投射模块，所述投射模块被构造为将虚拟控制对象投射在距所述电子设备预定距离之内的平面上；以及控制器，所述控制器被构造为在所述显示模块上显示与在所述电子设备上运行的操作关联的画面，并且在通过所述照相机接收到预定用户手势时，通过所述投射模块在所述平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行的所述操作中的至少一个。
在所述电子设备上运行的操作可以是在所述电子设备上运行的预定应用。
在所述电子设备上运行的操作可以是在所述电子设备上发生的事件。
所述事件可以包括呼叫接收、消息接收或告警中的至少一个。
所述控制器可以从在距所述电子设备所述预定距离之内的所述平面接收所述预定用户手势。
所述控制器可以在所述平面的与所述手势接收范围对应的区域中投射所述虚拟控制对象。
所述虚拟控制对象可以包括图标、滚动条、触摸输入接收区域或键区中的至少一个，以控制在所述电子设备上运行的所述操作。
所述控制器可以通过所述虚拟控制对象上的触摸输入，接收用于控制所述运行的操作的输入。
在接收到用于选择所述虚拟控制对象的区域的触摸输入时，所述控制器可以将所选区域投射在所述平面上，以将所选区域与其它区域区分开。
所述控制器可以还在所述显示模块上显示包括与在所述平面上投射的所述虚拟控制对象相同的图像的对象。
在接收到用于选择所述虚拟控制对象的区域的触摸输入时，所述控制器可以在所述显示模块上显示指示符，以指示已经接收到所述触摸输入。
所述虚拟控制对象可以包括与在所述显示模块上显示的所述画面相同的图像。
为了实现上述目的，本发明的另一个实施方式提供一种包括投射模块的电子设备的控制方法，所述控制方法包括以下步骤：在显示模块上显示与在所述电子设备上运行的操作关联的画面；通过照相机接收预定用户手势；以及通过所述投射模块在距所述电子设备预定距离之内的平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行的所述操作中的至少一个。
在接收用户手势时，可以从在距所述电子设备所述预定距离之内的所述平面接收所述预定用户手势。
在将虚拟控制对象投射在平面上时，可以在所述平面的与所述手势接收范围对应的区域中投射所述虚拟控制对象。
所述电子设备的控制方法可以还包括：通过所述虚拟控制对象上的触摸输入，接收用于控制所述运行的操作的输入。
所述电子设备的控制方法可以还包括：在接收到用于选择所述虚拟控制对象的区域的触摸输入时，将所选区域投射在所述平面上，以将所选区域与其它区域区分开。
所述电子设备的控制方法可以还包括：在所述显示模块上显示包括与在所述平面上投射的所述虚拟控制对象相同的图像的对象。
所述电子设备的控制方法可以还包括：在接收到用于选择所述虚拟控制对象的区域的触摸输入时，在所述显示模块上显示指示符，以指示已经接收到所述触摸输入。
根据本发明的电子设备及其控制方法具有以下优点。
根据本发明，与当前运行的操作关联的控制对象(即，适用于每个情况的虚拟控制对象)能够被投射在平面上。
而且，在用户不操纵电子设备的情况下，当前运行的操作能够通过触摸在平面上所投射的虚拟控制对象来控制。
附图说明
附图被包括以提供对本发明的进一步理解，并且被合并进本申请中且构成本申请的一部分，附图例示本发明的实施方式，并且与说明书一起用于说明本发明的原理。
图1是根据本发明的实施方式的电子设备的框图。
图2是用于说明根据本发明的各种实施方式的电子设备的操作原理的概念图。
图3是根据本发明的各种实施方式的电子设备的视图。
图4是根据本发明的实施方式的电子设备的控制方法的流程图。
图5至图7是用于说明本发明的实施方式的视图。
图8至图11例示根据本发明的实施方式的显示与运行的应用关联的虚拟控制对象的示例。
图12至图15是用于说明根据本发明的实施方式的输入信号的反馈的示例的时序图和视图。
图16至图20例示根据本发明的实施方式的虚拟控制对象与事件的发生关联的示例。
图21是根据本发明的另一个实施方式的电子设备的控制方法的流程图。
图22是用于说明本发明的另一个实施方式的视图。
具体实施方式
根据结合附图的以下详细描述，本公开的上述和其它方面、特征和优点将更加显而易见。因为本发明允许各种变化和多种实施方式，所以具体实施方式将在附图中例示并且在书面描述中详细描述。在整个说明书中，相同的附图标记表示相同的元件。在描述本公开时，将省略公知功能或构造的详细描述，为了不必要使本公开的主题模糊。本发明的描述中所使用的数字(例如，第一、第二等)仅用于将一个元件与另一个元件区分开。
下面可以参照附图来描述根据本发明的电子设备。在以下描述中，对电子设备的部件给出后缀“模块”和“单元”，仅仅出于便于描述的考虑，而不具有彼此区别(discriminated)的含义或者功能。
电子设备可以包括：蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统等。对于本领域普通技术人员显而易见的是，除了仅专门用于移动终端而公开的应用之外，根据本说明书中所公开的实施方式的构造应当可用于固定或静止终端(诸如数字TV或桌上型计算机)。
图1是根据本发明的实施方式的电子设备的框图。
电子设备100可以包括：无线通信单元110(或者无线电通信单元)、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口170、控制器180以及电源190。图1所示的部件不是实质部分(essential part)，并且能够改变在电子设备100中所包括的部件的数量。现在对电子设备100的部件进行描述。
无线通信单元110可以包括至少一个模块，所述至少一个模块使得能够在电子设备100和无线电通信系统之间或者在电子设备100和电子设备100所处的网络之间进行无线电通信。例如，无线通信单元110可以包括：广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114(或者局域通信模块)以及位置信息模块115(或者定位信息模块)。
广播接收模块111可以通过广播信道从外部广播管理服务器接收广播信号和/或与广播相关的信息。
广播信道可以包括卫星信道和地面信道，并且广播管理服务器可以是产生并且发送广播信号和/或与广播相关的信息的服务器，或者是接收先前创建的广播信号和/或与广播相关的信息并且向终端发送广播信号和/或与广播相关的信息的服务器。广播信号可以不仅包括TV广播信号、无线电广播信号和数据广播信号，而且还包括呈TV广播信号和无线电广播信号的组合的形式的信号。
与广播相关的信息可以是关于广播信道、广播节目或者广播服务提供商的信息，并且可以甚至通过移动通信网络来提供。在后一种情况下，与广播相关的信息可以被移动通信模块112接收。
与广播相关的信息可以以多种形式存在。例如，与广播相关的信息可以以数字多媒体广播(DMB)系统的电子节目指南(EPG)的形式或者以手持数字视频广播(DVB-H)系统的电子服务指南(ESG)的形式存在。
广播接收模块111可以使用各种广播系统来接收广播信号。更具体地，广播接收模块111可以使用诸如地面数字多媒体广播(DMB-T)系统的数字广播系统、卫星数字多媒体广播(DMB-S)系统、媒体单一前向链路(MediaFLO)系统、DVB-H以及地面综合业务数字广播(ISDB-T)系统来接收数字广播信号。广播接收模块111可以从除了上述数字广播系统以外的提供广播信号的广播系统接收信号。
通过广播接收模块111接收的广播信号和/或与广播相关的信息可以被存储在存储器160中。
移动通信模块112可以向移动通信网络上的基站、外部终端和服务器中的至少一个发送无线电信号或者从移动通信网络上的基站、外部终端和服务器中的至少一个接收无线电信号。根据文本/多媒体消息的发送和接收，无线电信号可以包括语音呼叫信号、视频电话呼叫信号或者呈各种形式的数据。
无线互联网模块113可以对应于用于无线互联网接入的模块，并且可以被包括在电子设备100中或者可以外置地附接到电子设备100。无线LAN(WLAN或者Wi-Fi)、无线宽带(Wibro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA)等可以用作无线互联网技术。
短距离通信模块114可以对应于用于短距离通信的模块。此外，射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)和/或可以用作短距离通信技术。
位置信息模块115是用于识别或者以其它方式获得电子设备的位置的模块。全球定位系统(GPS)模块是位置信息模块115的代表示例。根据当前技术，GPS模块115可以计算关于一个点或者对象与至少三个卫星之间的距离的信息以及关于测量距离信息时的时间的信息，并且对所获得的距离信息应用三角测量法，以根据在预定时间的纬度、经度和海拔来获得关于所述点或者对象的三维位置信息。还可以使用利用三个卫星来计算位置和时间信息并且使用另一个卫星来校正所计算的位置和时间信息的方法。另外，GPS模块115可以实时地连续地计算当前位置，并且使用位置或者定位信息计算速度信息。
参照图1，A/V输入单元120可以输入(或者接收)音频信号和/或视频信号。A/V输入单元120可以包括照相机121和麦克风122。照相机121可以处理由图像传感器在视频电话模式或者拍照模式中获得的静止图像或运动图像的图像帧。可以在显示器151上显示经过处理的图像帧。
由照相机121处理的图像帧可以被存储在存储器160中，或者可以通过无线通信单元110发送到外部设备。电子设备100还可以包括至少两个照相机121。
麦克风122可以在呼叫模式、录音模式和/或语音识别模式中接收外部音频信号，并且麦克风122可以将所接收的音频信号处理为电音频数据。然后，可以将音频数据转换为如下形式：能够通过移动通信模块122向移动通信基站发送并且在呼叫模式中输出的形式。麦克风122可以采用各种噪声去除算法(或者噪声消除算法)，以便去除或者减少当接收外部音频信号时产生的噪声。
用户输入单元130可以从用户接收用于控制电子设备100的操作的输入数据。用户输入单元130可以包括：键区、圆顶(dome)开关、触摸板(恒定电压/电容)、操作轮、操作开关等。
感测单元140可以感测电子设备100的当前状态，诸如电子设备100的打开/闭合状态、电子设备100的位置、用户是否触摸电子设备100、电子设备100的方向以及电子设备100的加速度/减速度，并且感测单元140可以产生用于控制电子设备100的操作的感测信号。例如，在电子设备100是滑盖电话的情况下，感测单元140可以感测滑盖电话打开还是闭合。此外，感测单元140可以感测电源190是否供电和/或接口170是否连接到外部设备。同时，感测单元140可以包括姿态传感器141和/或接近传感器。
输出单元150可以产生视觉、听觉和/或触觉输出，并且输出单元150可以包括：显示器151、音频输出模块152、告警器153和触觉模块154。显示器151可以显示由电子设备100处理的信息。当电子设备100处于呼叫模式时，显示器151可以显示与电话呼叫有关的用户界面(UI)和/或图形用户界面(GUI)。当电子设备100处于视频电话模式或者拍照模式时，显示器151还可以显示所获取的和/或所接收的图像、UI或者GUI。
显示器151可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器和/或三维(3D)显示器中的至少一种。上述显示器中的一些显示器可以被构造为透明或者透光型显示器，通过所述透明或者透光型显示器可以看到外部。这可以被称作“透明显示器”。
透明显示器的示例包括透明LCD。显示器151的后部结构还可以是透光型的。因此，通过电子设备100的机体的由显示器151占据的透明区域，用户可以看见位于(电子设备100的)机体后面的对象。
电子设备100还可以包括至少两个显示器151。例如，电子设备100可以包括以预定距离布置在单个面上的多个显示器151或者集成显示器。所述多个显示器151还可以布置在不同的侧上。
当显示器151和感测触摸的传感器(在下文称为触摸传感器)形成分层结构(在下文称作触摸屏)时，显示器151除了用作输出设备以外还可以用作输入设备。例如，触摸传感器可以呈触摸膜、触摸片和/或触摸板的形式。
触摸传感器可以将被施加到显示器151的特定部分的压力的变化或者在显示器151的特定部分处产生的电容的变化转换为电输入信号。触摸传感器可以感测触摸的压力以及触摸的位置和面积。
当用户将触摸输入施加到触摸传感器时，对应于该触摸输入的信号(多个信号)可以被发送给触摸控制器。然后，触摸控制器可以处理该信号并且向控制器180发送对应于该经过处理的信号的数据。因此，控制器180可以检测显示器151的被触摸的部分。
参照图1，接近传感器可以位于电子设备100的内部区域中，被触摸屏包围，和/或靠近触摸屏。接近传感器可以使用电磁力或者红外线而没有机械接触地感测靠近预定感测面的对象或者位于接近传感器附近的对象。接近传感器可以具有比接触传感器更长的寿命，因而在电子设备100中可以具有广泛的应用。
接近传感器可以包括：透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容式接近传感器、磁接近传感器和/或红外接近传感器。电容式触摸屏可以被构建为通过根据指针的接近的电场的变化来检测指针的接近。触摸屏(触摸传感器)可以被分类为接近传感器。
为了便于说明，指针的靠近触摸屏而不实际接触触摸屏的动作可以称为接近触摸，并且使指针与触摸屏接触的动作可以称为接触触摸。指针在触摸屏上的接近触摸点可以对应于触摸屏上的、指针与触摸屏垂直的点。
接近传感器可以感测接近触摸和接近触摸模式(例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸运动状态等)。然后，可以在触摸屏上显示对应于所感测的接近触摸动作和接近触摸模式的信息。
音频输出模块152可以输出在呼叫信号接收模式、电话呼叫模式或者录音模式、语音识别模式和广播接收模式中从无线通信模块110接收到的或者存储在存储器160中的音频数据。音频输出模块152可以输出与在电子设备100中执行的功能(诸如呼叫信号进入铃声和消息进入铃声)有关的音频信号。音频输出模块152可以包括听筒、扬声器、蜂鸣器等。
告警器153可以输出用于指示产生电子设备100的事件的信号。例如，当接收呼叫信号、接收消息、输入按键信号和/或输入触摸时可以产生告警。告警器153还可以输出呈不同于视频信号或者音频信号的形式的信号，例如，用于通过振动指示产生事件的信号。视频信号和/或音频信号还可以通过显示器151或者音频输出模块152输出。
触觉模块154可以产生用户能够感觉的各种触觉效果。触觉效果的一个示例是振动。还可以控制由触觉模块154产生的振动的强度和/或模式。例如，不同的振动可以组合并且输出，或者可以顺序地输出。
触觉模块154除了振动之外还可以产生多种触觉效果，包括根据相对于接触皮肤表面竖直移动的针的布置的刺激效果、根据空气通过喷射孔或者抽吸孔的喷射力或者抽吸力的刺激效果、摩擦皮肤的刺激效果、根据电极的接触的刺激效果、使用静电力的刺激效果、和根据使用能够吸收或者辐射热的元件的冷和暖的再现的刺激效果。
触觉模块154可以不仅通过直接接触发送触觉效果，而且还可以允许用户通过用户的手指或者手臂的运动知觉来感觉触觉效果。电子设备100可以包括多个触觉模块154。
存储器160可以存储用于控制器180的操作的程序和/或临时存储输入/输出数据，诸如电话本、消息、静止图像和/或运动图像。存储器160还可以存储关于当触摸输入被应用于触摸屏时输出的各种模式的振动和声音的数据。
存储器160可以包括至少闪存存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(诸如SD或者XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)磁存储器、磁盘和/或光盘。电子设备100还可以与网络存储器相关联地操作，该网络存储器在互联网上执行存储器160的存储功能。
接口170可以用作到连接于电子设备100的外部设备的路径。接口170可以从外部设备接收数据或者电力，并且将数据或者电力发送到电子设备100的内部部件，或者将电子设备100的数据发送到外部设备。例如，接口170可以包括：有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储器卡端口、用于连接具有用户标识模块的设备的端口、音频I/O端口、视频I/O端口和/或耳机端口。
用户标识模块是存储用于认证使用电子设备100的权限的信息的芯片。例如，用户标识模块可以是用户身份模块(UIM)、订户身份模块(SIM)和/或通用订户身份模块(USIM)。还可以以智能卡的形式制造标识设备(包括该用户标识模块)。因此，标识设备可以通过端口连接到电子设备100。
接口170还可以是这样的路径，即当电子设备100连接到外部托架(cradle)时通过该路径从外部托架向电子设备100提供电力；或者接口170可以是这样的路径，即通过该路径向电子设备100发送由用户通过托架输入的各种命令信号。从托架输入的各种命令信号或者电力可以用作用于确认电子设备100是否被正确设置在托架中的信号。
控制器180可以控制电子设备100的整体操作。例如，控制器180可以进行针对语音通信、数据通信和/或视频电话的控制和处理。控制器180还可以包括用于播放多媒体的多媒体模块181。多媒体模块181可以被包括在控制器180中，或者可以与控制器180分开。
控制器180可以执行模式识别处理，该模式识别处理能够将被施加到触摸屏的手写输入或者图片描绘输入识别为字符或者图像。在控制器180的控制下，电源190可以接收外部电力和内部电力，并且提供电子设备100的部件操作所要求的电力。在可以由计算机或其类似设备读取的存储介质中，本文描述的各种实施方式可以被实现为软件、硬件或其组合。
根据硬件实现方式，可以用以下中的至少一种来实现实施方式：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或用于执行功能的电单元。实施方式可以由控制器180实现。
根据软件实现方式，可以用执行至少一个功能或者操作的单独的软件模块来实现诸如过程或者功能的实施方式。可以根据用适当的软件语言编写的软件应用来实现软件代码。软件代码可以被存储在存储器160中，并且由控制器180执行。下文中，将对本发明的实施方式进行详细描述。在本发明中，为了描述方便，显示单元151被定义为触摸屏151。如上所述，触摸屏151可以执行显示信息的功能和输入信息的功能这两者。然而，应当明显强调的是本发明不限于此。后面提及的术语“触摸”被解释为意指接触触摸和接近触摸这两者。
图2是用于说明根据本发明的各种实施方式的电子设备的操作原理的概念图。
如图2所示，根据本发明的实施方式的电子设备100可以包括：投射模块201、传感器模块202和照明模块203。即，投射模块201、传感器模块202和照明模块203可以被嵌入在电子设备100中。
当投射模块201、传感器模块202和照明模块203被嵌入在其中能够安装电子设备100并且电子设备100能够安装在其上的设备(例如，基站等)中时，可以实现本发明的实施方式。
投射模块201可以将预定图像10投射在静止平面20(例如，桌子)上。投射模块201中所包括的红激光二极管可以在平面上形成诸如键盘图像的图像。被投射到平面上的光可以是可见光。
照明模块203可以以辐射状(radial)发光模式12投射光，以使光更靠近平面20。当用户用手指等触摸被投射在平面20上的图像10时，光可以被散射或反射。即，当用户的手指等接近触摸被投射在平面20上的图像10时，光可以从被手指等触摸的点散射或反射。
传感器模块202可以接收从用户的手指F1散射或反射的光。传感器模块202可以映射由接收到的光所感测的用户的手指F1的位置和图像10上的位置15。传感器模块202可以向电子设备100的控制器180发送关于所选图像10的位置信息。控制器180可以基于从被投射到平面上的图像10接收到的控制信号来控制电子设备100的操作。
图3是根据本发明的各种实施方式的电子设备的视图。
根据本发明的实施方式的电子设备100可以包括：移动电话、智能电话(图3的(a))、平板计算机(图3的(b))和智能TV(图3的(c))等。其可以还包括：膝上型计算机、数字广播终端、PDA(个人数字助手)、PMP(便携式多媒体播放器)、导航系统、数字TV、桌上型计算机等。
图4是根据本发明的实施方式的电子设备的控制方法的流程图。
控制器180可以在显示模块151上显示与在电子设备100上运行的操作关联的画面(S101)。
控制器180可以在显示模块151上显示运行应用的执行画面。例如，如果运行视频播放应用，则控制器180可以在显示模块151上显示视频回放画面。
控制器180可以显示与已经发生的事件关联的画面。事件可以包括呼叫接收、消息接收和告警。例如，控制器180可以在显示模块151上显示指示来电的画面。
控制器180可以通过照相机121接收预定用户手势(S103)。
当接收到预定用户手势时，预定用户手势可以被匹配以执行特定功能，并且被存储在存储器160中。预定用户手势可以被预设在电子设备10中，或者由用户设置或重置。
控制器180可以通过投射模块将虚拟控制对象投射在平面上，以在接收到用户手势时控制在电子设备100上运行的操作中的至少一个(S105)。
例如，当视频播放应用在电子设备100上运行时，控制器180可以将虚拟控制对象投射在平面上，以在接收到预定用户手势时控制视频回放。虚拟控制对象可以包括图标、滚动条、触摸输入接收区域等，以便控制视频回放。
控制器180可以通过投射模块将虚拟控制对象投射在距电子设备100预定距离之内的平面上。所述预定距离指的是电子设备100能够从虚拟控制对象接收控制信号的范围。
控制器180可以通过虚拟控制对象，接收用于控制运行的操作的输入(S107)。
即，在用户不操纵电子设备100的情况下，在显示模块151上显示的预定执行画面能够通过触摸在平面上所投射的虚拟控制对象来控制。
根据本发明的实施方式的电子设备100能够基于用户手势在平面上投射与当前运行的操作关联(即，适用于每个情况)的虚拟控制对象。
图5至图7是用于说明本发明的实施方式的视图。
图5例示当接收到用户手势时虚拟控制对象被投射在平面上的示例。
电子设备100可以包括用于获取用户手势的照相机121。电子设备100可以通过照相机121从在距电子设备100预定距离之内的平面20接收预定用户手势。
在预定距离之内的平面可以指：在能够通过照相机121获取用户手势的范围内的平面。预定用户手势可以是在电子设备100中预设的手势输入。而且，预定用户手势可以通过用户输入设置或重置。
如图5的(a)所示，电子设备100可以在距电子设备100预定距离之内的平面20上接收将手H1向右移动的手势。
如图5的(b)所示，在接收到预定用户手势时，电子设备100可以将虚拟控制对象10投射在距电子设备100预定距离之内的平面20上。虚拟控制对象10可以是如下对象：即用于在接收到用户手势对象时，控制在电子设备上运行的操作中的至少一个操作的对象。
图6例示当接收到用户手势时虚拟控制对象消失的示例。
如图6的(a)所示，当在平面20上投射虚拟控制对象10时，控制器180可以在虚拟控制对象10上接收将用户的手H2向左移动的手势。
如图6的(b)所示，在接收到将用户的手H2向左移动的手势时，控制器180可以不将虚拟控制对象投射在平面20上。即，在平面20上投射的虚拟控制对象10可以消失。
图7例示虚拟控制对象被投射在与手势接收范围对应的平面的区域中的示例。
控制器180可以从在距电子设备100预定距离之内的平面接收预定用户手势。控制器180可以在与手势接收范围对应的平面的区域中投射虚拟控制对象。
如图7的(a)和(b)所示，虚拟控制对象10可以被投射在与用户手势接收范围(即，用户的手H3的轨迹)对应的区域A1中。
图7的(c)和(d)例示在比图7的(a)和(b)窄的区域中接收用户手势的示例。如图所示，控制器180可以将虚拟控制对象10投射在与用户手势接收范围(即，用户的手H4的轨迹)对应的区域A2中。
用户可以向左移动手，以便与他们想要在平面上显示虚拟控制对象10的范围对应。即，如果手的移动范围宽，则虚拟控制对象10可以被显示在宽的区域中，或者如果手的移动范围窄，则虚拟控制对象10可以被显示在窄的区域中。
虽然针对其中基于将手向右移动的手势显示虚拟对象并且基于将手向左移动的手势虚拟对象消失的示例描述了图5至图7，但是本发明的实施方式不限于该示例。例如，在将手上下移动时，本发明的实施方式可以应用。即，本发明的实施方式可应用于能够通过电子设备100的照相机121获取的用户手势。
图8至11例示根据本发明的实施方式的显示与运行的应用关联的虚拟控制对象的示例。
图8的(a)例示与在电子设备100上运行的视频播放应用关联的画面被显示在显示模块151上的示例。图8的(b)和(c)例示被投射在平面上的虚拟控制对象10的示例。
当接收到预定用户手势时，控制器180可以通过投射模块将虚拟控制对象投射在平面上，以在接收到用户手势时控制在电子设备100上运行的操作中的至少一个。
即，如果在接收到预定用户手势时正在运行视频播放应用，则控制器180可以通过投射模块将虚拟控制对象10投射在平面上，以控制视频回放。
如图8的(b)和(c)所示，用于控制视频播放应用的虚拟控制对象10可以包括：用于指示整个文件中的回放位置的滚动条S1、用于音量控制的图标I3以及用于停止、暂停、筛选(screen)、缩小画面、获取画面、字幕设置、缩小、放大等的图标。
在接收到用于选择在虚拟控制对象10中所包括的用于音量控制的图标I3的输入F3时，控制器180可以进一步将用于音量控制的滚动条S3投射在图标I3附近。
控制器180可以基于通过虚拟控制对象10接收到的输入信号来控制运行的应用的操作。
图9的(a)例示显示与在电子设备100上运行的电子书关联的画面的示例。图9的(b)例示被投射在平面上的虚拟控制对象10的示例。图9的(c)例示显示模块151的执行画面的变化的示例。
当在电子书显示在显示模块151上时接收到预定用户手势时，控制器180可以将与电子书关联的虚拟控制对象投射在平面上。例如，如图9的(b)所示，控制器180可以在平面上投射虚拟控制对象10，包括：用于指示在显示模块151上显示的页面中的当前位置的滚动条S5、用于翻页的图标I5和I6、用于调用列表的图标、用于搜索的图标、用于页面抓取(scrapping)的图标和用于预定设置的图标。
在接收到用于选择用于翻到下一页的图标I6的输入F4时，控制器180可以在显示模块151上显示当前显示页的下一页(图9的(c))。
图10例示被投射在平面上的虚拟控制对象10的示例。即，图10例示如下示例：当在显示模块151上显示电子书时接收到预定用户手势时，在平面上投射与电子书关联的虚拟控制对象。
如图10所示，虚拟控制对象10可以包括：用于指示在显示模块151上显示的页面中的当前位置的滚动条S6、用于翻页的触摸区域t2等。
例如，在接收到用于向右拖拽用于翻页的触摸区域t2的输入F5时，控制器180可以在显示模块151上显示下一页。而且，在接收到用于向左拖拽用于翻页的触摸区域t2的输入时，控制器180可以在显示模块151上显示上一页。
图11例示在运行与演奏乐器关联的应用的同时，投射与运行的应用关联的虚拟控制对象的示例。
如图11的(a)所示，当在显示模块151上显示乐谱时，控制器180可以基于预定用户手势在平面上投射包括钢琴键盘图像的虚拟控制对象10。
电子设备100可以基于在平面上投射的钢琴键盘上的手指触摸输入，输出与接收到输入信号的钢琴按键对应的预定声音。
即，通过在阅读在显示模块151上显示的乐谱的同时按压在平面上投射的虚拟钢琴键盘，用户感觉自己好像在弹钢琴。
图12至图15是用于说明根据本发明的实施方式的输入信号的反馈的示例的时序图和视图。图12和图14是用于说明用于输入信号的反馈的示例的时序图。图13和图15是用于说明用于输入信号的反馈的示例的视图。
如图12所示，在通过虚拟控制对象接收到输入信号时(图4的S107)，控制器180可以以将输入信号接收区域与其它区域区分开的方式投射虚拟控制对象(S202)。
如图13所示，控制器可以在显示模块151上显示视频回放画面，并且在接收到预定用户手势时，通过投射模块在平面上投射虚拟控制对象10，以控制视频回放。
当在虚拟控制对象10中所包括的图标I7上接收到输入信号F6时，控制器180可以投射用于指示已经接收到图标I7上的输入信号的预定反馈指示符。预定反馈指示符可以是在所选图标I7附近所投射的虚线f1。而且，预定反馈指示符可以用于识别，以通过渐变(shading)、放大或缩小所选图标而将所选图标上的输入信号的接收区域与其它区域区分开。
如图14的(a)和图15的(a)所示，在通过虚拟控制对象接收到输入信号时(图4的S107)，控制器180可以输出预定声音v1，以指示已经接收到输入信号。
如图14的(b)所示，在通过虚拟控制对象接收到输入信号时(图4的S107)，控制器180在显示模块151上显示预定反馈，以指示已经接收到输入信号。如图15的(b)所示，控制器180可以在显示模块151上显示对象30，对象30包括与在平面上投射的虚拟控制对象10相同的图像。
在通过在平面上投射的虚拟控制对象10接收到图标I7上的输入信号时(图13的(b))，控制器180可以在显示模块151上显示的图标I8附近显示预定指示符f2，以指示已经接收到输入信号。预定指示符f2可以是在所选图标附近的虚线。而且，预定反馈指示符可以涉及渐变、放大和缩小所选图标。
图16至图20例示根据本发明的实施方式的虚拟控制对象与事件的发生关联的示例。
图16例示当在电子设备100上进行视频回放期间有来电时，用于控制来电的虚拟控制对象基于预定用户手势被投射在平面上的示例。
如图16的(a)所示，当在视频回放期间有来电时，控制器180可以在显示模块151上显示用于指示来电的窗口e1。
在来电的同时接收到预定用户手势时，控制器180可以在平面上投射虚拟控制对象10，以控制来电。虚拟控制对象10可以包括：含有呼叫者的电话号码、姓名等的信息、用于呼叫连接的图标I9、用于显示键区的图标、用于终止呼叫连接的图标等。
在接收到用于选择在虚拟控制对象10中所包括的用于呼叫连接的图标I9的输入F8时，控制器180可以接受呼叫。即，控制器180可以通过虚拟控制对象10接收输入信号，并且执行与接收到的输入信号对应的操作。
如图16的(c)所示，虚拟控制对象10可以包括与呼叫连接关联的触摸区域t3。控制器180可以基于用于向右拖拽触摸区域t3的输入F9，接受呼叫。而且，控制器180可以基于用于向左拖拽触摸区域t3的输入，结束呼叫。
图17和图18例示用于控制来电的虚拟控制对象10的示例。
如图17的(a)和图18的(a)所示，在来电的同时接收到预定用户手势时，控制器180可以在平面上投射虚拟控制对象10，以控制来电。虚拟控制对象10可以包括：用于发送预设回复消息的图标I11和用于写消息的图标I12。
如图17的(a)和(b)所示，在接收到用于选择图标I11的输入F11时，控制器180可以在平面上投射预设消息的列表。控制器180可以接收用于在消息列表中选择任意一个消息m1的输入F12。
如图18的(a)和(b)所示，在接收到用于选择图标I12的输入F13时，控制器180可以在平面上投射含有如下项的虚拟控制对象10：用于写消息的键盘43、用于显示所写消息的窗口41以及用于发送和取消的图标45和46。控制器180可以接收键盘43上的输入信号F14，以写消息。
图19和图20例示当在电子设备100中的显示模块151上显示电子书时的消息接收的示例。
如图19的(a)所示，控制器180可以在显示模块151上显示用于指示传入消息的窗口e2。用于指示接收到的消息的窗口e2可以含有呼叫者信息。
如图19的(b)所示，如果有新的未读消息，则控制器180可以基于预定用户手势，在平面上投射用于接收到的消息的虚拟控制对象10。
虚拟控制对象10可以含有：用于指示接收到的消息的图标I13和用于发送回复消息的图标。控制器180可以接收用于选择用于指示接收到的消息的图标I13的输入F15。
如图20的(a)所示，控制器180可以通过音频输出模块152输出(v2)接收到的消息(例如，“你在哪？”)。而且，如图20的(b)所示，控制器180可以在平面上投射含有接收到的消息48的虚拟控制对象10。
图21是根据本发明的另一个实施方式的电子设备的控制方法的流程图。
控制器180可以在显示模块151上显示与在电子设备100上运行的操作关联的画面(S301)。控制器180可以通过照相机接收预定用户手势(S303)。将参照图4的详细描述来描述步骤S301和S303。
控制器180可以在接收到用户手势时，在平面上投射包括与在显示模块151上显示的画面相同的图像的虚拟控制对象(S305)。即，在显示模块151上显示的画面和平面上投射的虚拟控制对象10可以包括相同的图像。
控制器180可以通过虚拟控制对象，接收用于控制显示模块151的画面的输入(S307)。即，用户能够不通过显示模块151而通过虚拟控制对象10来输入预定信号。
控制器180可以基于接收到的输入来改变显示模块151的画面(S309)。即，控制器180可以基于在虚拟控制对象10上所选择的输入信号，来改变显示模块151的画面。
即使改变了显示模块151的画面，也可以不改变虚拟控制对象10中的图像。即，虚拟控制对象10可以用于控制电子设备100的在显示模块151上显示的操作。
图22是用于说明本发明的另一个实施方式的视图。
图22的(a)例示在显示模块151上显示网页的示例。网页可以含有用于通向其它网页的超链接l1和l2。
如图22的(b)所示，虚拟控制对象10可以包括与在显示模块151上显示的网页相同的图像。
如图22的(b)和的(c)所示，在接收到用于选择在虚拟控制对象10中所含有的超链接l51的输入信号时，控制器180可以将显示模块151的显示画面改变为与所选的超链接l51对应的网页。可以不改变投射在平面上的虚拟控制对象10。即，虚拟控制对象10可以用于控制显示模块151的显示画面。
上述控制电子设备的方法可以被写为计算机程序，并且可以在使用计算机可读记录介质来执行这些程序的数字微处理器中实现。控制电子设备的方法可以通过软件执行。该软件可以包括执行所要求的任务的代码段。程序或者代码段还可以被存储在处理器可读介质中，或者可以根据计算机数据信号与载体组合地通过传输介质或者通信网络发送。
计算机可读记录介质可以是任意数据存储设备，该数据存储设备能够存储之后能够被计算机系统读取的数据。计算机可读记录介质的示例可以包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、DVD±ROM、DVD-RAM、磁带、软盘、光学数据存储设备。计算机可读记录介质还可以在联接到网络的计算机系统上分布，使得计算机可读代码被以分布式方式存储和执行。
电子设备可以包括：被构造为显示第一对象的第一触摸屏；被构造为显示第二对象的第二触摸屏；以及控制器，该控制器被构造为接收被施加到第一对象的第一触摸输入，并且当在维持第一触摸输入的同时当接收到被施加到第二对象的第二触摸输入时将第一对象链接到与第二对象对应的功能。
可以提供控制电子设备的方法，该方法包括：在第一触摸屏上显示第一对象；在第二触摸屏上显示第二对象；接收被施加到第一对象的第一触摸输入；以及当在维持第一触摸输入的同时在接收到被施加到第二对象的第二触摸输入时将第一对象链接到与第二对象对应的功能。
在本说明书中对“一个实施方式”、“实施方式”、“示例实施方式”等的任何引用，意味着结合该实施方式描述的具体特征、结构或者特性被包括在本发明的至少一个实施方式中。在说明书中各个位置中出现的这些词语不必全部指代相同的实施方式。此外，当结合任意实施方式描述具体特征、结构或者特性时，应当承认的是，本领域普通技术人员能够想到结合其它实施方式来实现这些特征、结构或者特性。
尽管已经参考本发明的多个例示性实施方式对本发明的实施方式进行了描述，但是应当理解的是，本领域普通技术人员能够想出落入本公开的精神和原理范围内的多个其它变型和实施方式。更具体地说，能够在本公开、附图及所附权利要求的范围内，对本主题组合装置的组成部件和/装置做出各种变体和变型。除了对组成部件和/或装置的变体和变型之外，替代性使用对本领域普通技术人员也是明显的。
相关申请的交叉引用
本申请要求于2013年5月31日提交的韩国专利申请No.10-2013-0062432的较早提交日期的权益和优先权。

Claims (19)

1.一种电子设备，所述电子设备包括：
显示模块；
照相机，所述照相机被构造为获取用户手势；
投射模块，所述投射模块被构造为将虚拟控制对象投射在距所述电子设备预定距离之内的平面上；以及
控制器，所述控制器被构造为在所述显示模块上显示与在所述电子设备上运行的操作关联的画面，并且在通过所述照相机接收到预定用户手势时，通过所述投射模块在所述平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行的所述操作中的至少一个。
2.根据权利要求1所述的电子设备，其中，在所述电子设备上运行的操作是在所述电子设备上运行的预定应用。
3.根据权利要求1所述的电子设备，其中，在所述电子设备上运行的操作是在所述电子设备上发生的事件。
4.根据权利要求3所述的电子设备，其中，所述事件包括呼叫接收、消息接收或告警中的至少一个。
5.根据权利要求1所述的电子设备，其中，所述控制器从在距所述电子设备所述预定距离之内的所述平面接收所述预定用户手势。
6.根据权利要求5所述的电子设备，其中，所述控制器在所述平面的与所述手势接收范围对应的区域中投射所述虚拟控制对象。
7.根据权利要求1所述的电子设备，其中，所述虚拟控制对象包括图标、滚动条、触摸输入接收区域或键区中的至少一个，以控制在所述电子设备上运行的所述操作。
8.根据权利要求1所述的电子设备，其中，所述控制器通过所述虚拟控制对象上的触摸输入，接收用于控制所述运行的操作的输入。
9.根据权利要求8所述的电子设备，其中，在接收到用于选择所述虚拟控制对象的区域的触摸输入时，所述控制器将所选区域投射在所述平面上，以将所选区域与其它区域区分开。
10.根据权利要求1所述的电子设备，其中，所述控制器还在所述显示模块上显示包括与在所述平面上投射的所述虚拟控制对象相同的图像的对象。
11.根据权利要求10所述的电子设备，其中，在接收到用于选择所述虚拟控制对象的区域的触摸输入时，所述控制器在所述显示模块上显示指示符，以指示已经接收到所述触摸输入。
12.根据权利要求1所述的电子设备，其中，所述虚拟控制对象包括与在所述显示模块上显示的所述画面相同的图像。
13.一种电子设备的控制方法，所述控制方法包括以下步骤：
在显示模块上显示与在所述电子设备上运行的操作关联的画面；
通过照相机接收预定用户手势；以及
通过投射模块在距所述电子设备预定距离之内的平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行的所述操作中的至少一个。
14.根据权利要求13所述的控制方法，其中，在接收用户手势时，从在距所述电子设备所述预定距离之内的所述平面接收所述预定用户手势。
15.根据权利要求14所述的控制方法，其中，在将虚拟控制对象投射在平面上时，在所述平面的与所述手势接收范围对应的区域中投射所述虚拟控制对象。
16.根据权利要求13所述的控制方法，该控制方法还包括通过所述虚拟控制对象上的触摸输入，接收用于控制所述运行的操作的输入。
17.根据权利要求16所述的控制方法，该控制方法还包括在接收到用于选择所述虚拟控制对象的区域的触摸输入时，将所选区域投射在所述平面上，以将所选区域与其它区域区分开。
18.根据权利要求13所述的控制方法，该控制方法还包括在所述显示模块上显示包括与在所述平面上投射的所述虚拟控制对象相同的图像的对象。
19.根据权利要求18所述的控制方法，该控制方法还包括在接收到用于选择所述虚拟控制对象的区域的触摸输入时，在所述显示模块上显示指示符，以指示已经接收到所述触摸输入。
CN201410230670.2A 2013-05-31 2014-05-28 电子设备及其控制方法 Expired - Fee Related CN104216653B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130062432A KR102073827B1 (ko) 2013-05-31 2013-05-31 전자 기기 및 그 제어 방법
KR10-2013-0062432 2013-05-31

Publications (2)

Publication Number Publication Date
CN104216653A true CN104216653A (zh) 2014-12-17
CN104216653B CN104216653B (zh) 2017-12-12

Family

ID=50884661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410230670.2A Expired - Fee Related CN104216653B (zh) 2013-05-31 2014-05-28 电子设备及其控制方法

Country Status (4)

Country Link
US (1) US9625996B2 (zh)
EP (1) EP2808767B1 (zh)
KR (1) KR102073827B1 (zh)
CN (1) CN104216653B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580743A (zh) * 2015-01-29 2015-04-29 广东欧珀移动通信有限公司 一种模拟按键输入检测方法和装置
CN106358104A (zh) * 2015-07-15 2017-01-25 视讯联合科技股份有限公司 一种具备隐藏视像屏及多种传感器的耳机
CN106484100A (zh) * 2016-09-12 2017-03-08 珠海格力电器股份有限公司 空调器及其控制方法和装置、空调器的线控器

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185445B2 (en) * 2013-10-14 2019-01-22 Touchjet Pte. Ltd. Determining touch signals from interactions with a reference plane proximate to a display surface
CN105334953B (zh) * 2014-07-30 2018-10-12 联想(北京)有限公司 一种操作体运动轨迹识别方法、微控制器及电子设备
WO2016080565A1 (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR20160089205A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 아이템 관리를 위한 방법 및 전자 장치
US10237621B2 (en) * 2016-03-24 2019-03-19 Dish Technologies Llc Direct capture and sharing of screenshots from video programming
CN105962900A (zh) * 2016-06-17 2016-09-28 山东师范大学 一种平行于人体轴线的主动动觉方位测试装置及测试方法
US20180124453A1 (en) * 2016-11-01 2018-05-03 App Onboard, Inc. Dynamic graphic visualizer for application metrics
CN106792224B (zh) * 2017-01-04 2020-06-09 南京白下高新技术产业园区投资发展有限责任公司 一种终端和视频播放方法
JP2019060963A (ja) * 2017-09-25 2019-04-18 ソニー株式会社 表示処理装置、表示処理方法及びプログラム
CN107885356A (zh) * 2017-11-10 2018-04-06 无锡睿勤科技有限公司 一种基于投影的触摸板的多功能实现方法及系统
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
CN110488968A (zh) * 2019-05-09 2019-11-22 上海豪派数码科技有限公司 一种魔幻地面互动投影
KR20210109202A (ko) * 2020-02-27 2021-09-06 삼성전자주식회사 제스쳐 입력에 대응하는 시각적 효과를 제공하기 위한 전자 장치 및 그의 동작 방법
CN112218135B (zh) * 2020-09-23 2022-02-11 珠海格力电器股份有限公司 一种智能设备控制方法、设备和计算机可读存储介质
CN112770159A (zh) * 2020-12-30 2021-05-07 北京字节跳动网络技术有限公司 多屏互动系统、方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
CN102375614A (zh) * 2010-08-11 2012-03-14 扬明光学股份有限公司 输出入装置及其人机交互系统与方法
US20120249409A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for providing user interfaces

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
KR101526995B1 (ko) * 2008-10-15 2015-06-11 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
KR20110071349A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
TW201329733A (zh) * 2012-01-13 2013-07-16 Hon Hai Prec Ind Co Ltd 用於掌上型電子裝置上的即時通訊方法及系統
KR101452038B1 (ko) * 2012-04-26 2014-10-22 삼성전기주식회사 모바일 기기 및 그 화면 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
CN102375614A (zh) * 2010-08-11 2012-03-14 扬明光学股份有限公司 输出入装置及其人机交互系统与方法
US20120249409A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for providing user interfaces

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580743A (zh) * 2015-01-29 2015-04-29 广东欧珀移动通信有限公司 一种模拟按键输入检测方法和装置
CN104580743B (zh) * 2015-01-29 2017-08-11 广东欧珀移动通信有限公司 一种模拟按键输入检测方法和装置
CN106358104A (zh) * 2015-07-15 2017-01-25 视讯联合科技股份有限公司 一种具备隐藏视像屏及多种传感器的耳机
CN106484100A (zh) * 2016-09-12 2017-03-08 珠海格力电器股份有限公司 空调器及其控制方法和装置、空调器的线控器

Also Published As

Publication number Publication date
KR102073827B1 (ko) 2020-02-05
US9625996B2 (en) 2017-04-18
EP2808767B1 (en) 2019-03-06
KR20140141108A (ko) 2014-12-10
US20140354536A1 (en) 2014-12-04
CN104216653B (zh) 2017-12-12
EP2808767A1 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
CN104216653A (zh) 电子设备及其控制方法
CN101901071B (zh) 显示设备以及控制该显示设备的方法
KR101597553B1 (ko) 기능 실행 방법 및 그 장치
CN101859226B (zh) 在移动终端中输入命令的方法和使用该方法的移动终端
US9430082B2 (en) Electronic device for executing different functions based on the touch patterns using different portions of the finger and control method thereof
KR101830965B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
CN101668056B (zh) 移动终端
US8627235B2 (en) Mobile terminal and corresponding method for assigning user-drawn input gestures to functions
CN102387246B (zh) 移动终端和在移动终端中管理图标显示的方法
CN102377876B (zh) 移动终端和在其中设置应用指示符的方法
CN101907972B (zh) 移动终端以及在移动终端中显示信息的方法
EP2511811A2 (en) Mobile terminal performing remote control function for a display device
CN105027060A (zh) 电子装置及其控制方法
CN103916534A (zh) 移动终端
CN103377003A (zh) 移动终端及其控制方法
CN103914248A (zh) 移动终端及其控制方法
KR101752411B1 (ko) 이동 단말기 및 그 제어 방법
CN103197831A (zh) 电子装置及其控制方法
KR101940530B1 (ko) 휴대 단말기 및 그 제어 방법
EP2958304A1 (en) Mobile terminal and control method thereof
KR20140141310A (ko) 단말기 및 그 동작 방법
KR101589307B1 (ko) 멀티 미디어 파일을 재생하는 이동 단말기 및 이동 단말기의 제어 방법
KR20120029597A (ko) 이동 단말기 및 이것의 영상 처리 방법
KR101929777B1 (ko) 이동 단말기 및 그 제어방법
KR101632993B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171212

Termination date: 20210528