CN104216513B - 用于基于姿势的数据处理的方法和设备 - Google Patents

用于基于姿势的数据处理的方法和设备 Download PDF

Info

Publication number
CN104216513B
CN104216513B CN201410239426.2A CN201410239426A CN104216513B CN 104216513 B CN104216513 B CN 104216513B CN 201410239426 A CN201410239426 A CN 201410239426A CN 104216513 B CN104216513 B CN 104216513B
Authority
CN
China
Prior art keywords
user
posture
page
data
guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410239426.2A
Other languages
English (en)
Other versions
CN104216513A (zh
Inventor
李起龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104216513A publication Critical patent/CN104216513A/zh
Application granted granted Critical
Publication of CN104216513B publication Critical patent/CN104216513B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor

Abstract

提供了一种用于基于姿势的数据处理的方法和设备。检测用户姿势。响应于用户姿势在电子装置的屏幕上显示引导对象。接收由用户输入的数据。当接收到数据时，在屏幕上显示由用户输入的数据以及引导对象。

Description

用于基于姿势的数据处理的方法和设备
技术领域
本发明总体上涉及一种用于数据处理的方法和设备，更具体地，涉及一种用于基于姿势的数据输入的方法和设备。
背景技术
能够执行通信和数据处理的各种设备或电子装置的类型包括：例如，蜂窝通信终端、个人数字助理(PDA)、电子记事簿、智能电话和平板个人计算机(PC)。这些电子装置已经演变为整合多种功能的多功能装置。例如，一个这样的电子装置整合包括语音和视频电话功能、消息功能(包括短消息服务/多媒体消息服务(SMS/MMS)和电子邮件)、导航功能、文件编辑功能、拍摄功能、广播回放功能、多媒体(视频和音频)回放功能、因特网接入功能、信使功能和社交网络服务(SNS)功能的多种功能。
通过将触摸屏引进电子装置，能够克服传统输入方式的局限并进一步便于用户操纵电子装置。用户能够使用手指或电子笔(例如，手写笔)通过触摸姿势在触摸屏上提供输入。例如，如果用户使用电子笔进行手写动作，则电子装置将输入存储为绘画对象(例如，绘画板功能)或者分析笔画数据(例如，坐标)，以将书写动作转换为文本或图形(例如，书写识别或图形识别功能)。
发明内容
已做出本发明来解决至少上述问题和/或缺点，并提供至少下述优点。因此，本发明的一方面提供了一种能够便于在被显示在电子装置的屏幕上的可编辑页面上输入的各种类型的数据的基于姿势的数据处理方法和设备。
本发明的另一方面提供了一种能够对电子装置的屏幕上方的悬浮姿势进行感测的基于姿势的数据处理方法和设备。
本发明的另一方面提供了一种能够在可编辑页面被显示在电子装置的屏幕上时响应于悬浮姿势来显示引导以提示用户输入的基于姿势的数据处理方法和设备。
本发明的另一方面提供了一种能够在可编辑页面被显示在电子装置的屏幕上时响应于悬浮入事件来显示引导、并响应于悬浮出事件显示输入数据的基于姿势的数据处理方法和设备。
本发明的另一方面提供了一种能够通过优化用于支持在电子装置的屏幕上所显示的可编辑页面上的数据输入的环境来提升用户便利性和装置可用性的基于姿势的数据处理方法和设备。
根据本发明的一方面，提供了一种用于在电子装置中进行数据处理的方法。由电子装置检测用户姿势。响应于用户姿势在电子装置的屏幕上显示引导对象。接收由用户输入的数据。当接收到数据时，在屏幕上显示由用户输入的数据以及引导对象。
根据本发明的另一方面，提供了一种设备，所述设备包括：控制单元，检测用户姿势，并接收由用户输入的数据。所述设备还包括：屏幕，响应于用户姿势来显示引导对象，并在接收到数据时显示由用户输入的数据以及引导对象。
根据本发明的另一方面，提供了一种存储一个或更多个程序的非暂时性计算机可读存储介质，其中，所述一个或更多个程序在被执行时实现下列步骤：检测用户姿势；响应于用户姿势在屏幕上显示引导对象；接收由用户输入的数据；当接收到数据时，在屏幕上显示由用户输入的数据以及引导对象。
本发明的另一方面提供了一种包括被布置为当执行时实现根据上述方面中的任何一方面的方法的指令的计算机程序。另一方面提供了存储这样的程序的机器可读存储器。
附图说明
当结合附图时，通过以下详细描述，本发明的以上和其它方面、特征和优点将更加清楚，其中：
图1是示出根据本发明的实施例的电子装置的配置的框图；
图2是示出根据本发明的实施例的电子装置的基于悬浮姿势的数据处理方法的流程图；
图3A到图3D是示出根据本发明的实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图；
图4A到图4C是示出根据本发明的另一实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图；
图5A到图5C是示出根据本发明的另一实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图；
图6A到图6D是示出根据本发明的另一实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图；
图7是示出根据本发明的实施例的电子装置的基于悬浮姿势的数据处理方法的流程图。
具体实施方式
参照附图来详细描述本发明的实施例。相同或相似的组件可由相同或相似的标号指定，即使所述组件在不同的附图中示出。可省略对本领域中已知的构造或处理的详细描述，以避免模糊本发明的主题。
本发明的实施例提供了一种用于支持数据的输入的电子装置和方法。具体地，提供了一种根据本发明的实施例的用于处理利用能够识别各种类型的数据(例如，文本、绘图、图形和文档)的应用在可编辑页面上输入的数据的方法和设备。
在本发明的各种实施例中，应用可以是任何类型的支持手写和绘图输入功能的应用，例如，诸如办公应用、备忘录应用、电子邮件应用、消息应用、行程管理器应用、绘画应用、web浏览器应用和文档编辑应用。在本发明的各种实施例中，应用可以是能够提供可编辑页面并通过可编辑页面接收数据的一种类型的应用。
根据本发明的各种实施例，当使用用于将数据输入到电子装置的应用时，特定应用引导响应于用户姿势而显现或消失。在本发明的各种实施例中，用户姿势可包括例如用户交互，以使电子装置能够显示该引导(例如，本发明的引导对象)。例如，用户姿势可包括：可由触摸屏检测的悬浮姿势和可由红外传感器、照度传感器或相机模块检测的手势中的至少一个。
根据本发明的各种实施例，当由电子装置显示应用页面时，为应用指定的引导对象响应于悬浮姿势而显现，并响应于悬浮姿势的移除而消失。由特定输入工具(例如，用户的手指、诸如手写笔的电子笔)做出悬浮姿势。
根据本发明的各种实施例，当由电子装置显示应用页面时，为应用指定的引导对象响应于由用户(或代替用户的手的某个物体)做出的手势而显现，并在移除手势(例如，将手移动到传感器的感应区域之外)的情况下消失。由传感器(例如，红外传感器、照度传感器)或相机模块(例如，面向与屏幕的表面相同的方向的前置摄像头)对手势进行检测。
根据本发明的各种实施例，某个引导对象响应于悬浮姿势而显现，使得用户能够输入数据(例如，文本、绘画、图形和文档)，并在悬浮姿势被移除时实时查看数据输入进度。类似地，引导对象可响应于用户的手势而显现，使得用户能够输入数据(例如，文本、绘图、图形和文档)，并通过在引导对象被显示时移除手势来实时查看数据输入状态。
在下文中，针对电子装置响应于悬浮姿势来确定是否显示引导的代表性情况对本发明的实施例进行描述。然而，本发明的实施例不限于此，并且可利用可借助于电子装置的各种传感器检测的任何类型的用户姿势(包括例如手势)来实现本发明的实施例。
在本发明的各种实施例中，如果在某个输入工具进行接触之前在电子装置的一定距离或范围之内检测到输入姿势(例如，悬浮姿势)，则电子装置将该输入手势解释为书写或绘画的预动作。电子装置在屏幕的页面上显示引导对象(例如，引导线、背景图案和背景图像)，以帮助用户进行书写或绘画。在本发明的各种实施例中，引导对象在输入工具处于装置的预定距离或范围之内(例如，悬浮姿势)时显现，并在输入工具被从所述距离或范围移除时消失。在本发明的各种实施例中，可按照这样的方式来实现基于姿势的数据处理方法：根据输入工具距装置的距离来显示或隐藏引导对象。
在本发明的各种实施例中，电子装置可在输入工具不接触电容/电阻触摸屏的情况下通过测量一定距离之内的电流量来识别输入工具(例如，用户的手指或电子笔)的存在。在本发明的各种实施例中，悬浮姿势表示某个输入工具进入距电子装置预定范围之内的情况。悬浮姿势被用于确定显示还是移除页面上的引导对象。在本发明的各种实施例中，可通过应用程序界面(API)来传送悬浮姿势。
在本发明的各种实施例中，引导对象表示特定形式的引导，该特定形式的引导响应于悬浮姿势显现以便帮助输入数据。例如，引导对象可按照固定间距隔开的水平线的形式在页面上显现，以引导用户将字母书写得水平成行。引导对象还可显现为用于装饰性目的帮助用户输入数据的网格线、图形或背景图像。
图1是示出根据本发明的实施例的电子装置的配置的框图。
如图1中所示，电子装置包括：无线电通信单元110、用户输入单元120、触摸屏130、音频处理单元140、存储单元150、接口单元160、相机单元170、控制单元180和供电单元190。可利用或不利用如图1中所示的一个或更多个组件来实现根据本发明的实施例的电子装置。例如，当根据本发明的实施例的电子装置没有广播接收和回放功能时，某些功能模块(例如，无线电通信单元110的广播接收模块119)可被省略。根据本发明的实施例的电子装置可包括多种传感器(例如，红外传感器、照度传感器以及与显示单元的表面朝向相同方向的相机模块)。
无线电通信单元110能够通过蜂窝通信、无线局域网(WLAN)通信、短距离通信、定位系统(例如，全球定位系统(GPS))和广播接收中的至少一个进行通信。例如，无线电通信单元110包括蜂窝通信模块111、WLAN通信模块113、短距离通信模块115、定位模块117和广播接收模块119。
蜂窝通信模块111能够与蜂窝通信网络的基站、外部装置和各种服务器(例如，集成服务器、提供商服务器、内容服务器、因特网服务器、云服务器)中的至少一个传输无线电信号。无线电信号可承载音频电话数据、视频电话数据和文本/多媒体消息数据。
WLAN模块113负责与接入点(AP)或另一电子装置建立WLAN链路，并能够被嵌入电子装置中或实现为外部装置。可使用多种无线电因特网接入技术，诸如无线保真(Wi-Fi)、无线宽带(WiBro)、全球微波互连接入(WiMAX)和高速下行分组接入(HSDPA)。WLAN模块113能够与另一电子装置建立WLAN链路，以将由用户选择的各种引导对象发送到其它电子装置或者从其它电子装置接收所述引导对象。WLAN模块113还能够与各种服务器建立WLAN链路以接收各种引导对象。WLAN模块113可总是处于开启状态，或者根据用户的设置或输入而开启。
短距离通信模块115负责电子装置的短距离通信。可存在各种可用的短距离通信技术，诸如蓝牙、低功耗蓝牙(BLE)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee和近场通信(NFC)等。短距离通信模块115在连接到另一电子装置的状态下，能够根据用户的意向将各种引导对象发送到所述另一电子装置或者从所述另一电子装置接收各种引导对象。短距离通信模块115可总是处于开启状态，或者根据用户的设置或输入而开启。
定位模块117负责对电子装置的位置进行定位，全球定位系统(GPS)模块是代表性的定位模块之一。定位模块117从至少三个基站收集准确的距离和时间信息，并基于所获得的信息执行三角测量，以获得具有纬度、经度和海拔的3维(3D)位置信息。定位模块117还能够基于来自三个或更多个卫星信号的信号实时计算位置信息。可使用各种方法来获得电子装置的位置信息。
广播接收模块119通过广播信道(例如，卫星广播信道和地面广播信道)从外部广播管理服务器接收广播信号(例如，TV广播信号、无线电广播信号和数据广播信号)和/或关于广播的信息(例如，广播信道信息、广播节目信息和广播服务提供商信息)。
输入单元120响应于用户输入产生用于控制电子装置的操作的信号。输入单元120可包括：例如，键盘、圆顶开关、触摸板(电容/电阻)、滚轮、滚动开关或传感器(例如，语音传感器、接近传感器、亮度传感器、加速度传感器或陀螺仪传感器)。可利用外部按钮和/或触摸屏130上的虚拟按钮来实现输入单元120。输入单元120能够接收用于执行能够编辑页面的应用的用户输入，并产生与用户输入相应的信号。用户输入单元120还能够接收用于配置将要显示在特定页面上的引导对象的用户输入，或者选择或修改所述页面上的引导对象。用户输入单元120还能够产生与用户输入相应的信号。
触摸屏130是同时负责输入功能和显示功能的输入/输出装置，并包括：显示面板131和触摸面板133。在本发明的实施例中，触摸屏130能够借助于显示屏幕(例如，应用执行屏幕(页面屏幕)、具有引导对象的页面屏幕、拨出呼叫处理屏幕、信使屏幕、游戏屏幕或图库屏幕)的触摸面板133来检测用户的触摸姿势。触摸屏130还能够产生与触摸姿势相应的输入信号。随后，控制单元180识别触摸姿势，并控制与触摸姿势相应的动作的执行。触摸屏130还能够在显示可编辑页面的同时检测悬浮姿势，并产生与悬浮姿势相应的输入信号。
在几种模式(例如，电话模式、拍摄模式)中的一种或更多种模式下，显示面板131能够显示(输出)由电子装置处理的信息。在电子装置在电话模式下进行操作的示例性情况中，显示面板131能够显示与电话模式相关的用户界面(UI)或图形UI(GUI)。在电子装置在视频电话模式或相机拍摄模式下进行操作的示例性情况中，显示面板131还能够利用捕捉和/或接收到的图片来显示图像或UI/GUI。显示单元131能够显示与应用相应的执行屏幕(例如，页面屏幕)，并响应于由用户做出的悬浮姿势在页面屏幕上显示或隐藏特定引导对象。例如，显示面板131能够根据用户的悬浮姿势显示针对相应的页面指定的引导对象，并根据用户的悬浮指令的移除从页面移除引导对象。显示面板131还能够将由用户输入的数据与引导对象重叠地显示在页面上，并在悬浮姿势移除时移除引导对象，以便仅显示用户输入数据。显示面板131还能够支持用于在纵向模式(portrait mode)和横向模式(landscape mode)之间进行切换的显示模式切换功能。
显示面板131可被实现为液晶显示器(LCD)、薄膜晶体管LCD(TFT LCD)、发光二极管(LED)、有机LED(OLED)、有源矩阵OLED(AMOLED)、柔性显示器、弯曲显示器和3维(3D)显示器中的任何一个。显示面板131可被实现为光穿透的透明或半透明显示面板。
触摸面板133被布置在显示面板131上，以检测用户在触摸屏130的表面上的触摸姿势(例如，单点触摸姿势、多点触摸姿势、拍摄姿势和数据输入姿势)。如果在触摸屏130的表面上检测到触摸姿势，则触摸面板133提取触摸姿势的位置坐标，并将所述坐标传送到控制单元170。触摸面板133产生到控制单元170的与触摸姿势相应的信号。控制单元170能够基于检测到触摸姿势的位置，根据由触摸面板133发送的信号来执行功能。
触摸面板133能够在距触摸屏130的表面预定范围检测悬浮姿势，并产生与检测到的悬浮姿势相应的信号。尽管输入工具与触摸屏130之间并无接触，但是触摸面板133能够测量距触摸屏130特定距离之内的电流量，并对输入工具以及输入工具的移动和后撤进行识别。控制单元180能够分析由来自触摸面板133的信号所表示的悬浮姿势，并执行与经分析的悬浮姿势相应的功能(例如，显示或移除引导对象)。
触摸面板133能够接收用于执行能够编辑页面的应用的用户输入，配置将要呈现在页面上的引导对象，或者在页面被显示时选择或改变引导对象。触摸面板133还能够产生与用户输入相应的输入信号。
触摸面板133可被配置为将施加到显示面板131的特定位置的压力或者在显示面板131的特定位置的电容变化转换为电输入信号。触摸面板133能够测量触摸输入的压力以及触摸的位置和尺寸。如果触摸输入被检测到，则触摸面板133产生到触摸控制器(未示出)的相应的信号。触摸控制器(未示出)能够处理所述信号并将相应的数据传送到控制单元180。通过这种方式，控制单元100能够检查触摸屏130上的触摸区域。
音频处理单元140能够将从控制单元180输入的音频信号传送到扬声器(SPK)141，并将通过麦克风(MIC)143接收到的音频信号传送到控制单元180。音频处理单元140处理从控制单元180接收到的音频/声音数据，以便通过扬声器141以可听声波的形式输出音频信号，并处理通过麦克风143接收到的音频信号，以产生用于传送到控制单元180的数字信号。
音频处理单元140将从控制单元170接收到的音频信号发送到扬声器(SPK)，并将诸如通过麦克风(MIC)输入的语音的音频信号发送到控制单元180。音频处理单元140能够处理语音/声音数据，以通过扬声器141输出可听声波，并处理包括语音的音频信号，以产生到控制单元180的数字信号。
在控制单元180的控制下，音频处理单元140能够在页面被显示时输出与悬浮姿势相应的语音/声音数据。例如，在控制单元180的控制下，音频处理单元140能够在悬浮姿势被检测到时在显示引导对象的过程中输出特定语音/声音数据，并在悬浮姿势不再被检测到时在隐藏引导对象的过程中输出不同的语音/声音数据。音频处理单元140能够接收命令改变(或选择)页面上的引导对象的语音数据，并将语音数据传送到控制单元180。音频处理单元140还能够在页面被显示时接收命令显示或隐藏引导对象的语音数据，并将语音数据传送到控制单元180。
扬声器141能够在电子装置的上述模式中的任何一种模式下输出借助于无线电通信单元110接收到的音频数据并将其存储在存储单元150中。扬声器141还能够输出与在电子装置中执行的功能(例如，应用执行、引导对象呈现、引导对象隐藏、拨入呼叫接收、拨出呼叫进行、数据输入、图片拍摄和多媒体内容回放)有关的音频信号。
麦克风143能够在电子装置的上述模式中的任何一个模式下处理音频输入，以产生电音频数据。可利用用于消除在接收外部声音的过程中产生的噪音的多种噪声消除算法来实现麦克风143。
存储单元150存储与控制单元180的控制功能和信息处理功能相关的程序，并暂时存储输入/输出数据(例如，引导对象、联系人信息、文档数据、图片数据、消息、聊天数据和包括音频和视频的媒体内容)。存储单元150还能够存储使用频率(例如，应用使用频率、数据使用频率、引导对象使用频率和多媒体内容使用频率)、权重和优先级的信息。存储单元150还能够存储响应于在触摸屏130上进行的触摸输入而输出的各种振动模式和声音效果的数据。
存储单元150存储电子装置的操作系统(OS)和用于进行下列操作的应用程序：控制基于触摸屏的输入和显示操作，显示和隐藏应用页面上的引导对象，将引导对象与由用户输入的数据进行重叠。存储单元150还半持久地或暂时地存储与应用程序相关联地产生的数据。存储单元150还能够存储用于处理响应于用户的悬浮姿势的数据的多种设置(例如，引导对象显示以及各种数据输入和显示)。设置信息可包括引导对象与页面之间的映射。设置信息还可包括关于在存储在应用页面上一起输入的数据的过程中是否存储到引导对象的链接的信息。
可利用闪存式存储器、硬盘式型存储器、微型存储器、卡式存储器(例如，安全数字(SD)型存储器和极限数字(XD)卡式存储器)、随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦除PROM(EEPROM)、磁RAM(MRAM)、磁盘存储器和光盘式存储器中的至少一个的存储介质来实现存储单元150。电子装置可在因特网上与作为存储单元150的web存储器进行交互操作。
接口单元160为可连接到电子装置的外部装置提供接口。接口单元160能够将数据或电力从外部装置传送到电子装置的内部组件，并将内部数据传送到外部装置。例如，接口单元160可设置有线/无线头戴式耳机端口、外部充电端口、有线/无线数据端口、存储卡槽、识别模块槽、音频输入/输出端口、视频输入/输出端口、耳机插孔等。
相机模块170负责电子装置的拍摄功能。相机模块170能够捕捉静止图像或运动图像。相机模块170能够将视频数据输出到显示单元131和控制单元180。相机模块170可包括用于将光信号转换为电信号的图像传感器(或相机传感器)，还可包括用于将从图像传感器接收到的电信号转换为数字视频数据的视频信号处理器。图像传感器可被实现为电荷耦合装置(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。相机模块170能够提供用于根据由用户设置的各种选项(例如，缩放)、屏幕宽高比和/或效果(例如，素描效果、单色效果、老照片效果、古典效果和马赛克效果)支持照片捕捉的图像处理功能。
控制单元180控制电子装置的整体操作。例如，控制单元180能够控制语音电话功能、数据通信功能和视频电话功能。根据本发明的实施例，控制单元180包括数据处理模块182，数据处理模块182响应于用户在应用页面上的悬浮姿势处理数据。在本发明的实施例中，可在控制单元180中实现数据处理模块182，或者将数据处理模块182实现为与控制单元180独立的元件。在本发明的各种实施例中，数据处理模块182可包括：页面管理器184、引导管理器186和对象管理器188。以下更具体地描述页面管理器184、引导管理器186和对象管理器188。
控制单元180的页面管理器184能够产生用于接收用户输入的可编辑页面。例如，控制单元180的页面管理器184能够产生特定应用(例如，文档编辑应用、电子邮件应用和web浏览器)的页面。
控制单元180的引导管理器186还能够响应于悬浮姿势进行处理，以显示或移除应用页面上的引导对象。例如，控制单元180的引导管理器186能够响应于在查看应用页面的过程中的悬浮姿势来显示针对相应的页面指定的至少一个引导对象。当悬浮姿势被移除时，控制单元180的引导管理器186还能够进行处理以移除应用页面上的引导对象。具体地，控制单元180的引导管理器186能够响应于悬浮姿势在将引导对象显示在应用页面上和移除应用页面上的引导对象之间进行切换。
控制单元180的对象管理器188还能够响应于用户输入在具有引导对象或没有引导对象的情况下显示数据。例如，控制单元180的对象管理器188能够响应于悬浮姿势在具有引导对象的情况下显示数据，或者在悬浮姿势被移除时在没有引导对象的情况下显示数据。
以下参照附图在电子装置的操作和控制方法中更具体地描述控制单元180的操作。
根据本发明的实施例，控制单元180能够控制与电子装置的一般功能以及上述功能相关联的各种操作。控制单元180能够接收与在基于触摸的输入界面(例如，触摸屏130)上所支持的各种基于触摸的事件相应的输入信号，并响应于输入信号对功能进行控制。控制单元180还能够通过有线通信信道或无线通信信道来控制各种数据的发送/接收。
供电单元190将电力从外部电源或从内部电源供应到电子装置的内部组件。
如上所述，可利用下列组件来实现根据本发明的各种实施例中的一实施例的电子装置：用于显示接收用户输入的页面的计算机实现的页面管理器184、用于响应于悬浮事件将引导对象显示在页面上或隐藏页面上的引导对象的计算机实现的引导管理器186、以及用于响应于用户输入在存在或不存在引导对象的情况下显示数据的计算机实现的对象管理器188。
如上所述，根据本发明的实施例的电子装置可以是配备有应用处理器(AP)、图形处理单元(GPU)和中央处理单元(CPU)中的至少一个的任何类型的信息通信和多媒体装置。例如，电子装置可以是利用与通信系统相应的多种通信协议进行操作的蜂窝通信终端、平板PC、智能手机、数码相机、便携式多媒体播放器(PMP)、媒体播放器(例如，MP3播放器)、便携式游戏机、个人数字助理(PDA)等中的任意一个。另外，可将根据本发明的实施例的基于姿势的控制方法应用于各种显示装置，例如，诸如数字电视(TV)、数字看板(DS)、大尺寸显示屏(LFD)、膝上计算机和台式计算机。
根据本发明的实施例的基于姿势的数据处理方法可以以软件、硬件或者硬件和软件两者的组合来实现，并被存储在计算机可读存储介质中。在硬件实现的情况下，可利用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和执行特定任务的其它电子单元中的至少一个来实现根据本发明的实施例的基于姿势的数据处理方法。
可由控制单元180自身实现本发明的实施例。在被实现为软件的情况下，可利用软件模块来实现在本发明的实施例中描述的过程和功能(例如，页面管理器184、引导管理器186和对象管理器188)。软件模块能够执行上述功能和操作中的至少一个。
存储介质可以是存储下列操作的程序命令的任何类型的计算机可读存储介质：显示用于接收用户输入的可编辑页面，响应于用户姿势来在页面上显示引导对象和隐藏页面上的引导对象，以及响应于用户输入在存在或不存在引导对象的情况下显示数据。
图2是示出根据本发明的实施例的电子装置的基于悬浮姿势的数据处理方法的流程图。
参照图2，在步骤201，控制单元180控制用于接收用户输入的页面的显示。例如，控制单元180响应于用户请求执行应用，并控制应用的执行屏幕上的页面的显示。根据本发明的实施例，页面被配置为接收用户输入并响应于用户输入呈现各种数据。在本发明的各种实施例中，页面能够响应于用户的悬浮姿势切换配置的特定引导对象。例如，引导对象可被显示或被移除。在本发明的各种实施例中，应用可以是提供用于接收各种类型的数据(例如，文本、图像、命令等)的可编辑页面的任何类型的应用，例如，诸如办公应用、备忘录应用、电子邮件应用、消息应用、行程管理器应用、绘画应用、web浏览器应用和文档编辑应用。
在步骤203，控制单元180检测触摸屏130上方的悬浮姿势。例如，当页面被显示时，用户可利用某个输入工具通过在距触摸屏130的表面预定范围之内进行输入来做出悬浮姿势，使得控制单元180检测悬浮姿势。
在步骤205，控制单元180响应于悬浮姿势来控制引导的显示。例如，控制单元180能够响应于悬浮姿势在页面上显示预定的引导对象。只要悬浮姿势被保持，控制单元180就能够保持引导对象的显示，此时，输入工具可处于悬浮中或接触触摸屏130的表面以输入数据(例如，文本对象或绘画对象)。
在步骤207，控制单元180检测用户输入。例如，当引导对象被呈现在页面上时，控制单元180能够检测与用于在页面上输入某些数据(例如，文本对象或绘画对象)的用户输入相应的信号。在本发明的各种实施例中，可利用至少一个用户姿势(例如，书写姿势和绘画姿势)来进行用户输入。
在步骤209，控制单元180控制与用户输入相应的对象的显示。例如，控制单元180能够将与用户输入相应的对象(例如，文本对象或绘画对象)随同引导对象一起显示。
在步骤211，控制单元180检测悬浮姿势的移除，在悬浮姿势的移除中，从触摸屏130的表面和距触摸屏130表面的上述范围移除输入工具。例如，当引导对象存在时，用户可将输入工具提高到距触摸屏130预定距离之外。
在步骤213，控制单元180响应于检测到悬浮姿势的移除来控制显示对象，而不显示引导对象。例如，如果当引导对象被显示在页面上时悬浮姿势被移除，则控制单元180仅控制显示与用户输入相应的对象(例如，文本对象或绘画对象)，而不显示引导对象之外。
尽管未在图2中示出，但是在步骤213的状态下，可根据用户的悬浮手势来检测悬浮事件。在这种情况下，控制单元180能够进行控制，使得在保持显示在那之前所输入的对象的同时响应于悬浮入事件而重新出现引导。也就是说，控制单元180能够响应于用户的悬浮姿势来切换引导对象的显示。图3A到图3D是示出根据本发明的实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图。
图3A示出根据本发明的实施例的当用户执行与基于姿势的数据处理相关联的应用时所显示的屏幕。图3A至图3D针对所述应用是备忘录应用的实施例。然而，本发明的实施例不限于备忘录应用，并可被应用于利用用于接收各种类型的数据的可编辑页面进行操作的任何应用。
如图3A中所示，如果用户输入用于执行备忘录应用的命令，则电子装置执行备忘录应用并显示具有页面UI或GUI的执行屏幕。
在页面处于如图3A中所示的状态的情况下，用户可通过将输入工具(例如，用户的手指或电子笔)400放置在距触摸屏130的表面预定范围之内来做出悬浮姿势，如图3B中所示。控制单元180检测悬浮姿势，并响应于悬浮姿势控制引导对象(例如，水平线)300在页面上的显示，如图3B中所示。具体地，图3B示出在备忘录应用页面被显示的同时当悬浮姿势被检测到时电子装置的屏幕。
在页面处于如图3B中所示的状态的情况下，用户可输入某些数据(例如，由文本书写姿势形成的文本对象)500。例如，用户可利用书写姿势沿引导对象(例如，水平线)300输入文本对象，如图3C中所示。具体地，图3C示出在引导对象300被显示在应用页面上的同时当文本对象被输入时电子装置的屏幕。
在页面处于如图3C中所示的状态的情况下，用户可做出从触摸屏130移除输入工具400并将输入工具400提高到距触摸屏130的表面预定范围之外的姿势，如图3D中所示。控制单元180检测悬浮姿势的移除，并控制显示器，使得由用户输入的文本对象500被显示，而不显示响应于悬浮姿势的移除从应用页面移除的引导对象300，如图3D中所示。具体地，图3D示出在输入文本对象之后当悬浮姿势的移除被检测到时的电子装置的屏幕。
如以上参照图3A至图3D所描述的，在本发明的各种实施例中，引导对象(例如，水平线)300在存在输入工具400的悬浮姿势的情况下可见，而在移除输入工具400的悬浮姿势的情况下隐藏。
如果在绘画识别页面上检测到输入工具400，则引导对象(例如，水平线)300可半透明地显现在页面上。引导对象可帮助用户将文本书写得水平成行。如果用户将输入工具400提高到距屏幕预定距离之外，则仅显示由用户输入的文本500。为了帮助书写的目的而提供引导对象(例如，水平线)300，因此，当输入数据被存储或发送时引导对象被忽略。例如，输入数据可被单独存储或者随同作为背景的页面一起存储。然而，根据本发明的实施例，可根据用户的意图将输入数据与引导对象相组合地被存储。
图4A到图4C是示出根据本发明的另一实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图。
图4A示出在屏幕处于如图3A中所示的状态时当用户向输入数据(例如，图4A至图4C中的绘画对象)做出悬浮姿势时所显示的屏幕。
如图4A中所示，用户可利用输入工具400在触摸屏130上方做出悬浮姿势。控制单元180检测悬浮姿势，并进行控制使得引导对象(例如，背景草图)320显现在页面上，如图4A中所示。具体地，图4A示出当由用户做出悬浮姿势时的电子装置的屏幕。
当屏幕处于如图4A中所示的状态时，用户能够输入数据(例如，如图4B和图4C中所示的由用户绘画的绘画对象)520。例如，用户能够在引导对象(例如，背景草图)320上绘画对象，如图4B中所示。具体地，图4B示出在引导对象在页面上可视的同时当用户绘画对象时的电子装置的屏幕。
当屏幕处于如图4B中所示的状态时，用户可从触摸屏130上方移除利用输入工具400的悬浮姿势，如图4C中所示。控制单元180检测悬浮姿势的移除，并响应于悬浮姿势的移除进行控制使得仅仅绘画对象520保留在页面上，如图4C中所示。具体地，图4C示出在引导对象320的帮助下输入绘画对象之后当用户移除悬浮姿势时的电子装置的屏幕。
如参照图4A至图4C所描述的，引导对象(例如，背景草图)320响应于输入工具400的悬浮姿势而显现，并响应于输入工具400的悬浮姿势的移除，按照与以上参照图3A至图3D所描述的方法相似的方式在页面上动态地消失。
例如，如果在显示绘画应用页面的屏幕上方一定距离之内检测到输入工具，则引导对象(例如，背景草图)320半透明地显现在页面上。随后，用户能够在引导对象(例如，背景草图)320的帮助下详细地绘画对象。如果用户将输入工具400提高到距显示页面的屏幕预定距离之外(即，悬浮出姿势被检测到)，则引导对象(例如，背景草图)被隐藏，使得由用户绘画的对象被留下并可见。在各种实施例中，引导对象(例如，背景草图)320响应于在显示能够识别利用输入工具400做出的各种数据输入姿势的应用的页面的屏幕上做出的悬浮入姿势和悬浮出姿势而动态地显现和消失。
由于输入工具400必须接近屏幕以使用户能够在屏幕上绘画对象，因此能够配置可检测的悬浮入姿势，并响应于可检测的悬浮入姿势在页面上提供半透明的背景草图。用户能够在背景草图的帮助下详细地绘画对象。如果输入工具400悬浮出距屏幕的所述距离范围，则背景草图消失，使得用户可直观地查看在此之前绘画的对象。
根据本发明的实施例，可使用菜单选项来开启/关闭用于基于悬浮姿势提供引导对象(例如，背景草图)的引导对象提供模式。另外，当引导对象提供模式开启时，能够将由应用提供的图形或绘画模板、或者从web浏览器或图库应用获得或者由相机模块捕捉的图片作为背景草图。根据本发明的实施例，在引导对象提供模式下显现的引导对象可以是存储在连接到电子装置的存储装置中的任何类型的数据。例如，引导对象可以是存储在电子装置的内部存储器中的数据，或者从通过网络连接的外部存储器(例如，内容服务器或云服务器)接收到的数据。
图5A到图5C是示出根据本发明的另一实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图。
在如图5A至图5C中所示的本发明的实施例中，针对文档编辑应用进行描述。然而，本发明的实施例不限于此，并可被应用于具有用于接收各种类型的数据的可编辑页面的任何应用操作。
如图5A中所示，如果用户输入用于执行文档编辑应用的命令，则电子装置执行相应的应用，并按照预定格式显示文档页面UI或GUI。
在屏幕处于如图5A中所示的状态的情况下，用户可利用输入工具400在触摸屏130上方做出悬浮姿势，如图5B中所示，以便输入某些数据(例如，填充页面上的给出的格式中的区域的文本对象)。控制单元180检测悬浮姿势，并响应于悬浮姿势来控制显示器在页面上的某些区域中显示引导对象(例如，凹刻对象、凸刻对象和阴影对象)340，如图5B中所示。例如，页面设置有允许用户输入的激活区域和不允许用户输入的非激活区域。根据本发明的实施例，使用引导对象将非激活区域标记为凹刻区域、凸刻区域或阴影区域。具体地，图5B示出在文档编辑应用页面被显示的同时当悬浮姿势被检测到时的电子装置的屏幕。
在屏幕处于如图5B中所示的状态的情况下，用户能够输入数据(例如，给定区域中的姓名区域和地址区域中的文本对象)540。例如，用户能够在使用引导对象340标记的非激活区域(例如，代理人姓名和地址区域)和没有引导对象340的激活区域(例如，申请人姓名和地址区域)之间进行区分。用户随后能够在激活区域中填写文本对象。具体地，图5B示出当用户已经在激活区域中填写了文本对象而留下非激活区域空白时的电子装置的屏幕。
在屏幕处于如图5B中所示的状态的情况下，用户可从触摸屏130上方移除利用输入工具400的悬浮姿势，如图5C中所示。控制单元180能够检测悬浮姿势的移除，并对显示器进行控制使得由用户输入的文本对象540被显示在页面上而没有引导对象340，如图5C中所示。具体地，图5C示出在用户在文档的激活区域中输入文本对象之后当输入工具400被移动到距屏幕预定范围之外时的电子装置的屏幕。
如参照图5A至图5C所述，响应于输入工具400的悬浮姿势来提供引导对象(例如，凹刻部分、凸刻部分和阴影部分)340的显示。具体地，根据本发明的实施例，在图5A至图5C的实施例中，文档的非激活区域被暗淡化以告知用户那些区域不能进行填写。
根据本发明的各种实施例，提供引导对象340以告知用户允许绘画或书写输入的激活区域或者具有引导的不允许用户输入的非激活区域。根据本发明的实施例，将要提交到办事处或退出/进入处理的某个文档格式可设置有激活和非激活区域。因此，如果悬浮入事件被检测到，则电子装置使非激活区域暗淡化，以防止用户试图对非激活区域进行数据输入。
图6A到图6D是示出根据本发明的另一实施例的与电子装置的基于姿势的输入操作相关联地显示的屏幕的示图。
图6A示出根据本发明的实施例的当用户执行用于执行基于姿势的操作的特定应用时所显示的电子装置的示例性屏幕。在图6A至图6D的实施例中，针对在屏幕上用于提供主屏幕的主屏幕应用或用于提供网页的web浏览器应用的情况进行描述。然而，本发明的实施例不限于此，并可被应用于具有用于接收各种类型的数据的可编辑页面的任何应用操作。
如图6A中所示，电子装置响应于用户请求执行主屏幕应用(或web浏览器)，使得主平面UI或GUI被显示。
在屏幕处于如图6A中所示的状态的情况下，用户可利用输入工具400在触摸屏130上方做出悬浮姿势，以在页面上输入某些数据(例如，绘画某些图形、符号、字母等)，如图6B中所示。随后，控制单元180能够检测悬浮姿势，并响应于悬浮姿势来控制引导对象(例如，预定的快捷命令列表)360的显示。如图6B中所示，列出给定页面上的可用的快捷命令的快捷命令列表(例如，图形、符号、字母等)和相应的可执行功能被显示为如图6B中所示。具体地，图6B示出在主屏幕应用被运行在显示器上的同时当悬浮姿势被检测到时的电子装置的屏幕。
在屏幕处于如图6B中所示的状态的情况下，用户可输入某些数据(例如，与快捷命令相应的图形对象)。例如，用户能够使用引导对象360输入快捷命令(例如，“？”、“@”、“；”、“#”和“～”)之中的与特定快捷命令相应的图形对象(例如，“～”)，如图6C中所示。具体地，图6C示出在引导对象360被显示时当用户输入表示某个快捷命令的图形对象时的电子装置的屏幕。
如果当用户利用输入工具400保持悬浮姿势时表示某个快捷命令的图形被绘画，则电子装置检索与该图形相应的快捷命令，并且执行由该快捷命令指示的功能并显示执行屏幕。例如，如果由用户做出如图6C中所示的的图形对象输入，则电子装置执行与图形对象相应的命令，以显示图6D的执行屏幕。
图6D示出当响应于由用户输入的快捷命令来执行功能(或应用)时的电子装置的屏幕。根据本发明的实施例，如果用户输入为执行消息应用指定的图形对象(例如，～)，则电子装置查看与该图形对象相应的快捷命令。电子装置查看映射到该快捷命令的消息应用，并且执行消息应用并显示执行屏幕，如图6D中所示。在本发明的实施例中，可提供响应于基于姿势的快捷命令而执行的应用的执行屏幕，而不考虑悬浮姿势的状态。在悬浮姿势被保持的同时，消息应用执行屏幕可被保持在引导对象360下面。当悬浮姿势不再被保持时，消息应用执行屏幕被显示而不显示引导对象360。
例如，用户能够移除触摸屏130上方的使用输入工具400的悬浮姿势，如图6D中所示。控制单元180能够检测悬浮姿势的移除，并对显示器进行控制，使得与利用图形对象的输入做出的快捷命令相应的消息应用的执行屏幕被显示而不显示引导对象360。具体地，图6D示出在根据引导对象360的引导利用图形对象输入快捷命令之后当输入工具400不再执行悬浮姿势时的电子装置的屏幕。
如参照图6A至图6D所示，将由用户参照的引导对象(例如，预定的快捷命令及其执行信息)可被配置为根据悬浮姿势而显现在页面屏幕上。
例如，用户可能会遇到这样的情况：用户在试图使用电子装置的功能时不知道要做什么。在本发明的各种实施例中，电子装置可被配置为向用户提供与悬浮姿势相关联的关于操作技巧、应用的可用功能、快捷命令、帮助信息(例如，文本教程或基于图形符号的教程)等的信息。具体地，电子装置能够在检测到悬浮姿势时提供半透明的引导对象360，以帮助用户做出后续动作。
用户可能还会遇到这样的情况：用户在操作具有可根据基于书写识别或姿势识别的快捷命令而执行的功能的应用时不知道要对电子装置做什么。例如，用户可能不知道与电子装置的使用相关联的“？”被指定为执行搜索命令且“@”被指定为执行电子邮件功能。根据本发明的实施例，电子装置能够检测利用输入工具在应用页面屏幕上方做出的悬浮姿势，并响应于悬浮姿势向用户提供关于可采取的行动的信息。
根据本发明的各种实施例，电子装置可被配置为使得为相应的应用指定的某些引导对象响应于悬浮入事件而显现，并响应于悬浮出事件而消失。在各种实施例中，引导显示模式可根据用户设置而开启/关闭。可根据用户设置在引导显示模式下为各个应用中的每个页面指定至少一个引导对象。
用户能够通过由电子装置提供的引导对象设置菜单屏幕来配置各种类型的引导对象。例如，能够按照图形、符号、字母(或字母串)、图像、模板和视觉效果(例如，凹刻效果、凸刻效果、阴影效果和暗淡效果)中的任何一种的形式指示引导对象。可使用由相机单元170捕捉的图片、存储在存储单元150中的图片或者从服务器接收的图片来产生引导对象，并根据用户的意向来利用某个工具将引导对象定义为新的形式。
当多个引导对象被映射到特定页面时，可响应于悬浮姿势来提供列出引导对象的选择窗口，使得用户选择所述引导对象中的一个引导对象。
图7是示出根据本发明的实施例的电子装置的基于悬浮姿势的数据处理方法的流程图。
参照图7，在步骤701，控制单元180控制用于接收用户输入的页面的显示。例如，控制单元180响应于用户请求执行应用，并控制页面屏幕的显示。根据本发明的实施例，页面能够接收用户输入并响应于用户输入显示各种数据。在本发明的各种实施例中，页面能够响应于由用户做出的悬浮姿势来切换引导对象。
在步骤703，控制单元180检测发生在触摸屏130上方的悬浮姿势。例如，在页面被显示的同时，用户能够在距触摸屏130的表面预定距离之内做出悬浮姿势，并且控制单元180能够检测该悬浮姿势。
当检测到悬浮姿势时，在步骤705，控制单元180确定引导显示模式是否已经被开启。例如，如果悬浮姿势被检测到，则控制单元180根据引导显示模式的配置来确定是否显示预定的引导对象。
如果确定引导显示模式已经被关闭，则在步骤707，控制单元180执行相应的操作。例如，当引导显示模式已经被关闭时，控制单元180可忽略悬浮姿势，或者可执行与悬浮姿势相应的特定操作。例如，控制单元180可响应于悬浮姿势来调用预定菜单，或者可执行被映射到悬浮姿势的功能(例如，缩放操作)。
如果确定引导显示模式已经被开启，则在步骤709，控制单元180确定是否存在与页面相应的引导对象。例如，当引导显示模式已经被开启时，控制单元180可确定显示引导对象，并可确定是否存在为相应的页面指定的至少一个引导对象。
如果确定没有与页面相应的引导对象，则控制单元180在步骤711显示引导对象配置菜单，并在步骤713响应于针对配置菜单的用户输入来配置引导对象。例如，控制单元180能够显示具有用于配置引导对象的菜单项的菜单窗口。用户能够在菜单窗口执行对将要映射到页面的引导对象的选择。
根据本发明的实施例，如果将要通过捕捉图像来获得引导对象，则用户能够通过从菜单窗口选择相机项来激活相机模块170并将捕捉到的图像用作引导对象。如果将要从图库应用获得引导对象，则用户能够通过从菜单窗口选择图库项来执行图库应用，并选择图库所列出的图片(或图像)中的一个图片(或图像)用作引导对象。如果将要通过选择图形来获得引导对象，则用户能够从菜单窗口选择图形列表项以显示图形列表，并从图形列表选择图形用作引导对象。如果将要通过web搜索来获得引导对象，则用户能够从菜单窗口选择web搜索项以在web中搜索相关的图像、图形、字母、符号等，并选择找到的对象中的一个对象用作引导对象。具体地，根据本发明的实施例，可从电子装置的内部或电子装置的外部(例如，从服务器或其它电子装置)获得引导对象。
如果在步骤709确定存在与页面相应的引导对象，则在步骤715，控制单元180确定是否有单个与页面相应的引导对象。
如果确定仅有一个与页面相应的引导对象，则方法进行至步骤721。如果确定有多个与页面相应的引导对象，则在步骤717，控制单元180可显示列出与页面相应的引导对象的选择窗口，使得在步骤719，用户选择所述引导对象中的一个引导对象。尽管在本发明的实施例中针对为一个页面指定一个引导对象的情况进行描述，但是本发明不限于此。根据本发明的各个实施例，可根据用户的选择(或配置)为一个页面指定一个或更多个引导对象。
当在步骤713引导对象被配置时，当在步骤715确定存在单个与页面相应的引导对象时，或者当在步骤719从选择窗口选择引导对象时，在步骤721，控制单元180对显示器进行控制，使得引导对象显现在页面上。例如，控制单元180能够响应于悬浮姿势来处理相应的操作，并随后在页面上显示相应的引导对象。输入工具可在屏幕上方处于悬浮状态，或者与触摸屏130的表面进行接触以输入数据(例如，文本对象或绘画对象)。
在步骤723，控制单元180检测用户输入。例如，控制单元180能够检测与具有引导对象的页面上的用户数据输入(例如，文本对象或绘画对象)相应的信号。在本发明的各种实施例中，与用户输入相应的信号可包括至少一个用户姿势(例如，书写输入和绘画输入)。
在步骤725，控制单元180控制与用户输入相应的对象的显示。例如，控制单元180能够同时显示为页面指定的引导对象和与用户输入相应的对象(例如，文本对象或绘画对象)。
在步骤727，控制单元180检测悬浮姿势的移除，在悬浮姿势的移除中，当引导对象可见时，从触摸屏130的表面提高输入工具，并将输入工具提高到距触摸屏130预定距离之外。
在步骤729，控制单元180响应于悬浮姿势的移除，显示数据对象而不显示引导对象。例如，如果在引导对象可见的同时悬浮姿势被移除，则控制单元180对显示器进行控制，以便仅在页面上显示数据对象(例如，文本对象或绘图对象)而不显示引导对象。
尽管未在图7中示出，但是在页面处于步骤729的状态的同时，可再次检测悬浮姿势。控制单元180响应于悬浮姿势对显示器进行控制，使得引导对象重新可见。在本发明的实施例中，控制单元180能够响应于悬浮姿势的输入和移除来切换引导对象的可见性。
尽管未在图7中示出，但是根据本发明的实施例，当执行步骤715、步骤717和步骤719时，可通过步骤711和步骤713来配置新的引导对象。
尽管未在图7中示出，但是根据本发明的实施例，用户能够在引导对象的帮助下在页面上输入特定数据，并存储特定的输入数据。根据本发明的实施例，数据对象和引导对象可与页面单独地、可选择地、组合地、合成地存储，或者被存储为被映射到链接信息。
在本发明的上述实施例中，已经针对基于用户的悬浮姿势来显示引导对象的情况进行了描述。然而，根据本发明的实施例，可利用可使用各种传感器(例如，红外传感器、照度传感器和/或(与触摸屏的表面朝向相同方向的)相机模块)检测的手势来实现本发明。
根据本发明的实施例，当响应于用户请求而显示页面时，电子装置能够激活至少一个传感器(例如，红外传感器、照度传感器和相机模块中的至少一个)。如果物体进入相应的传感器的感测范围的输入事件(例如，手势)被感测到，则电子装置意识到用户正在为书写或绘画动作进行准备。电子装置显示引导对象(例如，引导线、背景草图或背景图像)以帮助用户进行书写或绘画动作。在本发明的实施例中，如果手势(例如，手进入传感器的感测范围之内的手势)被当前正运行的传感器检测到，则引导对象显现在页面屏幕上。如果手势停止(例如，手势移动到传感器的感测范围之外)，则引导对象在页面屏幕上消失。具体地，在本发明的实施例中，引导对象根据存在/不存在手势的检测而实时地显现或消失。
如上所述，本发明的基于姿势的数据处理方法和设备能够根据用户的姿势(例如，悬浮姿势和手势)来切换引导对象的可见性。
本发明的基于姿势的数据处理方法和设备还能够响应于悬浮姿势在电子装置的应用的可编辑页面上显示引导对象，以帮助用户有效地输入数据。
另外，本发明的基于姿势的数据处理方法和设备能够在可编辑页面被显示在电子装置的屏幕上的状态下响应于悬浮入事件显示引导，将在引导的帮助下输入的数据显示为重叠在引导上，并响应于悬浮出事件隐藏引导，以在不存在引导的情况下仅显示输入数据。本发明的基于姿势的数据处理方法和设备允许用户在响应于某个输入工具(例如，用户的手指或电子笔)的悬浮入动作而显现的引导(例如，被预配置为各种形式的引导对象)的帮助下准确地进行书写、绘画或文档编辑输入。例如，用户可沿着响应于悬浮入事件而显现在页面上的水平线书写文本，在响应于悬浮入事件而显现的背景草图的帮助下进行绘画，或者在响应于悬浮入事件而显现的指示标记的帮助下编辑文档。
本发明的基于姿势的数据处理方法和设备还能够帮助用户将文本书写为沿水平引导线成行，并在引导的帮助下绘画图形，从而提升书写和绘画的识别率。
本发明的基于姿势的数据处理方法和设备还能够响应于由某个输入工具(例如，用户的手指和电子笔)触发的悬浮姿势来提供各种类型的背景草图，使得用户在背景草图的帮助下细致地且准确地绘画图片。背景草图响应于由输入工具触发的悬浮姿势的移除而消失，以便仅显示由用户绘画的图片。因此，在绘画图片的过程中每当需要时，用户能够通过移除悬浮姿势来查看绘画进度。
另外，本发明的基于姿势的数据处理方法和设备在输入工具处于悬浮入状态的情况下能够以图形或图片样板的形式呈现各种绘画工具，以帮助用户进行输入，同时能够利用悬浮出姿势来查看输入结果。
另外，本发明的基于姿势的数据处理方法和设备能够帮助用户在电子装置中所执行的应用的可编辑页面上做出准确且细致的输入，从而提升用户便利性以及装置可用性和竞争力。根据本发明的各种实施例中的任何一个实施例的基于姿势的数据处理方法和设备可应用于能够处理数据(例如，数据输入和显示)的所有类型的电子装置以及便携式终端(诸如智能电话、平板计算机、PDA和数码相机)中的任意一个。
在本发明的各种实施例中，模块可被实现为软件、固件、硬件中的任意一个或组合和/或软件、固件、硬件的任意组合。另外，一些模块或全部模块可被实现为能够同等地执行各个模块的功能的实体。
在本发明的各种实施例中，可顺序地、重复地或并行地执行多个操作。另外，一些操作可被省略或被其它操作替代。
本发明的上述实施例可以以计算机可执行程序命令的形式实现，并被存储在计算机可读存储介质中。计算机可读存储介质可以以单独形式或组合形式存储程序命令、数据文件和数据结构。记录在存储介质上的程序命令可针对本发明的各种示例性实施例而设计并实现，或由计算机软件领域中的技术人员使用。
计算机可读存储介质包括：磁介质(诸如软盘和磁带)、光介质(包括致密盘(CD)ROM和数字视频盘(DVD)ROM)、磁光介质(诸如光磁盘)和被设计为存储并执行程序命令的硬件装置(诸如ROM、RAM和闪存)。程序命令包括：可由计算机使用解译器执行的语言代码，以及由编译器创建的机器语音代码。可利用用于执行本发明的各种示例性实施例的操作的一个或更多个软件模块来实现前述硬件装置。
虽然已经参照本发明的某些实施例示出并描述了本发明，但是本领域技术人员将理解的是，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可在形式和细节上做出各种改变。

Claims (21)

1.一种用于在电子装置中进行数据处理的方法，所述方法包括下列步骤：
检测用户姿势；
响应于用户姿势在电子装置的屏幕上显示引导对象；
接收由用户输入的数据；
当接收到数据时，在屏幕上显示由用户输入的数据以及引导对象，
其中，显示引导对象的步骤包括：
确定显示在屏幕上的页面是否具有至少一个指定的引导对象，
当页面具有至少一个指定的引导对象时，确定页面是否具有单个指定的引导对象，
当页面具有多于一个指定的引导对象时，响应于用户请求来选择多个指定的引导对象中的一个引导对象，并显示所述多个指定的引导对象中的所选择的一个引导对象。
2.如权利要求1所述的方法，还包括：
当数据和引导对象被显示在屏幕上时，检测用户姿势的移除；
响应于检测到用户姿势的移除来移除引导对象，使得只有数据被显示在屏幕上。
3.如权利要求2所述的方法，其中，检测用户姿势的步骤包括：检测输入工具在屏幕上方预定距离之内的放置，其中，屏幕包括触摸屏。
4.如权利要求3所述的方法，其中，当输入工具被提高到距屏幕所述预定距离之外时，检测到用户姿势的移除。
5.如权利要求1所述的方法，其中，显示引导对象的步骤还包括：
当页面具有单个指定的引导对象时，显示所述引导对象。
6.如权利要求1所述的方法，其中，显示引导对象的步骤还包括：当页面不具有至少一个指定的引导对象时，指定引导对象。
7.如权利要求1所述的方法，其中，指定引导对象的步骤包括：从电子装置的内部和外部中的至少一个获得至少一个引导对象。
8.如权利要求1所述的方法，其中，检测用户姿势的步骤包括：确定引导显示模式是否开启。
9.如权利要求8所述的方法，其中，检测用户姿势的步骤包括：当引导显示模式开启时，确定将显示引导对象。
10.如权利要求8所述的方法，其中，检测用户姿势的步骤包括：当引导显示模式关闭时，执行映射到用户姿势的预定功能。
11.如权利要求1所述的方法，其中，引导对象包括：帮助输入数据的至少一个视觉对象，所述至少一个视觉对象包括图形、符号、字母、图片、模板和视觉效果中的至少一个。
12.如权利要求2所述的方法，还包括：当在只有数据被显示的同时检测到用户姿势时，显示引导对象以及数据。
13.如权利要求1所述的方法，还包括存储数据。
14.如权利要求1所述的方法，还包括将显示在屏幕上的页面与数据组合地存储。
15.如权利要求13所述的方法，其中，存储数据的步骤包括：
将数据与关于引导对象的链接信息进行映射；
存储数据以及数据和链接信息的映射信息。
16.如权利要求13所述的方法，其中，存储数据的步骤包括：
将数据与引导对象进行组合；
存储经组合的数据和引导对象。
17.如权利要求1所述的方法，其中，用户姿势包括能够由电子装置的各种传感器检测到的手势。
18.一种数据处理设备，包括：
控制单元，被配置为检测用户姿势，并接收由用户输入的数据；
屏幕，被配置为响应于用户姿势来显示引导对象，并在数据被接收到时显示由用户输入的数据以及引导对象，
其中，显示引导对象的步骤包括：
确定显示在屏幕上的页面是否具有至少一个指定的引导对象，
当页面具有至少一个指定的引导对象时，确定页面是否具有单个指定的引导对象，
当页面具有多于一个指定的引导对象时，响应于用户请求来选择多个指定的引导对象中的一个引导对象，并显示所述多个指定的引导对象中的所选择的一个引导对象。
19.如权利要求18所述的数据处理设备，其中，控制单元包括：
页面管理器，被配置为显示用于接收用户输入的页面；
引导管理器，被配置为响应于用户手势，在将引导对象显示在页面上与在页面上隐藏引导对象之间进行切换；
对象管理器，被配置为响应于用户输入在具有引导对象或没有引导对象的情况下显示数据。
20.如权利要求18所述的数据处理设备，其中，控制单元控制屏幕的页面以响应于检测到用户姿势来显示引导对象，并响应于用户姿势的移除从屏幕的页面移除引导对象。
21.如权利要求20所述的数据处理设备，其中，控制单元控制屏幕的页面以在用户姿势被保持的同时显示数据以及引导对象，并控制屏幕的页面以在用户姿势没有被保持时显示数据而不显示引导对象。
CN201410239426.2A 2013-05-31 2014-05-30 用于基于姿势的数据处理的方法和设备 Expired - Fee Related CN104216513B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0062699 2013-05-31
KR1020130062699A KR102091000B1 (ko) 2013-05-31 2013-05-31 사용자 제스처를 이용한 데이터 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104216513A CN104216513A (zh) 2014-12-17
CN104216513B true CN104216513B (zh) 2018-11-30

Family

ID=50979524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410239426.2A Expired - Fee Related CN104216513B (zh) 2013-05-31 2014-05-30 用于基于姿势的数据处理的方法和设备

Country Status (4)

Country Link
US (1) US20140359410A1 (zh)
EP (1) EP2808777B1 (zh)
KR (1) KR102091000B1 (zh)
CN (1) CN104216513B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157078B1 (ko) 2013-06-27 2020-09-17 삼성전자 주식회사 휴대 단말기에서 전자문서 작성 방법 및 장치
CN105094329B (zh) * 2015-07-23 2019-06-21 大信沃思财务顾问（武汉）股份有限公司 数据录入方法、装置及应用其的电子设备
US20170220131A1 (en) * 2016-02-03 2017-08-03 Mediatek Inc. Method for controlling operations of an electronic device through ambient light detection, and associated apparatus
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
KR102392751B1 (ko) * 2017-03-07 2022-04-29 삼성전자 주식회사 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
CN115379105B (zh) * 2021-05-20 2024-02-27 北京字跳网络技术有限公司 视频拍摄方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
EP1363183A2 (en) * 2002-05-14 2003-11-19 Microsoft Corporation Write anywhere tool
EP1376448A2 (en) * 2002-06-28 2004-01-02 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
EP1376390A2 (en) * 2002-06-28 2004-01-02 Microsoft Corporation Writing guide for a free-form document editor
CN101547253A (zh) * 2008-03-25 2009-09-30 Lg电子株式会社 移动终端及显示其中信息的方法
EP2309371A2 (en) * 2009-10-07 2011-04-13 Research in Motion Limited Touch-sensitive display and method of control

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2648558B2 (ja) * 1993-06-29 1997-09-03 インターナショナル・ビジネス・マシーンズ・コーポレイション 情報選択装置及び情報選択方法
US5397865A (en) * 1993-11-15 1995-03-14 Park; Noel S. Digitizing tablet with display and plot capability, and methods of training a user
JP2003005912A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
US7120872B2 (en) * 2002-03-25 2006-10-10 Microsoft Corporation Organizing, editing, and rendering digital ink
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
KR100934514B1 (ko) * 2008-05-07 2009-12-29 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스제어방법
US8196042B2 (en) * 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
KR101565768B1 (ko) * 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US8487889B2 (en) * 2010-01-15 2013-07-16 Apple Inc. Virtual drafting tools
US8896621B1 (en) * 2010-06-02 2014-11-25 Pinger, Inc. User-manipulable stencils for drawing application
EP2541383B1 (en) * 2011-06-29 2021-09-22 Sony Group Corporation Communication device and method
US20130285929A1 (en) * 2012-04-30 2013-10-31 Wolfgang Michael Theimer Method and Apparatus Pertaining to Stylus-Based Responses
US8935638B2 (en) * 2012-10-11 2015-01-13 Google Inc. Non-textual user input

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
EP1363183A2 (en) * 2002-05-14 2003-11-19 Microsoft Corporation Write anywhere tool
CN1458564A (zh) * 2002-05-14 2003-11-26 微软公司 随处写工具
EP1376448A2 (en) * 2002-06-28 2004-01-02 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
EP1376390A2 (en) * 2002-06-28 2004-01-02 Microsoft Corporation Writing guide for a free-form document editor
CN101547253A (zh) * 2008-03-25 2009-09-30 Lg电子株式会社 移动终端及显示其中信息的方法
EP2309371A2 (en) * 2009-10-07 2011-04-13 Research in Motion Limited Touch-sensitive display and method of control

Also Published As

Publication number Publication date
KR20140141211A (ko) 2014-12-10
EP2808777B1 (en) 2019-05-01
US20140359410A1 (en) 2014-12-04
EP2808777A3 (en) 2015-04-22
KR102091000B1 (ko) 2020-04-14
CN104216513A (zh) 2014-12-17
EP2808777A2 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
US10841265B2 (en) Apparatus and method for providing information
US10452333B2 (en) User terminal device providing user interaction and method therefor
CN103677711B (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
CN104216513B (zh) 用于基于姿势的数据处理的方法和设备
KR102255143B1 (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
EP2720126B1 (en) Method and apparatus for generating task recommendation icon in a mobile device
CN110476189B (zh) 用于在电子装置中提供增强现实功能的方法和设备
KR102264444B1 (ko) 전자 장치에서 기능 실행 방법 및 장치
US10299110B2 (en) Information transmission method and system, device, and computer readable recording medium thereof
KR102003255B1 (ko) 다중 입력 처리 방법 및 장치
US20150012830A1 (en) Method and apparatus for interworking applications in user device
US20150067590A1 (en) Method and apparatus for sharing objects in electronic device
CN109766160A (zh) 基于情境提供信息的方法和系统
KR20150098424A (ko) 전자 장치의 입력 처리 방법 및 장치
KR101559091B1 (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
WO2017128986A1 (zh) 多媒体菜单项的选择方法、装置及存储介质
US20150067612A1 (en) Method and apparatus for operating input function in electronic device
CN110531905A (zh) 一种图标控制方法及终端
WO2022228043A1 (zh) 显示方法、电子设备、存储介质和程序产品
KR20120016544A (ko) 증강현실정보의 표시 방법 및 이를 이용하는 이동 단말기
KR20150008958A (ko) 휴대 단말기에서 전자문서 작성 방법 및 장치
KR20150083266A (ko) 휴대장치 및 그 컨텐츠 공유 방법
KR20200075800A (ko) 라이브 박스를 관리하는 방법 및 장치
KR20170009688A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181130

CF01 Termination of patent right due to non-payment of annual fee