CN104049737A - 用户设备的对象控制方法和装置 - Google Patents

用户设备的对象控制方法和装置 Download PDF

Info

Publication number
CN104049737A
CN104049737A CN201410095171.7A CN201410095171A CN104049737A CN 104049737 A CN104049737 A CN 104049737A CN 201410095171 A CN201410095171 A CN 201410095171A CN 104049737 A CN104049737 A CN 104049737A
Authority
CN
China
Prior art keywords
terminal
gesture
hand
suspension
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410095171.7A
Other languages
English (en)
Other versions
CN104049737B (zh
Inventor
全轸泳
姜志营
金大成
金镇龙
李宝赢
林承卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104049737A publication Critical patent/CN104049737A/zh
Application granted granted Critical
Publication of CN104049737B publication Critical patent/CN104049737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供使用悬浮手势的用户设备的对象控制方法和装置。该对象控制方法包括：在显示屏幕上显示至少一个对象；检测用于选择显示屏上的对象的多手指悬浮手势；在检测到多手指悬浮手势时激活照相机；识别在通过照相机输入的图像中的手；以及当手消失在照相机的可视角度外时进入用于发送选择的对象的文件传递待命状态。

Description

用户设备的对象控制方法和装置
技术领域
本发明一般涉及用户设备的对象控制方法和装置，并且更具体地，涉及使用悬浮手势的用户设备的对象控制方法和装置。
背景技术
随着诸如智能手机、平板个人计算机（PC）和笔记本计算机的移动设备的广泛使用，正在不断开发启用触摸屏的用户设备。启用触摸屏的设备允许用户通过显示器控制各个功能和利用诸如通过触摸手势、语音和运动的各种交互来输入信息。
因为移动设备的功能变得复杂，各种用户交互需要执行一定的功能。通常，通过在用户设备的屏幕上提供的用户界面（UI），用户需要根据设备的设计原理进行一系列动作以执行特定的功能。例如，为了传递某些内容到另一个设备，有必要连续地做出用于在各设备之间建立连接的输入、用于选择内容的输入、用于进入传递菜单的输入、以及用于请求传递的输入。这样的用户动作缺乏直观性，因此该设备功能是很难操作的，特别是对那些不熟悉设备的人。因此，正在进行许多研究，以便于用户通过直观的手势来操作用户设备。
发明内容
本发明被实现用于解决至少上述的问题和不足并且提供至少以下所述的优点。
因此，本发明的一方面提供一种能够利用直观的手势操作用户设备的功能的该用户设备的对象控制方法和装置。
本发明的另外一方面提供一种能够利用直观的手势执行用户设备的某些功能（诸如文件传递和文件删除功能）的该用户设备的对象控制方法和装置。
依据本公开的一方面，提供一种终端的对象控制方法。该方法包括：在显示屏幕上显示至少一个对象；检测用于选择显示屏上的对象的多手指悬浮手势；在检测到多手指悬浮手势时激活照相机；识别在通过照相机输入的图像中的手；以及当手消失在照相机的可视角度外时进入用于发送选择的对象的文件传递待命状态。
依据本公开的另一方面，提供一种终端。该终端包括：无线通信单元，其发送和接收无线信号；显示单元，其显示至少一个对象；感测单元，其感测对该对象的用户手势；照相机单元，其拍摄用户手势的图像；以及控制单元，其控制该感测单元以检测用于选择显示屏上的对象的多手指悬浮手势，在检测到多手指悬浮手势时激活照相机单元，识别在通过照相机单元输入的图像中的手，以及当手消失在照相机单元的可视角度外时控制该终端进入用于发送选择的对象的文件传递待命状态。
附图说明
通过结合附图的以下详细描述，本发明的以上和其他方面、特征和优点将更明了，其中：
图1是说明根据本发明的实施例的移动终端的配置的框图。
图2是说明根据本发明的实施例的终端的对象控制方法的流程图。
图3说明用于在根据本发明的实施例的对象控制方法中传递对象的用户交互。
图4说明用于在根据本发明的实施例的对象控制方法中删除对象的用户交互。
图5说明在根据本发明的实施例的对象控制方法中对应于抓取手势的视觉反馈效果。
图6是说明根据本发明的实施例的对象控制方法的文件传递过程的信号流程图。
图7说明在根据本发明的实施例的对象控制方法中的对象传递过程。
图8说明在根据本发明的实施例的对象控制方法中接收文件的视觉反馈；以及
图9说明在根据本发明的实施例的对象控制方法中的运动图像文件传递过程。
具体实施方式
参考附图来详细地描述本发明的各实施例。该说明书和所附权利要求书中使用的术语和单词不按照通常或词典的含义来解释，而是应按照遵循本发明的技术概念的含义和概念来解释。因此，应该理解会存在各种等价物和修改的示例，其能够替换在提交本申请时的本说明书和附图中所示配置中描述的实施例。在附图中，为使本发明清楚，某些组件可以被增大或省略或示意描述，并且不反映该组件的实际大小。因此，本发明不局限于组件以及之间的距离的相对大小。
在以下描述中，用户设备能够检测用户的输入手势，如触摸和悬浮，这是基于在触摸屏和触摸输入工具之间的距离确定的。用户设备也能够检测具有一个输入系数（factor）的单个输入和具有至少两个输入系数的多个输入。
在下面的描述中，术语“悬浮（hovering）”表示在距触摸屏预定距离范围内利用触摸输入工具做出的输入手势。例如，可以在其中用户设备能够识别触摸输入工具以产生输入信号的范围中利用触摸输入工具做出悬浮手势。
在下面的描述中，术语“手势”表示用于做出输入的用户动作，并且该手势可以被分类成多悬浮手势和手的手势中的一个。这里，多悬浮手势表示用户动作被识别为悬浮，并传递到触摸屏并且可以对应于基于悬浮的手指手势。手的手势表示通过照相机识别为图像输入的手的动作，并可以对应于照相机辅助的手势。
本发明的对象控制方法和装置可以应用到移动终端。移动终端可以是如下的任何一个：移动电话机、智能电话机、平板PC、手持PC、便携式多媒体播放器（PMP）、个人数字助理（PDA）等。在下文中，描述针对于应用到移动终端的本发明的对象控制方法和装置。
图1是说明根据本发明的实施例的移动终端的配置的框图。
参照图1，根据本发明的实施例的终端100包括显示单元110、输入单元120、无线通信单元130、音频处理单元140、照相机单元150、感测单元160、全球定位系统（GPS）接收单元170、存储单元180和控制单元190。
显示单元110显示与终端100的各个功能相关联的各种屏幕。显示单元110在控制单元190的控制下将从控制单元190输入的视频数据转换为用于在屏幕上显示的模拟信号。显示单元110可显示与终端的操作关联的各个屏幕，诸如锁屏、主屏幕、应用程序（或app）执行屏幕、菜单屏幕、键盘屏幕、消息编辑屏幕和互联网屏幕。
显示单元110利用根据用户的多悬浮手势的不同的图形处理在屏幕上展示的对象。例如，如果检测到基于多悬浮的抓取手势时，显示单元可以显示具有如下图形效果的屏幕或对象，其中屏幕或对象的尺寸缩小。在这种情况下，图形效果可以根据用户的手和屏幕之间的距离，表示为该对象的显示尺寸的缩小或放大。如果基于多悬浮手势的释放手势被检测到，则图形效果影响要在显示单元110的屏幕上被增大的对象的尺寸。在这种情况下，显示在显示单元110的屏幕上的对象可以是从另一终端接收的对象文件。显示单元110还可以提供根据从其它终端接收到的数据量逐渐增大屏幕的尺寸的图形效果。
显示单元110可以利用液晶显示器（LCD）、有机发光二极管（OLED）、有源矩阵OLED（AMOLED）、柔性显示器和透明显示器中的一个来实现。
显示单元110可以包括用于显示与该终端的操作关联的各种屏幕的显示面板和覆盖所述显示面板的表面以检测触摸手势并产生相应的输入信号的触摸面板。例如，触摸面板被放置在显示面板上。触摸面板可以被实现为嵌入在显示单元110的前表面上的附加类型或嵌入在显示单元110中的on-cell类型或in-cell类型。触摸面板可以是电阻型、电容型和电磁感应型之一。显示单元110可以根据终端100的旋转（或方位）动态地显示应用执行信息和根据方位的变化支持在横向模式和纵向模式之间的切换。
输入单元120响应于用户输入生成各种输入信号。输入单元110可以接收数字或字母信息的输入，并包括多个字母数字键和功能键，如侧键（sidekey）、快捷键和起始键（home key）。输入单元120可以向控制单元190生成与用户设置和功能控制关联的键信号。当触摸面板被实现为全触摸屏时，输入单元120可以作为虚拟触摸板提供。
当包括触摸面板时，显示单元110可作为输入单元120的一部分来工作。在这种情况下，可以通过触摸面板产生用于控制该终端的输入信号。触摸面板可以检测通过触摸输入工具（例如用户的手和触摸笔）作出的触摸手势，并产生相应的输入信号。特别是，在使用电容型触摸面板时，触摸面板可以根据在触摸输入工具和屏幕之间的距离检测电容并且根据该电容值识别用户的手势。在触摸输入工具和屏幕之间的距离可以通过距离测量传感器（例如红外线传感器）来测量。输入单元120可响应于用户的输入手势（如触摸、多触摸、信号悬浮和多悬浮手势）来产生输入信号。
无线通信单元130被提供用于终端的通信功能。无线通信单元130与移动通信网络建立通信信道以用于进行诸如语音通信、视频会议和数据通信的通信。无线通信单元130可以包括射频（RF）接收器，用于低噪声放大和下变换所接收的信号。无线通信单元130可以包括蜂窝通信模块（例如，第三代蜂窝通信模块、第3.5代蜂窝通信模块、和第四代蜂窝式通信模块）、数字广播模块（例如DMB模块）和短距离通信模块。这里，短距离通信模块可以包括如下的至少一个：Wi-Fi模块、蓝牙模块、和Wi-Fi直连模块。短距离通信模块可以与另一终端建立通信信道以在控制单元190的控制下交换特定的文件或数据。
终端100可支持接入点（AP）模式。在AP模式下，终端100可以与附着到作为AP的终端100的设备交换数据。当终端100连接到某个AP用于与连接到AP的另一终端通信时，可以通过AP来交换文件。
音频处理单元140可包括：扬声器（SPK），用于输出在终端100中产生或解码的音频信号；以及麦克风（MIC），用于接收音频信号，以支持语音通信和视频会议以及记录功能。音频处理单元140对包括语音的音频数据执行数模（DA）转换以产生到扬声器（SPK）的模拟信号，并且对通过麦克风（MIC）输入的包括语音的音频数据执行模数（AD）转换，以产生到控制单元160的数字信号。音频处理单元150可提供有编解码器（编码器/解码器），其可以包括用于处理分组数据的数据编解码器，和音频编解码器，用于处理包括语音的音频信号。音频处理单元150使用该音频编解码器将通过麦克风输入的模拟音频信号转换为数字音频信号，并且将数字音频信号传递到控制单元190。
提供照相机单元150用于拍摄图像。照相机单元150包括：照相机传感器，用于将光转换为电信号；图像信号处理器，用于将照相机传感器获取的模拟视图信号转换为数字信号；以及数字信号处理器（DSP），用于处理由图像信号处理器输出的数字数据（例如，缩放、降噪、RCG信号转换等），以产生适合于触摸屏的视频信号。这里，照相机传感器可以是电荷耦合器件（CCD）和互补金属氧化物半导体（CCD）传感器的任何一个。
照相机单元150可以提供有用于识别用户的手势的传感器功能。照相机单元150可在控制单元190的控制下操作多种功能。例如，当预定的应用在控制单元190的控制下运行时，照相机单元150可将通过透镜输入的图像传递到控制单元190。
感测单元160检测用户输入手势和用户设备100周围的环境变化，并产生将被发送到控制单元190的相应的信息。感测单元160可以包括如下的至少一个：能够检测触摸手势的触摸传感器、用于检测触摸输入工具的靠近的接近传感器、用于测量在触摸输入工具和设备之间的距离的距离测量传感器、用于收集视频图像的图像传感器、用于识别在三维空间中的运动和动作的运动识别传感器、用于检测方位的方位传感器和用于检测运动速度的加速度传感器。
GPS单元170在控制单元190的控制下从GPS卫星接收GPS信号。GPS单元170连接到GPS卫星以接收GPS信号。GPS单元170将收到的GPS信号传递到控制单元190。控制单元190根据GPS信号计算移动终端的当前位置。
GPS单元170可用于建立与另一终端的连接。例如，如果检测到多悬浮手势，则控制单元190可以通过GPS单元170发送用户设备的GPS信息到GPS服务器。如果在预定时间内从GPS服务器接收到另一终端的GPS坐标信息，则控制单元190可从相应的服务器接收文件。
存储单元180存储终端100的操作系统（OS）和各种应用程序（或应用）和在终端100产生的数据。该数据可以包括所有类型的数据，诸如与应用的操作关联的应用数据和从外部（例如，外部服务器，另一移动终端和个人计算机）接收的数据。存储单元180可以存储通过终端提供的用户界面和与终端100的功能相关联的各种设置。
存储单元180可存储用于识别由用户做出的手势的手势识别程序。手势识别程序识别基于悬浮的多悬浮手势和照相机辅助手势。手势识别程序能够从通过照相机单元150输入的图像中提取手的区域并且识别手的形状。如果用户的手在形状上改变及其在图像中的动作改变，则手势识别程序辨别该动作和匹配该动作的手势。
存储单元180可存储关于能够由手做出的不同手势的信息，诸如手指的排列、手指的位置、手的行为和手的形状。存储单元180还可存储对应于用户的手势的预定的命令。对应于用户的手势的命令可以在制造期间设置以及由用户重置。
控制单元190控制终端的整个操作和终端的内部组件之间的信号流并处理数据。控制单元190控制从电池对内部组件的供电。如果终端开启，则控制单元190控制终端的引导过程并且根据用户的配置执行终端的应用程序。
控制单元190从触摸屏接收输入信号并且基于所述输入信号辨别用户的手势。控制单元190检测触摸输入的接近并且计算在触摸输入工具和触摸屏之间的距离。这里，触摸输入工具可以是触摸笔或用户的手，并且在以下描述中，假定触摸输入工具是用户的手。
如果在触摸输入工具和触摸屏之间的距离处于预定的范围内，则控制单元190检测到悬浮手势。控制单元190可区别单悬浮手势和多悬浮手势。单悬浮手势具有由触摸输入工具做出的单个悬浮因素。多悬浮手势具有通过触摸输入做出的至少两个悬浮因素。
控制单元190基于多悬浮区域的位置信息计算悬浮区域的变化，并且基于悬浮区域的改变确定用户的多悬浮手势。这里，位置信息可以包括悬浮区域的坐标。例如，控制单元190可以计算多悬浮手势的初始悬浮区域的中心点，如果在中心点之间的距离减小，则确定做出基于悬浮的抓取手势。否则，如果在中心点之间的距离增加，则控制单元190确定做出了基于悬浮的释放手势。控制单元190还可通过使用手势识别程序从通过照相机单元150输入的图像中提取手的区域并且基于手的区域计算手的形状。如果手的形状改变，则控制单元190可以执行图案匹配过程来确定照相机辅助手势。
如果检测到用户的手势，例如多悬浮手势或手的手势，则控制单元190执行对应于手势的功能或匹配该手势的预定的命令以及在显示单元110上显示执行屏幕。
图2是说明根据本发明的实施例的终端的对象控制方法的流程图。
参照图2，在步骤210，终端100根据用户输入或预定的时间表在显示单元的屏幕上显示至少一个对象。这里，对象表示在屏幕上展示来表示由终端提供的数字化信息的对象。该对象可以是在显示单元110的屏幕上展示的任何图标和缩略图图像。对象表示数据文件，例如文本文件、语音文件、视频文件、图像文件和URL信息文件。
在这种情况下，终端100可以操作于悬浮识别模式。当运行支持悬浮识别功能的某些应用或执行悬浮功能时，可以激活该悬浮识别模式。悬浮识别功能能够识别当按照全屏模式显示某些内容时做出的悬浮手势，或由用户选择的多个对象，但并不限于此。
在步骤220中，终端100检测在预定距离范围内的多悬浮手势。例如，终端100根据人体的一部分（例如用户的手）的靠近测量电容变化。终端100可以检测在两个或以上的区域的电容变化。终端100基于电容变化计算在用户的手和屏幕之间的距离。如果在用户的手和屏幕之间的距离减小到预定的范围（例如，3cm），则终端100确定悬浮手势的发生。如果检测到悬浮手势，则终端100可检查悬浮手势的位置。
如果在至少两个区域中检测到悬浮手势，则终端100确定该悬浮手势是多悬浮手势。也即，如果在对应位置的预定距离范围中检测到多个输入工具（如多个手指），则终端100可以识别在两个或以上的区域中检测的悬浮因素为有效数据。
在步骤230，终端100确定在预定时间中做出的多悬浮手势是否为抓取手势。终端100基于各个初始悬浮区域确定悬浮方向、距离、以及用户手势的速度。
详细地，终端100使用多悬浮的距离和移动方向计算位置矢量，并且基于计算的位置矢量确定是否出现了抓取手势。终端100确定悬浮区域的中心点，并且如果在中心点之间的距离减小，则确定已经做出该抓取手势。控制单元190还可确定包括两个或以上的悬浮区域的轮廓，并且如果轮廓区域的尺寸减小，则确定已经做出该抓取手势。
如果检测到基于悬浮的抓取手势，则在步骤240中终端100确定在屏幕上显示的对象为用于执行特定功能的选择的对象。虽然终端100可以确定在显示单元110上显示的一个对象，但是可以维持由用户输入已经选择的对象的被选择状态。
终端100可输出关于通过抓取手势选择的对象的视觉反馈效果。例如，终端100可提供对应于抓取手势的视觉效果，就好像用户抓取和提升物理对象一样。
如果该对象被选择，则在步骤250中终端100激活照相机单元150。在这里，照相机单元150可以是安装在终端100的前侧的前置照相机。照相机150作为用于识别用户的手的传感器工作，并且在后台运行。
在步骤260中，终端100识别通过在照相机单元150输入的图像中的用户的手。例如，终端100基于在通过照相机单元150输入的图像中的颜色信息来检查背景以分离手的区域。终端100从手的区域中提取的手的特征点并且计算手的轮廓。该终端可以使用手的轮廓识别手的形状和动作。终端100基于手的形状和动作执行图案匹配以检测手的手势。
在步骤270中，终端100确定用户的手是否已经消失在照相机单元150的可视角度外。如果基于颜色信息可以从图像中分离手的区域，则终端100确定用户的手已经从照相机单元150的可视角度中消失。
如果确定用户的手已经从照相机单元150的可视角度中消失，则在步骤275中，终端100控制选择的对象进入文件传递待命状态。终端100与另一终端建立通信信道以发送传递待命信号，以及如果已经建立通信信道，则在其上发送传递待命信号。参考图6做出关于文件传递待命状态的具体描述。
在步骤290，终端100确定是否从第二终端接收到传递请求信号。传递请求信号可以是由第二终端发送的响应信号。如果接收到传递请求信号，则在步骤295中终端100向已经发送传递请求信号的第二终端传递由所选择的对象表示的文件或数据。
如果确定用户的手没有从照相机单元150的可视角度中消失，则在步骤280中终端100可以检测照相机辅助手势。例如，当已经在照相机单元150的可视角度中选择一特定的对象时用户可以做出手势的绘制。终端100可从通过照相机单元150输入的图像中检查用户的手的轮廓，并通过图案匹配算法确定由用户的手做出的绘图动作。
如果检测到手的手势，则在步骤285中终端100执行与选择的对象关联的手的手势对应的功能。例如，如果对象删除命令被定义为与绘图动作关联，则终端100响应于该绘图手势执行对象删除命令。
图3说明用于在根据本发明的实施例的对象控制方法中传递对象的用户交互。
参考图3，显示单元110可以根据用户的请求或预定的时间表在屏幕上显示至少一个对象。显示单元110可以按照全屏模式显示某个对象或在屏幕上显示多个对象。
例如，用户可以执行由终端提供的相册功能。该终端可以如图3（a）中所示按照全屏模式显示某一图像310。该终端还可以显示图像的列表，并在屏幕上展示从列表中选择的图像。
用户可以让手320靠近屏幕来做出手势，用于对屏幕上显示的特定图像执行功能。这里，终端100可以配置在屏幕和触摸输入工具之间的预定距离以区别悬浮和触摸手势。该预定距离可以是用于检测触摸输入工具的位置的阈值。
如果用户的手320靠近屏幕的预定距离范围，终端100可以检测对应于手指的两个或以上的悬浮区域330。如图3（a）所示，终端100可检测手指靠近并且提取四个悬浮区域330。在这种情况下，尽管五个手指靠近屏幕的预定距离范围，但是由于手指的不同长度，终端可能无法检测到所有的五个手指。
用户可以做出好像抓取某个物理对象的手势。然后，终端100检查悬浮区域对中心点的移动，并检测基于悬浮的抓取手势。终端响应于该抓取手势选择显示在屏幕上的对象，即该图像。
终端激活照相机单元150以拍摄图像，如图3（b）所示。终端100通过照相机单元150获取图像输入，从图像中分离手区域，并识别手的形状和轮廓。终端可依靠是否从通过照相机单元150输入的图像中提取手的区域来确定用户的手从照相机150的可视角度中消失。
如图3（c）所示，用户可以将手320移出照相机单元150的可视角度。然后，控制单元确定用户的手320消失在照相机单元150的可视角度之外，并进入准备传递选择的图像的文件传递待命状态。在这种情况下，终端可以具有与第二终端已经建立的通信信道。在文件传递待命状态中，该终端可以向第二终端发送文件传递待命信号。
图4说明用于在根据本发明的实施例的对象控制方法中删除对象的用户交互。
参照图4，用户可以执行由终端提供的相册功能，并在全屏模式中显示某一图像410。如果检测到用于选择图像410的多悬浮手势，例如抓取手势，则终端激活照相机单元150。
用户可以在照相机150的可视角度内用手420做出手势，例如，如图4（a）所示的投掷手势。该终端从通过照相机单元150输入的图像中分离手的区域并且识别手的运动和形状。
如果通过图案匹配过程确定用户的手的运动是投掷运动，则终端可以删除利用抓取手势选择的图像，如图4（b）所示。
图5说明在根据本发明的实施例的对象控制方法中对应于抓取手势的视觉反馈效果。
参照图5，用户可以利用他/她的手指在终端上做出好像抓取物理对象的手势以选择某个内容。然后该终端检测该用户的手势为基于悬浮的抓取手势，并选择在显示单元的屏幕上显示的内容510。
终端可以向用户提供对应于对象的选择的视觉反馈。该终端可以减少所显示的内容510的尺寸。如果在用户的手520和屏幕之间的距离改变，则终端可以根据距离的改变增加或减少经图解处理的内容510的尺寸。例如，终端可以提供视觉反馈效果，好像用户在触摸屏上抓取并提升物理对象。因此，用户可能会经历这样的视觉效果，好像在现实世界中如物理对象一样抓取并提升该内容。
如果用户在上述状态下移动该手，则终端在用户的手520的移动方向中移动经图解处理的内容510，如图5（b）所示。
图6是说明根据本发明的实施例的对象控制方法的文件传递过程的信号流程图。
参考图6，分别从发送器终端A和接收器终端B的视角观点描述文件传递过程。终端可以操作为发送器终端A和接收器终端B两者。假设发送器终端A和接收器终端B通过通信信道（例如配对信道，Wi-Fi直连信道和蓝牙信道）连接。
如果在发送器终端A选择特定内容，然后用户的手消失在照相机的可视角度之外，则在步骤610中发送器终端A进入用于传递选择的内容的文件传递待命状态。发送器终端A确定是否存在与之已经建立通信信道的任何终端，并且如果有的话，则在步骤620中发送器终端A向接收器终端B发送文件传递待命信号。接收器终端B可以在接收文件传递待命信号时在显示单元上输出文件传递待命告警信息（例如传递待命消息），但不限于此。
接收器终端B然后从发送器终端A接收文件传递待命请求信号，在步骤630中检测多悬浮，并在步骤640中基于该多悬浮的运动确定释放手势。详细地，如果两个悬浮区域的距离增大，则接收器终端B确定已经做出该释放手势。接收器终端B也可确定包括两个或以上的悬浮区域的外部线路，并且如果悬浮区域移出该外部线路，则确定已经做出该释放手势。
如果检测到释放手势，则在步骤650中接收器终端B响应于该文件传递待命信号向发送器终端A发送响应信号。在接收响应信号时，在步骤660中发送器终端A开始向接收器终端B发送所选择的对象文件。在步骤670中接收器终端B可以接收由发送器终端A发送的对象信息。
图7说明在根据本发明的实施例的对象控制方法中的对象传递过程。
参考图7，当已经在发送器终端A和接收器终端B之间建立通信信道时，用户可以通过如图3所示的在悬浮状态中做出抓取的手势来获得用于文件传递的交互，然后将手移出发送器终端A的照相机的可视角度。
然后发送器终端A选择在显示单元上显示的图像710作为要传递的对象，并进入文件传递待命模式。此时，发送器终端A向第二终端（即，接收器终端B）发送文件传递待命信号来通知要发送的内容的存在。在这种情况下，接收器终端B基于该文件传递待命信号知晓要接收的内容的存在。
用户可以无需触摸地做出仿佛从在接收器终端B的预定范围内的距离中释放对象的手势。接收器终端B检测手指的靠近，并检测两个或以上的悬浮区域，并且如果悬浮区域移动远离彼此，则确定已经做出该释放手势。
如果检测到释放手势，则接收器设备B向发送器终端A发送响应信号以响应文件传递待命信号。然后发送器终端A向接收器终端B发送选择的图像。接收器终端B可以在接收图像730之后显示图像730，如图7（b）所示。
在终端之间的文件传递可以通过蓝牙通信、Wi-Fi直接通信、GPS单元和服务器通信、以及基于AP的通信中的一个来执行。
图8说明在根据本发明的实施例的对象控制方法中接收文件的视觉反馈。
参照图8，终端可以通过通信信道从另一终端接收与特定内容对应的文件或数据。如果接收到该文件或数据，则该终端提供表达该对象传递状态的视觉反馈效果。例如，终端可以根据对象的接收数据在屏幕上示出其中所接收的对象的尺寸增加的图形效果。用户可根据在显示单元的屏幕上显示的对象的尺寸检查文件传递的进度或完成。
图9说明在根据本发明的实施例的对象控制方法中的运动图像文件传递过程。
参照图9，假设发送器终端A正在播放运动图像。如果在运动图像播放模式中检测到基于悬浮的抓取手势，则发送器终端A进入运动图像传递待命状态，并向接收器终端B发送传递待命信号。
此后，如果在接收器终端B中检测到基于悬浮的释放手势，则接收器终端B发送响应信号到发送器终端A，以响应于该传递待命信号。在接收到响应信号时，发送器终端A向接收器终端B发送当前正在播放的运动图像。发送器终端A可以发送播放信息以及所述运动图像内容。
例如，当发送器终端A向接收器终端B发送当前播放的运动图像内容时，接收器终端B可以从在发送器终端A中暂停播放的时间处播放该运动图像。
根据本发明的终端的对象控制方法及装置能够允许用户直观地操作显示在屏幕上的内容。本发明的对象控制方法和装置能够允许用户通过在真实世界中使用的相同手势向另一终端传递内容或删除内容。本发明的对象控制方法和装置能够提供用于执行终端的特定功能而不使用分层菜单结构的迅速执行命令的用户体验（UX）。
虽然已经使用特定的术语描述了本发明的终端的对象控制方法和装置，但是说明书和附图将看作是说明性的而非限制的用意，以便帮助本发明的理解。对本领域技术人员显然的是：在不背离本发明的精神和范围的情况下，可以对其做出各种修改和改变。

Claims (25)

1.一种终端的对象控制方法，该方法包括：
在显示屏幕上显示至少一个对象；
检测用于选择显示屏上的对象的多手指悬浮手势；
在检测到多手指悬浮手势时激活照相机；
识别在通过照相机输入的图像中的手；以及
当手消失在照相机的可视角度外时进入用于发送选择的对象的文件传递待命状态。
2.根据权利要求1所述的方法，还包括：当手在照相机的可视角度内做出运动时，根据该运动执行与选择的对象关联的预定功能。
3.根据权利要求1所述的方法，其中检测多手指悬浮手势包括：
检测在显示屏上的至少两个悬浮区域；以及
当在两个悬浮区域之间的距离减少时确定做出了多手指悬浮手势。
4.根据权利要求1所述的方法，其中选择的对象改变了尺寸。
5.根据权利要求4所述的方法，其中根据在显示屏和手之间的距离，所选择的对象减少或增加尺寸。
6.根据权利要求1所述的方法，其中显示至少一个对象包括按照全屏模式显示选择的对象或显示根据用户输入选择的多个对象。
7.根据权利要求1所述的方法，还包括：
识别用户的手；
获得通过照相机输入的手的图像；
基于图像的颜色信息从背景区域中分离手的区域；
从手的区域中识别手的轮廓；以及
通过对手的轮廓执行图案匹配来识别手的运动和形状。
8.根据权利要求1所述的方法，其中进入文件传递待命状态包括将终端的操作模式转换为传递待命模式。
9.根据权利要求8所述的方法，其中进入文件传递待命状态包括：
确定是否连接第二终端；
当连接第二终端时，发送传递待命信号；以及
当未连接第二终端时，与第二终端建立通信信道以发送传递待命信号。
10.根据权利要求9所述的方法，还包括：
在发送传递待命信号之后从第二终端接收响应信号；以及
在接收到响应信号时向第二终端发送选择的对象。
11.根据权利要求1所述的方法，还包括：
当响应于文件传递请求与第二终端连接时检测多悬浮手势；
响应于该多悬浮手势向第二终端发送响应信号；
接收由第二终端发送的对象；以及
在显示屏上显示接收的对象。
12.根据权利要求11所述的方法，其中检测多悬浮手势包括：
检测在显示屏上的至少两个悬浮区域；以及
当在至少两个悬浮区域之间的距离增加时确定做出了响应于文件传递请求的多手指悬浮手势。
13.根据权利要求11所述的方法，其中显示接收的对象包括显示根据接收的对象数据在尺寸上增大对象的视觉反馈。
14.一种终端，包括：
无线通信单元，配置来发送和接收无线信号；
显示单元，配置来显示至少一个对象；
感测单元，配置来感测对该对象的用户手势；
照相机单元，配置来拍摄用户手势的图像；以及
控制单元，配置来控制该感测单元以检测用于选择显示屏上的对象的多手指悬浮手势，在检测到多手指悬浮手势时激活照相机单元，识别在通过照相机单元输入的图像中的手，以及当手消失在照相机单元的可视角度外时控制该终端进入用于发送选择的对象的文件传递待命状态。
15.根据权利要求14所述的终端，其中当手在照相机单元的可视角度内做出运动时，控制单元控制来根据该运动执行与选择的对象关联的预定功能。
16.根据权利要求14所述的终端，其中感测单元产生关于在显示屏上检测的至少两个悬浮区域的信息并且将该信息发送给控制单元，以及其中当在两个悬浮区域之间的距离减少时控制单元确定做出了多手指悬浮手势。
17.根据权利要求14所述的终端，其中显示单元改变通过多手指悬浮手势选择的选择对象的尺寸。
18.根据权利要求14所述的终端，其中显示单元根据在显示屏和手之间的距离减少或增加该对象的尺寸。
19.根据权利要求14所述的终端，其中显示单元以全屏模式显示选择的对象或显示根据用户输入选择的多个对象。
20.根据权利要求14所述的终端，其中控制单元获得通过照相机单元输入的图像，基于图像的颜色信息从背景区域中分离手的区域，从手的区域中识别手的轮廓，以及通过对手的轮廓执行图案匹配来识别手的运动和形状。
21.根据权利要求14所述的终端，其中控制单元确定是否连接第二终端，当连接第二终端时，发送传递待命信号，以及当未连接第二终端时，与第二终端建立通信信道以发送传递待命信号。
22.根据权利要求21所述的终端，其中控制单元控制在发送传递待命信号之后从第二终端接收响应信号，以及在接收到响应信号时向第二终端发送选择的对象。
23.根据权利要求14所述的终端，其中控制单元控制来：当响应于文件传递请求与第二终端连接时检测多悬浮手势时，响应于该多悬浮手势向第二终端发送响应信号，接收由第二终端发送的对象，以及在显示屏上显示接收的对象。
24.根据权利要求23所述的终端，其中当在显示屏上检测的至少两个悬浮区域之间的距离增加时，控制单元确定做出了响应于文件传递请求的多手指悬浮手势。
25.根据权利要求23所述的终端，其中显示单元显示根据接收到的对象数据增大对象的尺寸的视觉反馈。
CN201410095171.7A 2013-03-14 2014-03-14 用户设备的对象控制方法和装置 Active CN104049737B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130027600A KR102091028B1 (ko) 2013-03-14 2013-03-14 사용자 기기의 오브젝트 운용 방법 및 장치
KR10-2013-0027600 2013-03-14

Publications (2)

Publication Number Publication Date
CN104049737A true CN104049737A (zh) 2014-09-17
CN104049737B CN104049737B (zh) 2019-05-28

Family

ID=50478169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410095171.7A Active CN104049737B (zh) 2013-03-14 2014-03-14 用户设备的对象控制方法和装置

Country Status (10)

Country Link
US (1) US9372617B2 (zh)
EP (1) EP2778853B1 (zh)
JP (1) JP6366309B2 (zh)
KR (1) KR102091028B1 (zh)
CN (1) CN104049737B (zh)
AU (1) AU2014201588B2 (zh)
BR (1) BR102014006152A2 (zh)
CA (1) CA2846531C (zh)
RU (1) RU2662690C2 (zh)
TW (1) TWI633460B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和系统
CN105786388A (zh) * 2016-03-02 2016-07-20 惠州Tcl移动通信有限公司 一种基于近距离感应的应用控制方法、系统及移动终端
CN108563389A (zh) * 2017-03-02 2018-09-21 三星电子株式会社 显示设备及其用户界面显示方法
CN109891378A (zh) * 2016-11-08 2019-06-14 索尼公司 信息处理装置、信息处理方法和程序
CN111052047A (zh) * 2017-09-29 2020-04-21 苹果公司 用于自动手势和手指识别的静脉扫描设备
CN111443802A (zh) * 2020-03-25 2020-07-24 维沃移动通信有限公司 测量方法及电子设备
CN112486363A (zh) * 2020-10-30 2021-03-12 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
CN113220115A (zh) * 2018-08-24 2021-08-06 谷歌有限责任公司 智能电话和在电子设备中实现的方法
WO2022247616A1 (zh) * 2021-05-28 2022-12-01 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器
US12111713B2 (en) 2018-10-22 2024-10-08 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140791B1 (ko) * 2013-10-11 2020-08-03 삼성전자주식회사 터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법
US20150188988A1 (en) * 2013-12-27 2015-07-02 Htc Corporation Electronic devices, and file sharing methods thereof
US11809811B2 (en) * 2014-10-25 2023-11-07 Yieldmo, Inc. Methods for serving interactive content to a user
CN104407797B (zh) * 2014-10-27 2017-11-07 联想(北京)有限公司 一种信息处理方法及电子设备
US9971442B2 (en) * 2014-10-29 2018-05-15 Microchip Technology Germany Gmbh Human interface device and method
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
JP2016130925A (ja) 2015-01-14 2016-07-21 レノボ・シンガポール・プライベート・リミテッド 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
CN105785376A (zh) * 2016-05-11 2016-07-20 滁州学院 一种标枪投掷电子测量仪
US20180032170A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. System and method for estimating location of a touch object in a capacitive touch panel
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
US20190324621A1 (en) * 2018-04-23 2019-10-24 Qualcomm Incorporated System and Methods for Utilizing Multi-Finger Touch Capability to Efficiently Perform Content Editing on a Computing Device
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
JP2020177315A (ja) * 2019-04-16 2020-10-29 アルパイン株式会社 電子装置
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN110515468A (zh) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质
EP4318186A4 (en) * 2021-04-26 2024-05-01 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR INTERACTION BETWEEN MULTIPLE SCREENS AND TERMINAL DEVICE AND VEHICLE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US20100302137A1 (en) * 2009-05-27 2010-12-02 Microsoft Corporation Touch Sensitive Display Apparatus using sensor input
US20110316790A1 (en) * 2010-06-25 2011-12-29 Nokia Corporation Apparatus and method for proximity based input
CN102725723A (zh) * 2010-01-21 2012-10-10 思科技术公司 使用手势来跨多个多点触控设备传送对象

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265689A (ja) * 1992-03-19 1993-10-15 Hitachi Ltd 情報処理装置
JP3480738B2 (ja) * 1992-06-23 2003-12-22 株式会社東芝 情報処理装置における表示方法及び情報処理装置
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US20110088002A1 (en) 2009-10-13 2011-04-14 Carl Johan Freer Method and platform for gestural transfer of digital content for mobile devices
JP5360166B2 (ja) * 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
JP2012133729A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2012173980A (ja) * 2011-02-21 2012-09-10 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
TWI471792B (zh) * 2011-03-30 2015-02-01 Edamak Corp 近接暨觸控面板之多物件偵測方法
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
WO2013097895A1 (en) * 2011-12-28 2013-07-04 Nokia Corporation Provision of an open instance of an application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US20100302137A1 (en) * 2009-05-27 2010-12-02 Microsoft Corporation Touch Sensitive Display Apparatus using sensor input
CN102725723A (zh) * 2010-01-21 2012-10-10 思科技术公司 使用手势来跨多个多点触控设备传送对象
US20110316790A1 (en) * 2010-06-25 2011-12-29 Nokia Corporation Apparatus and method for proximity based input

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和系统
CN105786388A (zh) * 2016-03-02 2016-07-20 惠州Tcl移动通信有限公司 一种基于近距离感应的应用控制方法、系统及移动终端
CN109891378A (zh) * 2016-11-08 2019-06-14 索尼公司 信息处理装置、信息处理方法和程序
CN108563389A (zh) * 2017-03-02 2018-09-21 三星电子株式会社 显示设备及其用户界面显示方法
CN111052047A (zh) * 2017-09-29 2020-04-21 苹果公司 用于自动手势和手指识别的静脉扫描设备
CN111052047B (zh) * 2017-09-29 2022-04-19 苹果公司 用于自动手势和手指识别的静脉扫描设备
CN113220115A (zh) * 2018-08-24 2021-08-06 谷歌有限责任公司 智能电话和在电子设备中实现的方法
CN113220115B (zh) * 2018-08-24 2024-07-16 谷歌有限责任公司 智能电话和在电子设备中实现的方法
US12111713B2 (en) 2018-10-22 2024-10-08 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
CN111443802B (zh) * 2020-03-25 2023-01-17 维沃移动通信有限公司 测量方法及电子设备
CN111443802A (zh) * 2020-03-25 2020-07-24 维沃移动通信有限公司 测量方法及电子设备
CN112486363A (zh) * 2020-10-30 2021-03-12 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
CN112486363B (zh) * 2020-10-30 2023-12-19 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
WO2022089441A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
WO2022247616A1 (zh) * 2021-05-28 2022-12-01 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器

Also Published As

Publication number Publication date
EP2778853A3 (en) 2015-01-21
CN104049737B (zh) 2019-05-28
AU2014201588B2 (en) 2019-03-21
TWI633460B (zh) 2018-08-21
RU2662690C2 (ru) 2018-07-26
KR102091028B1 (ko) 2020-04-14
CA2846531C (en) 2021-11-02
RU2014109966A (ru) 2015-09-20
CA2846531A1 (en) 2014-09-14
JP2014179099A (ja) 2014-09-25
EP2778853A2 (en) 2014-09-17
US20140282070A1 (en) 2014-09-18
EP2778853B1 (en) 2017-12-27
BR102014006152A2 (pt) 2016-02-23
TW201447646A (zh) 2014-12-16
KR20140112920A (ko) 2014-09-24
US9372617B2 (en) 2016-06-21
AU2014201588A1 (en) 2014-10-02
JP6366309B2 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
CN104049737A (zh) 用户设备的对象控制方法和装置
CN111061574B (zh) 一种对象分享方法及电子设备
US9965033B2 (en) User input method and portable device
KR102160767B1 (ko) 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
KR102041984B1 (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
CN107193455B (zh) 一种信息处理方法及移动终端
CN107943390B (zh) 一种文字复制方法及移动终端
WO2021083132A1 (zh) 图标移动方法及电子设备
WO2018082269A1 (zh) 菜单显示方法及终端
CN104049738A (zh) 用于操作用户装置的传感器的方法和设备
CN109933252B (zh) 一种图标移动方法及终端设备
CN108920069B (zh) 一种触控操作方法、装置、移动终端和存储介质
CN110531915B (zh) 屏幕操作方法及终端设备
CN109165033B (zh) 一种应用更新方法及移动终端
CN107783747B (zh) 一种界面显示处理方法及移动终端
CN109408072B (zh) 一种应用程序删除方法及终端设备
WO2021109960A1 (zh) 图像处理方法、电子设备及存储介质
CN108388354A (zh) 一种输入法候选区域的显示方法和移动终端
CN111522613B (zh) 截屏方法及电子设备
CN108897467B (zh) 一种显示控制方法及终端设备
CN110045897B (zh) 一种信息显示方法及终端设备
CN108563940B (zh) 一种控制方法及移动终端
CN109446765B (zh) 一种屏幕解锁方法及终端设备
CN110879678A (zh) 一种图标显示方法、电子设备及存储介质
CN109542315B (zh) 移动终端的控制方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant