CN106062672B - 设备控制 - Google Patents

设备控制 Download PDF

Info

Publication number
CN106062672B
CN106062672B CN201580010611.7A CN201580010611A CN106062672B CN 106062672 B CN106062672 B CN 106062672B CN 201580010611 A CN201580010611 A CN 201580010611A CN 106062672 B CN106062672 B CN 106062672B
Authority
CN
China
Prior art keywords
user
sensors
display
touch
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580010611.7A
Other languages
English (en)
Other versions
CN106062672A (zh
Inventor
陈寅鹏
刘自成
张正友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106062672A publication Critical patent/CN106062672A/zh
Application granted granted Critical
Publication of CN106062672B publication Critical patent/CN106062672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本说明书涉及与显示设备的交互。在一个示例中，交互可以包括检测与显示器邻近的用户和检测由与显示器邻近的用户执行的非触摸控制手势。该示例也可以包括在显示器上呈现包括与控制手势相关联的选项的图形用户界面(GUI)。该示例也可以包括接收选择选项之一的用户输入和从用户接收用以经由选项中的选择的选项与GUI交互的附加用户输入。

Description

设备控制
技术领域
本说明书涉及与显示设备交互和/或控制显示设备。
附图说明
附图图示了在本文中传达的概念的实现方式。可以通过参照结合附图做出的以下描述来更容易地理解所示实现方式的特征。各种附图中的相似标号只要可行就用来指示相似单元。另外，每个标号的最左侧数字表示该标号第一次被引入的图和相关联的讨论。
图1至图6示出了根据本概念的一些实现方式的示例设备和示例设备交互场景的视图。
图7至图8示出了根据本概念的一些实现方式的用于实施设备交互场景的示例系统。
图9示出了根据本概念的一些实现方式的关于相对于图7至图8介绍的单元中的一些单元的附加细节。
图10至图11示出了根据本概念的一些实现方式的示例设备交互流程图。
具体实施方式
概述
本说明书涉及与显示设备(比如数字白板、平板、智能电话等)的交互。本说明书可以组合视觉和触摸技术以允许用户与显示设备更有效地交互。这些组合的视觉和触摸技术可以被简称为“VTouch”。在一个形式中，VTouch可以被视为一种用于使用视觉技术(比如人识别和手势识别)以增强显示器上的触摸体验的框架。VTouch可以在用户触摸显示器之前识别用户并且理解用户的意图。作为结果，与显示器的交互可以通过集成基于视觉的识别与触摸被显著地简化。因此，VTouch可以提供在用户与设备之间的改进的交互(例如，比用现有技术让用户更容易和/或更直观地控制设备)。
VTouch可以与显示器协调使用传感器(比如红、绿、蓝+深度相机(RGBD))以捕获用户的颜色、深度和/或骨架信息(例如，参数)。VTouch可以应用人识别算法和手势识别算法以标识用户以及用户的手势。VTouch也可以包括用于用RGBD相机校准显示器的简单工具。因此，用户的关节位置可以容易地被变换到显示器的坐标系中。
存在涉及使用手势识别以用于远程交互、使用手势以替换触摸手势等的人识别和手势识别的现有技术。发明概念中的至少一些发明概念与这些有关技术不同在于试图从不同角度改进用户交互。本概念可以集成基于视觉的算法与触摸以增强显示器上的交互。即使触摸对于交互是强有力的，但是仅使用触摸不能提供完全地自然的交互。借助视觉技术，本实现方式可以提供用于触摸的补充(例如，哪个用户正在触摸和用哪只手以及相对于哪个命令手势)。本实现方式也可以允许基于在触摸之前的基于手的命令手势的更直观交互(例如，启用键盘以用于在触摸之前键入)。因此，VTouch可以提供一种用于与显示器交互的更佳方式(例如，提供对显示器/设备的更有效用户控制)。
场景示例
图1至图6共同地示出了涉及设备100和用户102的示例VTouch场景。在这一情况下，设备100表现为相对大的触摸显示器，该触摸显示器具有在其上呈现的图形用户界面(GUI)104。在这一情况下，假设大触摸显示器可以被配置用于在墙壁或者其它竖直表面(在图1中未具体地示出、但是可以在图8中显现)上装配和/或用其它方式被运用。
图1示出了第一场景，其中在实例一处，用户如在106处大致地指示的那样用他的左手执行非触摸命令手势。在这一情况下，命令手势涉及用户以艺术家传统地持有调色板的方式在他前面保持他的左手(例如，手掌向右而左手指展开)。命令手势可以用来控制或者变更GUI。在这一情况下，命令手势可以使菜单被呈现。在这一示例中，在实例二处，菜单表现为调色板或者控制板108(注意颜色由附图中的图案代表)。在实例三中，用户可以如在110处指示的那样用他的右手对接调色板(例如，触摸调色板)以从调色板选择选项(例如，颜色)。实例四示出了用户在112处用他的右手用选择的颜色在显示器上书写。在备选配置中，可以在用户用右手书写之时用左手执行从调色板108选择。因此，用户可以在他书写时改变颜色。
换而言之，用户可以使用‘持有色板’手势(通过与屏幕垂直张开手)以起动调色板108，然后可以与手接近地示出该调色板。用户可以创建他们自己的控制手势简档。例如，用户可以选择在调色板上呈现的颜色和/或用于手和笔二者的颜色应用(或者擦除器)的宽度。VTouch可以识别和相互区分用户。这样，VTouch可以在用户简档中存储用户信息以用于在后续地标识用户时的将来回忆。
概括而言，图1图示了VTouch可以在用户的左手与右手之间区分。因此，可以向用左手执行的手势指派与右手执行的相同手势不同的含义。另外，VTouch可以存储关于各个用户的信息，比如习惯用左手或者右手。因此，在标识特定用户时，VTouch可以回忆用户习惯用右手并且使用左手以执行以用于调用命令选项(例如，调色板)的手势，并且然后使用右手以实施选项(例如，在板上书写)。VTouch也可以区分用户是否在他执行手势或者从显示器间隔开时正在触摸显示器。这些方面中的每个方面可以被视为参数，该参数被VTouch考虑以解释用户的意图，并且因此允许比先前可能的场景更健壮得多的用户控制和用户参与场景。当然，除了图1中所示的表现之外的用户控制GUI 104的其它表现也被设想。以下描述其它示例。
图2示出了用于用户102控制GUI 104的另一场景。在实例五处，用户可以如在202处大致地指示的那样在设备100前面执行‘键入手势’。响应地，VTouch可以在实例六处使虚拟键盘204和文本框205在设备100上被呈现。实例七示出了用户102在206处在虚拟键盘204上键入以在文本框205中生成实例八中所示单词“待完成列表：(TO DO LIST:)”。也在这一实现方式中，可以向用户提供VTouch已经检测到用户并且正在解译用户的手势这样的虚拟指示。在这一特定情况下，在GUI 104上显示单词‘VTouch’，从而使得用户知道用户已经调用了VTouch系统并且它正在监视用户和代表用户进行动作以控制设备。
另外，注意，在这一实现方式中，VTouch使GUI 104适应用户而不是用户适应GUI。例如，VTouch呈现虚拟键盘204和用户的文本(例如，文本框205)，其中用户执行键盘起动手势(例如，在用户的手下面)而不是在GUI 104上的预定义的位置。换而言之，VTouch可以感测用户的位置和用户执行各个手势的位置，并且VTouch可以基于感测到的手势和感测到的位置控制GUI。
VTouch实现方式可以在涉及多个用户的场景中提供附加优点。例如，由于VTouch用户标识和标识哪个用户正在执行哪个手势，GUI上的每个手绘/写笔划和/或键入的单词具有已知作者身份。这一配置可以允许附加功能。例如，每个用户可以在GUI上具有图标并且该用户可以通过触摸他的/她的图标来使他的/她的内容被醒目显示(或者以别的方式与一个或者多个其他用户的内容区分)。
图3示出了另一场景。在实例九处，用户102可以如在302处大致地指示的那样执行在设备100的顶部之上挥动他的手的手势。响应地，VTouch可以在实例十处使工具栏带304跨GUI 104的顶部被呈现。实例十一示出了VTouch可以跟踪用户的移动(例如，向右)并且可以如在306处大致地指示的那样随着用户移动工具栏带304。概括而言，用户可以利用‘在板以上’手势(通过在设备以上移动一只手)以启用顶部菜单(例如，工具栏带304)。在顶部菜单上的按钮可以在用户左移或者右移时随着用户移动。相似地，工具栏带或者不同菜单可以通过用户沿着设备的底部触摸他的手和/或通过用户执行备选手势被调用。
图4示出了另一使用情况场景。实例十二示出了在设备100的GUI 104上的词项集合402。实例十三示出了VTouch可以检测用户的手势404，该手势用手指指向个别词项406以选择该词项(在这一情况下，该词项是‘thanks’)。实例十四示出了用户如在408处指示的那样在显示器前面握拳。VTouch可以区分实例十三的指点手势404与实例十四的拳头手势408并且不将这一(例如，拳头)手势视为选择手势(例如，不选择词项)。
概括而言，指点手势可以允许用户102通过指向内容来醒目显示或者选择设备100上的内容。这可以用更直观的指点手势替换呈现中的激光指示器。
尽管未图示，但是VTouch提供的另一功能可以基于在用户102与设备100之间的距离自动地调整GUI 104的背景强度。例如，可以在用户更接近时使GUI变得更暗，从而使得用户的眼睛更舒适。
另外，通过感测在设备前面的区域，VTouch知道个别用户何时离开感测的区域。在个别用户离开该区域时，VTouch可以自动地锁定GUI 104和/或采取其它动作以保护内容隐私。如果某人后续地进入空间并且VTouch将他/她识别为创建内容的用户，则VTouch可以自动地解锁GUI，因此用户可以继续他的/她的工作。当然，用户标识和内容保护的备选实现方式也被设想。
图5示出示例VTouch校准示例。在这一情况下，VTouch可以填充与GUI 104的每个拐角邻近的用户可识别形状或者符号。在这一情况下，用户可识别形状表现为矩形502(1)-502(4)。用户可以在实例十五和实例十六中依次地触摸符号(用户被示出为触摸四个形状中的两个形状)以向显示器(例如在设备100上呈现的GUI 104)和用户102校准VTouch传感器。换而言之，VTouch传感器可以捕获GUI的图像。在用户触摸个别矩形时，用户的手在该时刻的3D位置可以被映射到该个别矩形在GUI上的坐标。当然，其它校准技术也被设想。
图6示出了除了在这一情况下在触敏平板型设备或者pad型设备100A上实施VTouch之外与图1相似的另一场景。在这一示例中，用户102在实例十七处用左手执行调色板手势106以使VTouch起动调色板108。实例十八示出了用户如在110处指示的那样用他的右手指从调色板选择颜色。实例十九示出了用户使用在实例十八中用右手指从在实例十七用左手势起动的调色板选择的颜色在平板上用触笔或者数字笔在112处书写‘VTouch’。
注意，俄尽管为了简洁而示出单个用户，但是本概念适用于单个设备的多个同时和/或串行用户。还注意，尽管以上描述了具体手势场景，但是本实现方式本身适用于几乎无限制的其它手势场景。
示例系统
图7示出了系统700上的一个VTouch实现方式。该系统图示了两个设备配置。第一设备100相对于图1被介绍并且是大显示设备，并且第二设备100A相对于图6被介绍并且是平板型设备。当然，其它设备可以被配置为实现VTouch概念。这两个设备可以包括显示器702、处理器704、存储装置/存储器706、传感器708、通信部件710和交互部件712。交互部件712可以包括检测/标识模块714和实施模块716。该设备可以备选地或者附加地包括这里为了简洁而未被图示或者讨论的其它单元，比如总线、图形卡(例如，图形处理单元(GPU)、网络硬件)等。
各种类型的传感器均被设想。具体讨论的两个传感器类型是在这一情况下表现为红、绿、蓝+深度(RGBD)传感器718的深度传感器和与显示器702相关联的触摸传感器720。触摸传感器720可以是被配置为检测物理触摸的压力传感器、被配置为检测邻近的电容传感器和/或其它类型的传感器。可以用各种方式运用RGBD传感器718，比如指向显示器702(例如，见718(1)和718(2))和反指向显示器(例如，见718(3))。设备100A上的RGBD传感器718(4)可以是可以感测与显示器702邻近和在显示器前面二者的广角传感器。
在所示配置中，显示器702可以是触敏显示器。其它配置可以使用传感器组合以在非触敏显示器上模仿触敏显示(在图8中示出了一个这样的示例)。例如，传感器708可以用来检测与显示器702邻近的用户命令以在非触敏显示器上创建触摸显示功能的印象。还注意，本实现方式不限于具体显示器类型。对照而言，可以用投影显示器、发光二极管(LED)显示器、液晶显示器、电致发光显示器、等离子体显示器和/或其它正在发展或者有待发展的显示器类型实现可工作的实现方式。可以如由处理器704控制的那样在显示器702上呈现相对于图1至图6讨论的GUI 104和104A。
在所示配置中，平板设备100A包括触敏显示器702和集成到壳中以检测用户和用户手势/与设备的交互的三组RGBD传感器718(4)(比如
Figure BDA0001092335650000071
公司提供的
Figure BDA0001092335650000072
牌深度相机或者Intel的RealSense 3D相机以及其它传感器)。
如以上提到的那样，在所示配置中，大显示设备100可以利用传感器708的组合，这些传感器中的一些传感器(比如触摸传感器720以及RGBD传感器718(2)和718(3))被集成到显示器壳中并且一些传感器(比如RGBD传感器718(1))在显示器702外部并且从显示器702分离。其它配置可以使用显示器(比如与一个或者多个传感器耦合的触敏显示器，这些传感器比如是RGBD传感器)以检测用户和用户命令。在设备100的情况下，RGBD传感器718(3)可以是被配置为感测在显示器702前面的区域的一组传感器。RGBD传感器718(1)和/或718(2)可以是被配置为感测与显示器702的表面邻近的区域(例如，感测用户与显示器的表面的交互)的另一组传感器。
从一个角度来看，设备100和100A可以被视为具有某一处理量和/或存储容量的计算机。在其它情况下，设备可以被耦合到提供这些资源的计算机。处理器可以执行计算机可读指令形式的数据以提供功能。数据(比如计算机可读指令和/或用户有关数据)可以被存储在存储装置(比如可以在计算机内部或者外部的存储装置)上。存储装置可以包括易失性或者非易失性存储器、硬驱动、闪存设备和/或光存储设备(例如，CD、DVD等)中的任何一项或者多项以及其它存储装置。如这里所用，术语“计算机可读介质”可以包括信号。对照而言，术语“计算机可读存储介质”(例如，存储装置/存储器706)排除信号。计算机可读存储介质包括“计算机可读存储设备”。计算机可读存储设备的示例包括易失性存储介质(比如RAM)和非易失性存储介质(比如硬驱动、光盘和闪存)以及其它存储设备。
在一些配置中，设备可以包括片上系统(SOC)型设计。在这样的情况下，由计算机提供的功能可以被集成在单个SOC或者多个耦合的SOC上。一个或者多个处理器可以被配置为与共享资源(比如存储器、存储装置等)和/或一个或者多个专用资源(比如被配置为执行某个具体功能的硬件块)协作。因此，如这里所用的术语“处理器”也可以是指中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核或者适合用于在常规计算架构以及SOC设计二者中实施的其它类型的处理设备。
其它计算机的示例可以包括传统计算设备(比如个人计算机、台式计算机、笔记本计算机、蜂窝电话、智能电话、个人数字助理、pad或者平板型计算机、相机、大显示设备、投影设备)或者许多不断演变或者有待发展的计算设备类型中的任何计算设备。在一些情况下，显示设备可以包括计算机单元，并且因此被视为计算机。在其它情况下，显示设备可以与计算设备通信和由计算设备控制。
传感器708中的一些传感器(比如RGBD传感器718)可以被配置为检测3D图像。各种技术可以用于深度方面。例如，可以使用非可见谱图案化，可以使用飞行时间和/或可以使用立体相机。在一个实现方式中，传感器可以表现为深度传感器、比如Microsoft公司提供的Kinect深度相机或者Intel的RealSense 3D相机以及其它传感器。
通信部件710可以有助于在设备的单元之间和/或与其它设备通过网络722发送和接收数据。通信部件可以表现为以太网端口、USB端口、HDMI端口、Wi-Fi硬件和/或蜂窝硬件等中一项或者多项。
VTouch的检测/标识模块714可以分析来自传感器708的信息以尝试标识哪个用户正在与显示器702交互以及用户正在用哪个身体部分执行哪些手势。实施模块716可以标识所标识的手势意味着什么。例如，实施模块716可以访问将手势映射到命令的数据集。数据集可以是固定的或者可以对于个别用户被定制/由个别用户定制。例如，数据集可以指示用户是否习惯用右手还是左手。另外，数据集可以被配置为允许应用设计者向数据集添加手势和相关联的命令以用于它们的特定应用。例如，视频播放应用的设计者可能想要映射右手转动运动以意味着‘播放’视频。在一些实现方式中，用户可以对于数据集定义他们自己的手势和含义。可以在设备100上在存储装置/存储器706上和/或远程地(比如在远程设备100B)上维护数据集。例如，远程设备100B可以表现为基于云的服务器。
检测/标识模块714经由传感器708可以获得和分析生物统计数据/参数，比如骨架数据(比如胳膊长度、手指长度、胳膊定向和手指定向和/或关节位置以及其它骨架数据)、视频数据、深度数据和/或笔划数据。颜色和深度数据可以允许检测/标识模块714提取用户的图像和3D点云，而骨架数据可以允许检测/标识模块跟踪用户的四肢的位置。可以在捕获传感器708(例如，RGBD传感器718)的坐标系中表达深度数据和骨架数据。为了理解用户与显示器702的关系，检测/标识模块714可以将数据从传感器708(例如，相机)的坐标系变换到显示器702的坐标系中。在一些实现方式中，这可以利用对用户、传感器和显示器的在先校准(例如，见图5)。
图5中所示的校准系统可以允许用户轻敲设备的拐角中的四个点。在用户轻敲一点时，系统记录来自骨架信息的他的3D手位置。从这四个3D定位，检测/标识模块可以计算将传感器(比如RGBD传感器718)和显示器702的坐标系相关的矩阵。
一旦数据被变换到显示器的坐标系中，就可以用不同可视化处理和渲染它(将在标题“VTouch条件”之下的下一节中描述)。一些实现方式可以使用C++和OpenGL以用于2D/3D视频处理和渲染。
从一个角度来看，VTouch可以提供一种用于集成基于视觉的算法(例如，人识别，比如脸部识别、手势识别)与触摸以增强比如大触摸显示器上的交互体验的框架。这一框架可以向应用设计者/开发者提供用于访问用户的身份、位置和手势的强有力武器，从而使对显示器上的交互应用的开发更容易。
注意，一些配置可能需要自完备设备(例如，位于设备上的硬件和在设备上执行的处理)。一些其它配置可以远程地执行一些方面。例如，设备可以向远程计算机(比如图7的计算机100B)中继传感器数据。远程计算机可以处理传感器数据以确定用户手势并且向设备和/或向其它设备传达回这一信息。更多其它实现方式也被设想。
图8示出了可以图示相对于设备100的另一示例传感器布局的另一示例系统800。在这一情况下，设备100表现为显示器702，该显示器702耦合到可以控制在显示器上呈现的GUI 104的设备100C。在这一示例中，系统800包括指向显示器100的多个RGBD传感器718(1)以及多个不同RGBD传感器718(3)。指向显示器的RGBD传感器718(1)可以被配置为捕获用户与显示器的交互。反指向(例如，在显示器前面)的RGBD传感器718(3)可以捕获关于用户的信息，从而使得可以在用户与显示器交互(例如，如由RGBD传感器718(1)捕获)之前标识用户。传感器718(3)也可以在用户从显示器间隔开时从用户捕获手势。
交互部件712可以使用来自传感器718(3)(和/或其它传感器)的信息以标识/区分各个用户(例如，人识别)。交互部件可以向各个用户提供/指派标识号或者其它唯一ID。交互部件可以关联各种参数与各个用户，比如习惯用左手或者右手(使用由RGBD传感器718(1)提供的骨架信息/参数)。因此，交互部件可以向各个用户提供个性化交互。这一用户信息可以被本地和/或远程地存储以用于将来使用。
指向显示器702的RGBD传感器718(1)可以被配置为捕获用户与显示器的交互。这一配置可以提供对用户和显示器二者的可视化，从而使校准容易并且允许交互部件712理解在用户的身体与显示器之间的3D关系。例如，交互部件可以使用传感器718(1)和718(3)以标识用户的手和手指以及手指的位置。在用户102触摸显示器702时，显示器中的触摸传感器可以记录触摸在显示器上的位置。交互部件712可以将触摸信息与来自传感器718(1)和718(3)的同时位置信息相关以校准传感器718(1)和718(3)以及由触摸传感器标识的在显示器上的位置。
图9示出了涉及以上相对于图7介绍的个别单元中的一些单元的一个实现方式。在这一实现方式中，交互部件的检测/标识模块714可以从传感器(在这一情况下为RGBD传感器718)接收感测到的输入以识别用户(例如，人识别902)和用于一只或者两只手的手势(例如，手势识别904)。检测/标识模块714可以利用感测到的输入以分别在906和908处提供用于实施模块716的用户ID和手势ID。
检测/标识模块714也可以在910处将关节位置从传感器坐标变换成显示器坐标(X朝右、Y朝下并且Z朝着显示器中)。所得关节位置信息可以在912处被发送到实施模块716。因此，交互部件712经由检测/标识模块714和实施模块716可以标识用户、理解用户的手势并且知道用户和他的关节相对于显示器702的位置。这些输入与在914处从显示器702收集的触摸有关输入一起可以允许实施模块716在916处渲染GUI，这些GUI显著地增强用于与显示器交互的用户体验。实施模块716可以自行或者与应用或者OS组合工作以在显示器上创建GUI。
注意，利用人识别和手势识别的一些实现方式可以从收集训练数据和训练检测/标识模块714的手势分类器中获益。这些相同技术可以用来允许用户向系统‘传授’他们自己的手势并且向这些手势指派含义。
概括而言，交互部件712可以在触摸之前和在触摸期间提供用于每只手的手势ID(使用手势识别)，这可以显著地丰富交互。例如，弹出菜单和虚拟键盘可以通过恰在触摸之前的直观手势容易地被实现，从而使交互更高效。
另外，可以在(做出手势的)既定用户的手附近显示菜单项目(比如调色板和虚拟键盘)以求更大便利。这些菜单项目也可以在一些实现方式中随着用户迁移，尤其对于很大显示器。本概念可以允许后续开发者和/或用户创建有吸引力的手势以在没有触摸的情况下带出菜单。
交互部件712可以容易地作为设备上的操作系统或者应用的部分工作或者交互部件可以与操作系统或者应用容易地对接以在各种场景中提供增强的用户交互。
方法示例
图10至图11示出了示例用户交互方法。
方法1000可以在1002处检测与显示器邻近的用户。在一些情况下，检测用户的动作也可以对标识用户有贡献。例如，作为检测的部分而被感测的参数(比如脸部识别参数、骨架参数和/或习惯用左手或者右手参数)可以用来区分用户与其他用户。用户可以通过比较检测的参数的值与先前标识的用户的这些参数的存储的值被标识。
该方法可以在1004处检测由与显示器邻近的用户执行的非触摸控制手势。
该方法可以在1006处在显示器上呈现包括与控制手势相关联的选项的图形用户界面(GUI)。
该方法可以在1008处接收选择选项之一的用户输入。例如，用户可以用他的/她的左手执行非触摸控制手势并且然后使用另一只手来执行选择。用户输入选择可以是触摸手势或者非触摸手势。
该方法可以在1010处从用户接收用于经由选项中的选择的选项与GUI交互的附加用户输入。例如，用户可以从用他的/她的左手的非触摸手势(例如，起动调色板)开始、继而是用右手的非触摸选择(例如选择颜色)、继而是用选择的单元的触摸交互(例如，用选择的颜色涂画)。
该方法可以在1012处基于附加用户输入控制GUI。例如，由用户执行的‘涂画’可以在GUI上出现。
方法1100可以在1102处感测与显示设备邻近的用户。在一些实现方式中，可以用深度传感器(比如RGBD传感器)实现感测。
该方法可以在1104处利用人识别算法来标识用户，人识别算法中的至少一个人识别算法涉及感测到的骨架信息。
该方法可以在1106处从感测到的骨架信息定位用户的左手和右手。
该方法可以在1108处基于感测到的骨架信息检测由用户用左手或者右手执行的手势并且标识用户是否用左手或者右手执行手势。
该方法可以在1110处基于标识的用户、检测到的手势和是否用左手或者右手执行了手势来更改显示设备上的GUI。
该方法可以在1112处从用户接收相对于更改的GUI的触摸输入并且确定是否用用户的左手或者用户的右手执行了触摸输入。
该方法还可以在1114处基于接收的触摸输入和确定接收的触摸输入是否已经用用户的左手或者用户的右手被执行来更改GUI。
描述的方法可以由以上描述的系统和/或设备和/或由其它设备和/或系统执行。描述方法的顺序未旨在于解释为限制，并且可以在任何顺序中组合描述的动作中的任何描述的动作以实施方法或者备选方法。另外，可以在任何适当硬件、软件、固件或者其组合中实施该方法，从而使得设备可以实施该方法。在一种情况下，该方法被存储在计算机可读存储介质(比如指令集)上，从而使得由计算设备执行使计算设备执行该方法。
附加示例
以上描述了各种示例。以下描述附加示例。一个示例表现为一种计算机可读存储介质，该计算机可读存储介质具有存储于其上的指令，这些指令在由计算设备的处理器执行时使计算设备实施方法。该方法可以包括感测与显示设备邻近的用户并且利用人识别算法来标识用户。人识别算法中的至少一种人识别算法可以涉及感测到的骨架信息。该方法可以包括从感测到的骨架信息定位用户的左手和右手并且检测用户用左手或者右手执行的手势以及基于感测到的骨架信息标识用户是否用左手或者右手执行了手势。该方法也可以包括基于用户的身份、检测到的手势和手势是否用左手或者右手执行了手势来更改图形用户界面。该方法也可以包括从用户接收相对于更改的图形用户界面的触摸输入并且确定触摸输入是否用用户的左手或者用户的右手被执行。该方法也可以包括基于接收的触摸输入和确定接收的触摸输入是否已经用用户的左手或者用户的右手被执行来进一步变更图形用户界面。
以上和/以下示例的任何组合，其中感测由红、绿、蓝加上深度(RGBD)相机执行。
另一示例表现为一种包括显示设备的系统。该系统也可以包括被配置为感测在显示设备前面的区域的第一组传感器和被配置为检测与显示设备邻近的用户输入的第二组传感器。该系统也可以包括被配置为分析来自第一组传感器的数据以标识用户和由用户执行的手势以控制在显示设备上呈现的图形用户界面，并且被配置为分析来自第二组传感器的数据以进一步细化对图形用户界面的控制的交互部件。
以上和/以下示例的任何组合，其中第二组传感器是在显示器设备中被集成用于检测显示设备的用户触摸的触摸传感器，或者其中第二组传感器被配置为在用户实际触摸显示设备之前检测用户触摸。
以上和/以下示例的任何组合，其中第一组传感器被物理地装配在显示设备上，或者其中第一组传感器从显示设备远离但是通信地耦合到交互部件。
以上和/以下示例的任何组合，还包括处理器和存储装置，并且其中交互部件被存储在存储装置上以用于由处理器执行。
以上和/以下示例的任何组合，表现为触敏平板型设备或者笔记本计算机型设备，其中第二组传感器与显示设备集成作为触摸传感器。
以上和/以下示例的任何组合，表现为配置为在墙壁或者其它竖直表面上装配的大显示设备，并且其中第一和第二传感器与大显示设备集成。
以上和/以下示例的任何组合，其中第一组传感器和第二组传感器表现为红、绿、蓝+深度(RGBD)传感器，或者其中第一组传感器表现为RGBD传感器并且第二组传感器表现为触摸传感器。
以上和/以下示例的任何组合，其中触摸传感器被配置为感测压力或者电容。
以上和/以下示例的任何组合，其中交互部件被配置为通过使多个对象被呈现在图形用户界面中并且在用户由第一组传感器和第二组传感器感测之时指令用户触摸对象来校准显示设备、第一组传感器和第二组传感器。
另一示例表现为一种计算机实施的方法。该方法包括检测与显示器邻近的用户并且检测有与显示器邻近的用户执行的非触摸控制手势。该方法也可以包括在显示器上呈现包括与控制手势相关联的选项的图形用户界面(GUI)并且接收选择选项之一的用户输入。该方法还可以包括从用户接收用于经由选项中的选择的选项与GUI交互的附加用户输入并且基于附加用户输入控制GUI。
以上和/以下示例的任何组合，其中检测与显示器邻近的用户包括标识用户。
以上和/以下示例的任何组合，其中标识用户包括检测参数。
以上和/以下示例的任何组合，其中检测到的参数是骨架参数、脸部识别参数和习惯用左手或者右手参数。
以上和/以下示例的任何组合，其中标识用户包括比较检测到的参数与存储的参数。
以上和/以下示例的任何组合，其中检测非触摸控制手势包括检测由用户的左手执行的非触摸控制手势，并且其中接收选择选项之一的用户输入和接收触摸输入包括从用户的右手接收用户输入。
以上和/以下示例的任何组合，其中接收附加用户输入包括接收触摸用户输入或者非触摸用户输入。
以上和/以下示例的任何组合，其中选项表现在菜单上。
以上和/以下示例的任何组合，其中接收用户输入包括感测用户的第一只手，并且其中接收附加用户输入包括感测用户的第二只手。
结论
虽然用结构特征和/或方法动作特有的语言描述了涉及设备控制的技术、方法、设备、系统等，但是将理解，在所附权利要求中定义的主题内容未必限于描述的具体特征或者动作。实际上，具体特征和动作被公开作为实施要求保护的方法、设备、系统等的示例性形式。

Claims (15)

1.一种系统，包括：
显示设备；
第一组传感器，被配置为感测在所述显示设备前面的区域，其中所述第一组传感器在所述显示设备的显示区域的外部；
第二组传感器，被配置为检测与所述显示设备邻近的用户输入；以及
处理器，被配置为：
分析来自所述第一组传感器的第一数据以标识用户和由所述用户执行的非触摸手势；
当所述第一数据指示所述用户执行了个体非触摸手势时，通过以下来控制在所述显示设备上呈现的图形用户界面：
当所述个体非触摸手势利用左手而被执行时，在所述显示设备上呈现特定菜单；以及
当所述个体非触摸手势利用右手而被执行时，呈现除所述特定菜单之外的内容；
当所述特定菜单被显示时，分析来自所述第二组传感器的第二数据以标识由所述用户关于所述特定菜单而执行的触摸手势；以及
通过从所述特定菜单选择菜单项目并且至少基于选择的所述菜单项目修改所述图形用户界面，至少基于所述第二数据进一步细化对所述图形用户界面的所述控制。
2.根据权利要求1所述的系统，其中所述第二组传感器是被集成在所述显示设备中的触摸传感器。
3.根据权利要求1所述的系统，其中所述第一组传感器中的至少一个在所述显示设备的外部并且从所述显示设备分离。
4.根据权利要求1所述的系统，其中所述处理器还被配置为：
接收选择具体菜单项目以包括在所述特定菜单上的用户输入；以及
当所述用户通过分析所述第一数据而被标识时，将所述具体菜单项目包括在所述特定菜单上。
5.根据权利要求1所述的系统，表现为触敏平板型设备或者笔记本计算机型设备，其中所述第二组传感器与所述显示设备集成作为触摸传感器。
6.根据权利要求1所述的系统，表现为被配置为在墙壁或者其它竖直表面上装配的大显示设备，并且其中所述第一组传感器和所述第二组传感器被集成到所述大显示设备。
7.根据权利要求1所述的系统，其中所述第一组传感器表现为一组红、绿、蓝+深度(RGBD)传感器，并且所述第二组传感器表现为一组触摸传感器。
8.根据权利要求7所述的系统，其中所述触摸传感器被配置为感测压力或者电容。
9.根据权利要求1所述的系统，其中所述处理器被配置为通过使多个对象被呈现在所述图形用户界面中并且在所述对象正由所述第一组传感器和所述第二组传感器感测之时指示所述用户触摸所述对象，来校准所述显示设备、所述第一组传感器和所述第二组传感器。
10.一种计算机实施的方法，包括：
检测与显示器邻近的用户；
检测由所述用户执行的非触摸手势；
确定所述非触摸手势是由所述用户的左手还是右手执行；
当所述非触摸手势利用所述左手而被执行时，在所述显示器上呈现特定菜单；
当所述非触摸手势利用所述右手而被执行时，在所述显示器上呈现除所述特定菜单之外的内容；
当所述特定菜单被显示时，接收从所述特定菜单标识选择的菜单选项的触摸输入；
从所述用户接收另外的触摸输入；以及
至少基于所述选择的菜单选项和所述另外的触摸输入控制所述显示器。
11.根据权利要求10所述的方法，其中所述检测与所述显示器邻近的所述用户包括标识所述用户。
12.根据权利要求11所述的方法，其中所述标识所述用户包括检测参数。
13.根据权利要求12所述的方法，其中检测的所述参数包括骨架参数、脸部识别参数和习惯用左手或者右手参数。
14.根据权利要求12所述的方法，其中所述标识所述用户包括比较检测到的所述参数与存储的参数。
15.根据权利要求10所述的方法，还包括：
接收标识具体菜单项目以包括在所述特定菜单中的用户输入；
确定所述用户的身份；以及
至少基于所述用户的所述身份在所述特定菜单上呈现所述具体菜单项目。
CN201580010611.7A 2014-02-26 2015-02-02 设备控制 Active CN106062672B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461944917P 2014-02-26 2014-02-26
US61/944,917 2014-02-26
US14/597,138 2015-01-14
US14/597,138 US9971490B2 (en) 2014-02-26 2015-01-14 Device control
PCT/US2015/014125 WO2015130431A1 (en) 2014-02-26 2015-02-02 Device control

Publications (2)

Publication Number Publication Date
CN106062672A CN106062672A (zh) 2016-10-26
CN106062672B true CN106062672B (zh) 2021-09-21

Family

ID=53882221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580010611.7A Active CN106062672B (zh) 2014-02-26 2015-02-02 设备控制

Country Status (4)

Country Link
US (1) US9971490B2 (zh)
EP (1) EP3111312A1 (zh)
CN (1) CN106062672B (zh)
WO (1) WO2015130431A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10025492B2 (en) 2016-02-08 2018-07-17 Microsoft Technology Licensing, Llc Pointing detection
US10579216B2 (en) * 2016-03-28 2020-03-03 Microsoft Technology Licensing, Llc Applications for multi-touch input detection
CN107728792B (zh) * 2017-11-17 2020-08-11 浙江大学 一种基于手势识别的增强现实三维绘图系统及绘图方法
CN108594995A (zh) * 2018-04-13 2018-09-28 广东小天才科技有限公司 一种基于手势识别的电子设备操作方法及电子设备
EP3887925A4 (en) 2018-11-30 2022-08-17 Magic Leap, Inc. MULTIMODAL HANDHELD LOCATION AND ORIENTATION TO AVATAR MOVEMENT
CN113703577A (zh) * 2021-08-27 2021-11-26 北京市商汤科技开发有限公司 一种绘图方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
CN102221922A (zh) * 2011-03-25 2011-10-19 苏州瀚瑞微电子有限公司 一种支持语音提示的触控系统及其实现方法
CN103324431A (zh) * 2012-03-22 2013-09-25 义明科技股份有限公司 电子装置以及电子装置的控制方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963937B1 (en) * 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
US8531396B2 (en) * 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9495013B2 (en) * 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8402391B1 (en) * 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US20100310136A1 (en) * 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
US20120313865A1 (en) * 2009-08-25 2012-12-13 Promethean Ltd Interactive surface with a plurality of input detection technologies
TW201109994A (en) * 2009-09-10 2011-03-16 Acer Inc Method for controlling the display of a touch screen, user interface of the touch screen, and electronics using the same
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
KR101657168B1 (ko) 2009-12-01 2016-09-19 삼성전자주식회사 사용자 위치 기반의 디스플레이 방법 및 장치
US8487888B2 (en) * 2009-12-04 2013-07-16 Microsoft Corporation Multi-modal interaction on multi-touch display
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
JP5300777B2 (ja) * 2010-03-31 2013-09-25 株式会社バンダイナムコゲームス プログラム及び画像生成システム
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US20120204116A1 (en) 2011-02-03 2012-08-09 Sony Corporation Method and apparatus for a multi-user smart display for displaying multiple simultaneous sessions
CA2838280C (en) 2011-06-15 2017-10-10 Smart Technologies Ulc Interactive surface with user proximity detection
EP2766796A4 (en) * 2011-10-13 2015-07-01 Autodesk Inc Approaching MULTITOUCH TABLETOP
EP2801040B1 (en) 2012-01-08 2018-04-11 Teknision Inc. Method and system for dynamically assignable user interface
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US8760426B1 (en) * 2012-03-26 2014-06-24 Amazon Technologies, Inc. Dominant hand detection for computing devices
US20130257734A1 (en) * 2012-03-30 2013-10-03 Stefan J. Marti Use of a sensor to enable touch and type modes for hands of a user via a keyboard
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US20130322709A1 (en) * 2012-05-02 2013-12-05 University Of Manitoba User identity detection on interactive surfaces
US8665238B1 (en) * 2012-09-21 2014-03-04 Google Inc. Determining a dominant hand of a user of a computing device
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9671874B2 (en) * 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US20140184519A1 (en) * 2012-12-28 2014-07-03 Hayat Benchenaa Adapting user interface based on handedness of use of mobile computing device
US9535603B2 (en) * 2013-03-14 2017-01-03 Carl F. Andersen Columnar fitted virtual keyboard
KR20150103240A (ko) * 2013-03-14 2015-09-09 인텔 코포레이션 깊이 기반 사용자 인터페이스 제스처 제어
US9215302B2 (en) * 2013-05-10 2015-12-15 Google Technology Holdings LLC Method and device for determining user handedness and controlling a user interface
GB2515067A (en) * 2013-06-13 2014-12-17 St Microelectronics Res & Dev A System and Method for Sensor and Image Processing
US9547395B2 (en) * 2013-10-16 2017-01-17 Microsoft Technology Licensing, Llc Touch and hover sensing with conductive polarizer
US9563956B2 (en) * 2014-03-26 2017-02-07 Intel Corporation Efficient free-space finger recognition
US9710137B2 (en) * 2014-07-16 2017-07-18 Lenovo (Singapore) Pte. Ltd. Handedness detection
US20160329006A1 (en) * 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
CN102221922A (zh) * 2011-03-25 2011-10-19 苏州瀚瑞微电子有限公司 一种支持语音提示的触控系统及其实现方法
CN103324431A (zh) * 2012-03-22 2013-09-25 义明科技股份有限公司 电子装置以及电子装置的控制方法

Also Published As

Publication number Publication date
EP3111312A1 (en) 2017-01-04
US20150242107A1 (en) 2015-08-27
US9971490B2 (en) 2018-05-15
WO2015130431A1 (en) 2015-09-03
CN106062672A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106062672B (zh) 设备控制
US11048333B2 (en) System and method for close-range movement tracking
EP3234732B1 (en) Interaction with 3d visualization
US9910498B2 (en) System and method for close-range movement tracking
JP5702296B2 (ja) ソフトウェアキーボード制御方法
US10684768B2 (en) Enhanced target selection for a touch-based input enabled user interface
EP3491506B1 (en) Systems and methods for a touchscreen user interface for a collaborative editing tool
US20140104168A1 (en) Touchless input
CN105814531A (zh) 根据输入源标识符改变的用户界面适配
US10359905B2 (en) Collaboration with 3D data visualizations
US20150160779A1 (en) Controlling interactions based on touch screen contact area
US8542207B1 (en) Pencil eraser gesture and gesture recognition method for touch-enabled user interfaces
US20150160794A1 (en) Resolving ambiguous touches to a touch screen interface
US20160162098A1 (en) Method for providing user interface using multi-point touch and apparatus for same
CN105700727A (zh) 与透明层以下的应用层的交互方法
KR101442438B1 (ko) 듀얼 터치 경험 필드를 달성하기 위한 싱글 터치 프로세스
US20170315615A1 (en) Gesture library
US10809794B2 (en) 3D navigation mode
CN108008819A (zh) 一种便于用户单手操作的页面变换方法及终端设备
CN110785741A (zh) 生成用户界面容器
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체
KR20140101276A (ko) 깊이 정보 및 사용자의 공간 제스처에 기초하여 메뉴를 표시하는 방법
Lu et al. Realizing multi-touch-like gestures in 3d space

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant