CN104040470B - 接近度感知的多点触摸桌面 - Google Patents

接近度感知的多点触摸桌面 Download PDF

Info

Publication number
CN104040470B
CN104040470B CN201280055669.XA CN201280055669A CN104040470B CN 104040470 B CN104040470 B CN 104040470B CN 201280055669 A CN201280055669 A CN 201280055669A CN 104040470 B CN104040470 B CN 104040470B
Authority
CN
China
Prior art keywords
multiple point
point touching
sensor
user
touching desktop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280055669.XA
Other languages
English (en)
Other versions
CN104040470A (zh
Inventor
米歇尔·安尼特
托维·格罗斯曼
丹尼尔·威格多
乔治·菲茨莫里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autodesk Inc
Original Assignee
Autodesk Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autodesk Inc filed Critical Autodesk Inc
Publication of CN104040470A publication Critical patent/CN104040470A/zh
Application granted granted Critical
Publication of CN104040470B publication Critical patent/CN104040470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

公开了一种接近度感知的多点触摸桌面，该接近度感知的多点触摸桌面包括触摸屏显示器和接近度传感器二者。接近度传感器围绕触摸屏显示器设置成一个或多个环形组，并且沿面向上和面向外方向定位。接近度传感器使多点触摸桌面能够感测用户的身体、臂、手或手指距该多点触摸桌面的距离。由此，可相对于用户的身体位置而确定用户的手、臂和手指位置，这使该多点触摸桌面能够区分左手/臂姿势与右手/臂姿势。此外，由于该多点触摸桌面可将左臂移动和右臂移动与用户身体关联，所以该多点触摸桌面可区分来源于不同用户的姿势。该多点触摸桌面区别用户的能力大大增强了用户体验，特别是在多用户环境中。

Description

接近度感知的多点触摸桌面
对相关申请的交叉引用
本申请要求于2011年10月13日提交的美国临时专利申请序列号61/546,947的权益，其全部内容通过引用合并在本文中。
技术领域
本发明的实施方式总体上涉及触摸屏装置，更具体地涉及接近度感知的多点触摸(multi-touch)桌面系统。
背景技术
多点触摸桌面是包括水平面上的大触摸屏显示器的计算装置。然而，多点触摸桌面存在若干缺点。首先，多点触摸桌面在多个用户与多点触摸桌面交互时不能进行识别、而且不能区分由不同用户启动的命令。此外，当多个用户与多点触摸桌面交互时，多点触摸桌面不能在触摸屏上对用户当前基于其与多点触摸桌面交互的显示内容进行适当地定向。因此，由多个用户使用多点触摸桌面的协作努力常常是繁琐的，并且因此导致不令人满意的用户体验。
如前述内容所述，本领域中需要的是提供更令人满意的多用户体验的多点触摸桌面设计。
发明内容
在一个实施方式中，公开了一种多点触摸桌面。系统包括多点触摸显示器以及围绕多点触摸显示器设置的外圈传感器。系统还包括围绕多点触摸显示器设置的第一圈竖直定向的传感器、以及围绕多点触摸显示器设置的第二圈竖直定向的传感器。
所公开的多点触摸桌面的一个优点在于该多点触摸桌面能够增强用户体验，特别是在多个用户以协作的方式与多点触摸桌面交互时。具体地，所公开的多点触摸桌面能够区分特定用户之间的交互，并且可以适当地对显示屏幕上的内容定向。
附图说明
为了能够详细理解本发明的上述的特征，将参照实施方式对以上简要概述的发明进行更详细的描述，在附图中示出实施方式中的一些实施方式。然而，要注意，附图只示出了本发明的典型的实施方式，因此不认为是对本发明范围的限制，因为本发明可以允许其它等同效果的实施方式。
图1是被配置成实现本发明的一个或多个方面的系统的框图；
图2是根据本发明的一个实施方式的接近度感知的多点触摸桌面的示意性图示；
图3是根据本发明的一个实施方式的用于追踪身体相对于图2的多点触摸桌面的移动的方法步骤的流程图；
图4A至4B阐述了根据本发明的一个实施方式的用于追踪臂相对于图2的多点触摸桌面的移动的方法步骤的流程图；
图5是根据本发明的一个实施方式的用于将触摸屏上的接触点映射到用户的手的方法步骤的流程图；
图6A是根据本发明的一个实施方式的识别用户的存在的多点触摸桌面的示意性图示；
图6B是根据本发明的一个实施方式的识别多个用户的存在的多点触摸桌面的示意性图示；
图7A至7B阐述了根据本发明的一个实施方式的用于响应于用户相对于图6A至6B的多点触摸桌面的交互而执行动作的方法步骤的流程图；以及
图8是根据本发明的一个实施方式的用于当图6A至6B中的多点触摸桌面工作在“请勿打扰”模式时处理输入的方法步骤的流程图。
为了便于理解，在可以的地方使用相同的附图标记表示附图中共有的相同元件。可考虑在没有特别复述的情况下可以将一个实施方式中公开的元件有益地用于其他实施方式。
具体实施方式
图1是被配置成实现本发明的一个或多个方面的系统100的框图。系统100是多点触摸显示器；然而，可考虑系统100也可以是用于实践本发明的一个或多个实施方式的个人计算机、视频游戏控制台、个人数字助手、移动电话、移动装置或任何其他装置。
系统100包括一个或多个处理单元，例如经由包括存储器桥105的总线路径而通信的中央处理单元(CPU)102和系统存储器104。CPU102包括一个或多个处理核，并且在操作中，CPU102是系统100的主处理器，用于控制并协调其他系统部件的工作。系统存储器104存储用于由CPU102使用的数据和软件应用，例如应用150和多点触摸桌面管理应用151。CPU102运行软件应用并且可选地运行操作系统。应用150可以是被配置成在多点触摸显示装置111上显示图形用户界面的任何应用。
存储器桥105经由总线或其他通信路径(例如，超传输链路)连接至输入/输出(I/O)桥107，存储器桥105可以例如是北桥芯片。I/O桥107例如南桥芯片从一个或多个用户输入装置例如键盘108或鼠标109接收用户输入并且将输入经由存储器桥105转发至CPU102。在可替代的实施方式中，I/O桥107也可以连接至其他输入装置例如操纵杆、数字化平板、触摸板、触摸屏、静态照相机或视频摄像机、运动传感器和/或麦克风。
一个或多个显示处理器例如显示处理器112经由总线或其他通信路径113(例如，PCI Express、加速图形端口或超传输链路)耦接至存储器桥105。在一个实施方式中，显示处理器112是包括至少一个图形处理单元(GPU)和图形存储器的图形子系统。图形存储器包括用于存储输出图像的每个像素的像素数据的显示存储器例如帧缓存器。图形存储器可以与GPU集成在同一装置中，可以作为单独的装置与GPU连接，以及/或者可以实现在系统存储器104内。
CPU102给显示处理器112提供限定所期望的输出图像的数据和/或指令，显示处理器112根据数据和/或指令生成一个或多个输出图像的像素数据，包括表征和/或调节立体图像对之间的偏移。限定所期望的输出图像的数据和/或指令可以存储在系统存储器104或显示处理器112的图形存储器内。显示处理器112包括用于根据对场景的几何图形、照明阴影、纹理化、运动和/或相机参数进行限定的指令和数据来生成输出图像像素数据的3D绘制能力。显示处理器112还包括能够执行着色器程序、色调映射程序等的一个或多个可编程执行单元。
可替代地，像素数据可以直接从CPU102提供给显示处理器112。在一些实施方式中，表示场景的指令和/或数据可以经由网络适配器118或系统盘114提供给均与系统100相似的绘制集群或一组服务器计算机。绘制集群使用所提供的指令和/或数据生成场景的一个或多个绘制图像。这些绘制图像可以以数字格式存储在计算机可读介质中并且可选地返回至系统100以用于显示。相似地，由显示处理器112处理的立体图像对可以输出至其他系统以用于显示，可以存储在系统硬盘114中或者以数字格式存储在计算机可读介质上。
显示处理器112将像素定时地传送至多点触摸显示器111。显示处理器112可向多点触摸显示器111提供模拟信号或数字信号。多点触摸显示器111包括多点触摸显示装置例如具有下述集成传感器的传统CRT显示器或LED显示器，该集成传感器检测用户接触显示器的显示区域的位置。多点触摸显示器111向显示处理器112或CPU102提供姿势识别输入。
系统盘14也连接至I/O桥107并且被配置成存储用于由CPU102和显示处理器112使用的应用和数据。系统盘114提供用于应用和数据的非易失性存储器并且可以包括固定硬盘驱动器或者可移除硬盘驱动器、闪存存储器装置和CD-ROM、DVD-ROM、Blu-ray、HD-DVD或者其他磁、光或固态存储器装置。
开关116提供I/O桥107与其他部件例如网络适配器118、各种插卡120、121之间的连接。网络适配器118使系统100能够经由电通信网络与其他系统通信，并且有利于通过局域网和广域网例如因特网的无线通信和有线通信。
包括USB或其他端口连接器、电影记录装置等的其他部件(未示出)也可以连接至I/O桥107。例如，音频处理器可以用于根据由CPU102、系统存储器104或系统盘114提供的指令和/或数据生成模拟音频输出或数字音频输出。可以使用任何合适的协议例如PCI(外部设备互联)、PCIExpress(PCI-E)、AGP(加速图形端口)、超传输或者任何其他总线或点对点通信协议来实现互连图1中的各种部件的通信路径，并且不同的装置之间的连接可以使用不同的协议。
在另一个实施方式中，显示处理器112与用于图形和视频处理的优化电路例如包括视频输出电路进行结合并且构成图形处理单元(GPU)。在又一个实施方式中，显示处理器112与用于通用处理的优化电路进行结合。在另一个实施方式中，显示处理器112可以与一个或多个其他系统元件例如存储器桥105、CPU102及I/O107集成以形成片上系统(SoC)。在另外的一些实施方式中，可以省略显示处理器112，并且由CPU102执行的软件可以实施显示处理器112的功能。
要理解，此处所示出的系统是说明性的并且可以有变体和变型。可以根据需要修改包括桥的数目和布置的连接拓扑结构。例如，在一些实施方式中，系统存储器104可以直接连接至CPU102而不是通过桥，并且其他装置可以经由存储器桥105和CPU102与系统存储器104通信。在其他可替代的拓扑结构中，显示处理器112可以连接至I/O桥107或者直接连接至CPU102，而不是连接至存储器桥105。在又一些其他实施方式中，I/O桥107和存储器桥105可以集成在单个芯片中。此外，此处所示出的具体部件是可选的。例如，可以支持任何数量的插卡或外围装置。在一些实施方式中，去除了开关116，并且网络适配器118和插卡120、121直接连接至I/O桥107。
图2是根据本发明的一个实施方式的接近度感知的多点触摸桌面200的示意性图示。接近度感知的多点触摸桌面200可以包括系统100的任何及所有部件。如图2所示，接近度感知的多点触摸桌面200包括外圈传感器202、第一圈竖直定向圈的传感器204和第二竖直定向圈的传感器206，其中，每个圈围绕多点触摸显示器208的周界设置。多点触摸显示器208与多点触摸显示器111相似，适于显示图形图像以及从用户接收基于触摸的输入。
外圈传感器202包括沿着接近度感知的多点触摸桌面200的竖直边缘210定位的长程(long-range)基于红外的传感器。包括在外圈传感器202内的传感器202A被定向在沿着平行于多点触摸显示器208的上表面的相对于接近度感知的多点触摸桌面200的向外方向上。外圈传感器202适于检测用户的存在、用户距接近度感知的多点触摸桌面200的距离、以及用户在多点触摸显示器208周围的位置。外圈传感器202中的传感器202A在接近度感知的多点触摸桌面200被供电时进行连续感测。因此，接近度感知的多点触摸桌面200能够在用户除了靠近接近度感知的多点触摸桌面200之外没有任何更多动作的情况下检测用户的存在。外圈传感器202中的传感器202A与竖直边缘210基本共面，因此可以容易地确定用户距竖直边缘210的距离。然而，即使在竖直圈传感器202中的传感器202A与竖直边缘210不共面时，偏移距离通常是已知的，并且因此，可以在确定用户距多点触摸桌面200的距离时计入偏移距离。因此，可以准确地确定用户距多点触摸桌面200的距离。
第一圈竖直定向的传感器204包括位于接近度感知的多点触摸桌面200的上表面212的外周界处的长程传感器。第二圈竖直定向的传感器206包括从第一圈竖直定向的传感器204径向向内设置的短程(short range)传感器。如此处所述，长程传感器通常具有约10厘米(cm)至约80cm的范围。短程传感器通常具有约4cm至约30cm的范围。长程传感器与短程传感器的组合使得在距接近度感知的多点触摸桌面200一段距离处能够检测用户的移动同时也能够准确检测用户的姿势。因此，可以较快检测到接近度感知的多点触摸桌面200周围的用户存在同时也有助于更精确的用户姿势。在外圈传感器202检测到用户存在之前，第一圈竖直定向的传感器204和第二圈竖直定向的传感器206通常是断电的。因此，在用户未在外圈传感器202的感测范围内时减少了接近度感知的多点触摸桌面200的功耗。
第二圈竖直定向的传感器206位于第一圈竖直定向的传感器204与多点触摸显示器208之间。以约63Hz来采样每圈传感器中的传感器202A、传感器204A及传感器206A。使用约17的窗大小过滤外圈传感器202中的传感器202A，同时使用约11的窗大小过滤第一圈竖直定向的传感器204中的传感器204A和第二圈竖直定向的传感器206中的传感器206A。利用不同大小的窗以提供稳定的身体位置(由外圈传感器202确定)以及增加对臂移动(使用第一圈竖直定向的传感器204和第二圈竖直定向的传感器206检测)的响应。
第一圈竖直定向的传感器204和第二圈竖直定向的传感器206通常与表面212共面。当第一圈竖直定向的传感器204和第二圈竖直定向的传感器206与表面212不共面时，第一圈竖直定向的传感器204与第二圈竖直定向的传感器206之间的偏移距离是已知的并且可以补偿，从而有助于使用传感器204A和传感器206A准确地测量距离。此外，由于外圈传感器202、第一圈竖直定向的传感器204和第二圈竖直定向的传感器206通常与多点触摸桌面200的表面共面，多点触摸系统200具有较简洁的硬件设计。通过减少可能阻碍用户移动的杂乱，硬件设计越简化越能提供更好的用户体验，特别是当用户在多点触摸桌面200周围移动时。
在一个实施方式中，外圈传感器包括约34个间距约3.3cm的长程传感器。第一圈竖直定向的传感器包括约46个间距约3.3cm的长程传感器，而第二圈竖直定向的传感器包括约58个间距约0.8cm的短程传感器。然而，可考虑可以使用更多或更少的传感器，此外，可以根据需要改变传感器之间的间距。例如，可考虑可以使用附加的传感器以增加感测精确度，或者可以使用更少的传感器以降低功耗。
图3是根据本发明的一个实施方式的用于追踪身体相对于图2的多点触摸桌面的移动的方法步骤的流程图。虽然结合图1和图2描述了方法步骤，但是本领域技术人员要理解，被配置成以任何顺序实施该方法步骤的任何系统均落入本发明的范围内。
如图所示，方法300在步骤302开始。在步骤302中，在系统例如多点触摸桌面200上执行的多点触摸桌面管理应用151确定是否用户存在。使用外圈传感器检测用户的存在。当用户处于外圈传感器202的感测范围例如约80cm内时，多点触摸桌面管理应用151接收来自外圈传感器202的指示用户的存在的信号。在步骤302中，如果用户不存在，则多点触摸桌面管理应用151返回方法300的开始并且重复步骤302。如果检测到了用户存在，则多点触摸桌面管理应用151进行至步骤304。
在步骤304中，使用外圈传感器202确定用户的第一位置以及用户距多点触摸桌面200的距离。检测用户存在的相邻的传感器被分组成“传感器链”。多点触摸桌面管理应用151接收指示用户的位置和距离的传感器值，且多点触摸桌面管理应用151确定针对传感器链的高斯加权平均值。高斯加权平均值提供用户在多点触摸桌面200周围的身体位置的估计。
继步骤304之后，在步骤306中确定用户的第二位置以及用户距多点触摸桌面200的距离。以与针对步骤304所讨论的用户的第一位置和距离相似的方式确定用户的第二位置和距离。可以在经过预定量的时间之后确定用户的第二位置以及用户与多点触摸桌面200的第二距离。在一个实施方式中，预定量的时间可以由传感器的采样速率来确定。
在步骤308中，多点触摸桌面管理应用151将用户的第一位置和用户到传感器的第一距离与用户的第二位置和用户到传感器的第二距离相比较。在步骤310中，多点触摸桌面管理应用151基于步骤308中所进行的比较确定用户是否已经移动。因此，多点触摸桌面管理应用151能够在多点触摸桌面200周围确定用户移动和追踪用户位置，例如如图2中所示。
图3示出了用于追踪身体移动的方法的一个实施方式；然而，也可考虑另外的实施方式。例如，在另一实施方式中，可以在步骤306中忽略两个或更少个传感器构成的传感器链以排除对用户存在的错误检测，因为用户的身体通常跨越多于两个传感器。在另一个实施方式中，可以应用附加的滤波以平滑身体位置。在又一个实施方式中，可以同时确定多于一个的用户的移动。在步骤304中，如果以彼此之间的预定距离例如约50cm检测到两个或更多个传感器链，则多点触摸桌面管理应用151认为每个传感器链是单独的用户。在这样的实施方式中，针对每个识别的用户进行步骤304至步骤310。此外，当在存在多个用户时在步骤308中将第一位置和第一距离与第二位置和第二距离相比较时，第二用户位置和距离被映射到最接近的第一用户位置和距离以用于确定用户移动。因此，多点触摸桌面管理应用151可以同时针对多个用户确定用户移动并且追踪用户位置。
图4A至4B阐述了根据本发明的一个实施方式的用于追踪臂相对于图2的多点触摸桌面的移动的方法步骤的流程图。虽然结合图1和图2描述了方法步骤，但是本领域技术人员要理解，被配置成以任何顺序实施该方法步骤的任何系统均落入本发明的范围内。
如图所示，方法400在步骤402开始。在步骤402中，如针对图3中所示出的步骤302所述，多点触摸桌面管理应用151通过使用外圈传感器202感测用户存在来确定用户是否存在。在步骤404中，如针对图3示出的步骤304所述，确定用户的身体位置。在步骤406中，响应于检测到用户，向第一圈竖直定向的传感器204和第二圈竖直定向的传感器206施加电力。因此，在外圈传感器202检测到用户的存在之前，第一圈竖直定向的传感器204和第二圈竖直定向的传感器206通常是断电的，从而在多点触摸桌面200空闲时减少了多点触摸桌面200的功耗。
在对第一圈竖直定向的传感器204和第二圈竖直定向的传感器206供电之后，多点触摸桌面管理应用151确定第一圈竖直定向的传感器204是否检测到用户的臂的存在。该确定是基于由多点触摸桌面管理应用151从第一圈竖直定向的传感器204接收的信号。如果第一圈竖直定向的传感器204未检测到用户的存在，多点触摸桌面管理应用151重复步骤408。如果第一圈竖直定向的传感器204检测到用户的臂，则多点触摸桌面管理应用151进行至步骤410。在步骤410中，确定臂的位置以及臂距多点触摸桌面200的距离。在使用第一圈竖直定向的传感器204确定臂的位置和距离时，多点触摸桌面管理应用151将当前检测臂的连续传感器分组成“传感器链”。然后多点触摸桌面管理应用151确定传感器的位置和距离值的高斯加权平均值。因此，多点触摸桌面管理应用151能够确定臂位于多点触摸桌面200周围的什么位置，以及臂距多点触摸桌面200的距离。
在确定了臂位置以及距多点触摸桌面200的距离之后，多点触摸桌面管理应用151进行至步骤412并且确定第二圈竖直定向的传感器206是否检测到用户的存在。如果第二圈竖直定向的传感器206未检测到臂，多点触摸桌面管理应用151进行至步骤416并且使用第一圈竖直定向的传感器204做出对臂位置以及距多点触摸桌面200的臂距离的第二确定。由于步骤416中的第二确定发生在步骤410中的第一确定之后，所以步骤416中的结果通常与步骤410中的结果不同，该不同指示出如针对步骤424所描述的臂移动。
如果多点触摸桌面管理应用151确定第二圈竖直定向的传感器206检测到臂，多点触摸桌面管理应用151进行至步骤414并且确定臂的位置以及臂相对多点触摸桌面200的距离。以与针对步骤410所描述的臂的位置以及臂距多点触摸桌面200的距离相似的方式确定臂的位置以及臂距多点触摸桌面200的距离。
在步骤416中，确定臂的投影。臂的投影是表示臂的线性近似的矢量。由第一圈竖直定向的传感器204确定的臂的位置和臂相对于多点触摸桌面200的距离表示线性近似的第一点。由第二圈竖直定向的传感器206确定的臂的位置和臂到多点触摸桌面200的距离表示线性近似的第二点。利用这两个点，多点触摸桌面管理应用151生成与用户的臂的近似位置相对应的矢量。臂投影的确定有助于将在多点触摸显示器208上的接触点映射到特定用户。
在步骤420中，在经过预定量的时间之后，使用第一圈竖直定向的传感器做出对臂的位置以及臂距多点触摸桌面200的距离的第二确定。此外，在步骤422中，使用第二圈竖直定向的传感器做出对臂的位置以及臂距多点触摸桌面200的距离的第二确定。以与针对步骤410和步骤414所讨论的对臂位置和相对臂距离的第一确定相似的方式做出对臂位置和相对臂距离的第二确定。随后，在步骤424中，针对第一圈竖直定向的传感器204和第二圈竖直定向的传感器206中的每圈竖直定向的传感器做出对臂位置和相对臂距离的第一确定与第二确定之间的比较。对臂位置和相对臂距离的第一确定与第二确定之间的比较有助于在步骤426中对臂移动进行确定。因为可以确定臂移动，所以可以利用不需要与触摸显示器接触的基于移动的姿势来与多点触摸桌面200进行交互，其中臂移动包括X-Y-Z平面中的臂方向以及臂移动的速度二者。在步骤424中，如果步骤420和步骤422中确定的臂位置距步骤410和步骤414中确定的臂位置的距离大于预定距离(例如，20cm)，则多点触摸桌面管理应用151认为测量属于两个单独的臂。例如，这可以发生在第二用户开始与多点触摸桌面200交互时。
在步骤428中，由第一圈竖直定向的传感器204和第二圈竖直定向的传感器206检测到的臂被映射到步骤402中所检测的用户身体。使用步骤404中确定的身体位置以及步骤410、步骤414、步骤416、步骤420和/或步骤422中确定的臂位置，多点触摸桌面管理应用151将臂位置与最近的身体位置相关联。可考虑步骤418中确定的臂投影也可以用于将臂映射到特定用户身体。此外，因为预先确定了用户的身体位置和用户的臂位置，所以多点触摸桌面管理应用151能够确定臂位置是位于用户身体的左侧还是位于用户身体的右侧。位于用户身体的左侧的臂位置被多点触摸桌面管理应用151指定为用户的左臂，而位于用户的右侧的臂位置被指定为用户的右臂。因为可以将臂映射到特定用户，并且因为多点触摸桌面管理应用151可以区分左臂移动和右臂移动，所以多点触摸桌面管理应用151能够区分由不同用户启动的命令，并且还能够区分由用户的特定臂启动的命令。因此，大大增强了用户体验，特别是多用户体验。
图4A和图4B示出了用于追踪臂移动的方法400的一个实施方式；然而，也可考虑其他实施方式。例如，在一个实施方式中，可考虑可以在步骤410、步骤414、步骤420和/或步骤422中的任何步骤之后进行步骤428。在另一实施方式中，可考虑只处理沿着与步骤404中确定的用户身体相邻的侧的第一圈竖直定向的传感器204和第二圈竖直定向的传感器206内的传感器。例如，如果在步骤404中检测到用户身体沿着多点触摸桌面200的第一侧，则在步骤410、步骤414、步骤420及步骤422中，多点触摸桌面管理应用151只处理与多点触摸桌面200的第一侧相邻的传感器。在这样的实施方式中，通过减少所分析的传感器的数目来大大节省的处理电力，并且提高了确定臂位置的速度。
图5是根据本发明的一个实施方式的用于在触摸屏上将接触点映射到用户的方法步骤的流程图。虽然结合图1和图2描述了方法步骤，但是本领域技术人员要理解，被配置成以任何顺序进行方法步骤的任何系统均落入本发明的范围内。
如图所示，方法500在步骤502开始，在步骤502中，多点触摸桌面管理应用151确定是否接触了多点触摸显示器208。如果还未接触，则多点触摸桌面管理应用151重复步骤502。如果多点触摸桌面管理应用151确定已经接触了多点触摸显示器208，则多点触摸桌面管理应用151进行至步骤504。在步骤504中，如图4A至4B所示出的步骤418中所述，多点触摸桌面管理应用151确定由第一圈竖直定向的传感器204和第二圈竖直定向的传感器206感测的任何臂的臂投影。可以使用臂投影将接触映射到特定用户。在确定了由第一圈竖直定向的传感器204和第二圈竖直定向的传感器206感测的任何臂的臂投影之后，多点触摸桌面管理应用151进行至步骤506。
在步骤506中，多点触摸桌面管理应用151确定臂投影中的任何臂投影是否在多点触摸显示器208的接触点的预定距离内。为了确定臂投影中的任何臂投影是否在接触点的预定距离内，多点触摸桌面管理应用151将臂投影外插到多点触摸显示器208的表面。如果臂投影中没有臂投影延伸到预定距离内，则多点触摸桌面管理应用151进行至步骤514并且多点触摸桌面管理应用151将接触点映射到最接近的用户身体。如图3中示出的步骤304所述那样确定最接近的用户身体的位置。
如果臂投影在预定距离内，多点触摸桌面管理应用151进行至步骤508。在步骤508中，多点触摸桌面管理应用151确定是否多于一个的臂投影在预定距离内。如果只有单个臂投影在预定距离内，则多点触摸桌面管理应用151进行至步骤510，并且将臂投影映射到接触点。如果多于一个的臂投影在到接触点的预定距离内，则多点触摸桌面管理应用151进行至步骤512，将接触点映射到与其最接近的臂投影。
图5示出了用于将接触点映射到用户的方法500的一个实施方式；然而，也可以考虑其他实施方式。例如，在另一实施方式中，可考虑排除步骤506至步骤512。替代地，多点触摸桌面管理应用151可以进行至步骤514，将用户的最近的臂投影映射到接触点。
图6A是根据本发明的一个实施方式的识别用户的存在的多点触摸桌面的示意性图示。随着用户610靠近多点触摸桌面200，外圈传感器206检测到用户的存在，并且作为响应，多点触摸桌面管理应用151在多点触摸显示器208上显示与用户610相邻的图形表示616。随着用户围绕多点触摸桌面的周界移动，图形表示616基于从外圈传感器206接收的信号追踪用户的移动，并且图形表示616对应地移动以反映用户610的移动。
如图6A所示，图形表示包括圆圈612；然而，可考虑其他图形表示。如果多于一个的用户610同时靠近多点触摸桌面200，则多点触摸桌面200可以呈现与用户610中的每个用户相邻的图形表示616。用户610可以与图形表示交互以例如使用基于触摸的姿势在多点触摸桌面200上登陆特定用户账户。在用户登陆用户账户之后，图形表示616将保持显示以确认多点触摸桌面继续识别该用户的存在。可考虑可以发生图形显示616的视觉变化以示出用户登陆入账户。在一个实施方式中，用户可以接触与图形表示616相邻的多点触摸显示器，并且作为响应，多点触摸桌面管理应用151显示多个表示用户账户的用户资料图片。用户可以选择所期望的账户，并且作为响应，多点触摸桌面管理应用151将图形表示616变化至由用户账户确定的定制颜色以显示用户已登陆。
在一些实施方式中，图形显示616可以以程度变化的透明度或清晰度显示以响应于用户610距多点触摸桌面200的减小的距离。例如，当外圈传感器206首先检测到用户610时，图形显示616可以以第一透明度或清晰度显示。随着用户610更靠近多点触摸桌面200，图形表示616可以变得透明度降低或者清晰度升高直到图形表示616没有任何透明度或被聚焦为止。响应于靠近的用户610的图形表示616的图形显示的变化有助于邀请用户610与多点触摸桌面200交互，或者用于告知用户610多点触摸桌面200感知用户610的存在。随着用户远离多点触摸桌面200移动，图形表示616变得更透明或不清晰，然后当用户距多点处理桌面200的距离在预定距离之外时消失。
此外，因为多点触摸桌面管理应用151能够确定用户619何时在多点触摸桌面200的特定侧，所以多点触摸桌面管理应用151可以在用户610在多点触摸桌面200的不同的侧时支持不同的功能。例如，当用户610在多点触摸桌面200的特定侧时，可以使特定模式或工具能够呈现给用户或者以其他方式使能。附加地或可替代地，在用户610在多点触摸桌面200的特定侧时可以将应用内容以特定方式或格式呈现。随着用户610围绕多点触摸桌面200移动，多点触摸桌面管理应用151可以基于所检测的用户610的位置将内容重新定向到合适的方向。在另一示例中，可以在用户610位于多点触摸桌面200的角落时提供特定功能。例如，当用户与多点触摸桌面的角落相邻时可以识别用户610的存在并且可以显示图形表示616；然而，当用户站立在多点触摸桌面200的角落时可以阻止用户610登陆。
图6B是根据本发明的一个实施方式的识别多个用户610和用户610A的多点触摸桌面200的示意性图示。如图6B所示，响应于每个用户610和用户610A的存在，分别显示作为示例图形显示的圆圈612和圆圈612A。如上所述，用户610和用户610A可以在登陆之后与内容613和内容613A交互。没有登陆的用户不能与内容613和内容613A交互。这使临时的观察者能够指向内容613A和内容613B，而不会无意地改变内容613A或内容613B或者以其他方式与内容613A或内容613B进行交互。
当用户610或用户610A与内容613A或内容613B交互时，其他用户被禁止与该特定内容交互。更具体地，用户不能与另一用户当前交互的内容进行交互。然而，用户610或用户610A可以在以此方式的时候只“控制”该内容的一个部分。因此，用户610可以控制内容613A或内容613B，由此防止用户610A与内容613A或内容613B交互，但是用户610不能同时控制内容613A和内容613B二者。例如，如果用户610正在与内容613A交互，并且开始与内容613B交互，用户610将获得对内容613B的控制(假设另一用户未控制内容613B并且因此可以获得控制)，并且将失去对内容613A的控制。然后用户610A可以与内容613A交互。如果用户610期望在未获得对内容613B的控制的情况下放弃对内容613A的控制，用户610可以远离多点触摸桌面200一小步，然后多点触摸桌面管理应用将使另一用户能够与内容613B交互。通过对内容应用与用户的图形表示的颜色相对应的彩色边界，来指定在特定用户的控制下的内容。这样，使得其他用户意识到对该内容的控制已经被建立。
图6A至6B示出了多点触摸桌面的实施方式；然而，也可考虑另外的实施方式。例如，考虑到除了接近度传感器或其替代物可以使用深度相机确定接近度。在这样的实施方式中，深度相机可以安装在多点触摸桌面上，或者可以安装在其外部例如天花板或墙上。
图7A至7B阐述了根据本发明的一个实施方式的用于响应于用户相对图6A至6B的多点触摸桌面的交互而执行动作的方法步骤的流程图。虽然结合图1、2、6A和6B描述方法步骤，但是本领域技术人员要理解，被配置成以任何顺序进行方法步骤的任何系统均落入本发明的范围内。
如图所示，方法700在步骤702开始，在步骤702中，多点触摸桌面管理应用151确定用户的手是否位于多点触摸显示器之上。多点触摸桌面管理应用151通过确定如方法400的步骤418所述的用户的臂投影或者通过确定已经与多点触摸桌面作出接触来确定手是否位于多点触摸显示器208之上。如果多点触摸桌面管理应用151确定手不位于多点触摸显示器208之上，则多点触摸桌面管理应用151重复步骤702。
如果多点触摸桌面管理应用151确定手位于多点触摸显示器208之上，多点触摸桌面管理应用151进行至步骤704。在步骤704中，多点触摸桌面管理应用151基于从嵌入在多点触摸显示器208内的一个或多个传感器接收的信号确定位于多点触摸显示器208之上的手是否与多点处理显示器208接触。如果位于多点触摸显示器208之上的手未与多点处理显示器208接触，多点触摸桌面管理应用151进行至步骤706。在步骤706中，多点触摸桌面管理应用151确定手是否位于与所记录的用户例如图6A中示出的圆圈612相对应的图形表示616上。如果多点触摸桌面管理应用151确定手位于与登陆用户相对应的图形表示616上，则多点触摸桌面管理应用151进行至步骤708，显示面板姿势指导。面板姿势指导示出了可以用于与系统交互的各种触摸和接近度姿势，并且可以包括例如“退出”、“打开”及“保存”的命令。
在步骤706中，如果多点触摸桌面管理应用151确定手不位于与登陆用户相对应的图形表示616之上，多点触摸桌面管理应用151进行至步骤710，通过在多点触摸桌面上执行的软件应用来确定手是否位于任何应用内容613A或613B之上。如果手位于任何应用内容613A或613B之上，多点触摸桌面管理应用151进行至步骤714，显示与手位于其上方的特定应用内容613A或613B相关联的小部件。小部件可以包括例如与应用内容613A或应用内容613B相关联的菜单选项例如编辑内容的选项。在步骤710中，如果多点触摸桌面管理应用151确定手不位于任何应用内容613A或613B之上，多点触摸桌面管理应用151进行至步骤712，显示帮助菜单。要注意，虽然多点触摸桌面管理应用151被描述为当手位于显示在多点触摸显示器表面上的特定内容上方时进行某些动作，但是通常直到手在内容613A或内容613B之上经过预定量的时间时，多点触摸桌面管理应用151才执行动作。因此，当用户仅是移动他或她的与多点触摸显示器208相邻的手时，减少了由用户不经意的启动命令的可能性。
返回至步骤704，如果多点触摸桌面管理应用151确定已经启动了与多点触摸显示器208的接触，多点触摸桌面管理应用151进行至步骤716。在步骤716中，多点触摸桌面管理应用151确定接触是否是轻敲姿势。如果用户以少于预定量的时间例如少于约0.5秒保持接触，则多点触摸桌面管理应用151认为接触是轻敲姿势。如果多点触摸桌面管理应用151确定接触是轻敲姿势，多点触摸桌面管理应用151进行至步骤718，确定接触是否由用户的惯用手启动。可考虑每个用户可以定义他或她的惯用手并且将信息保存至用户的个人账户。可以如图6A所示那样访问每个用户账户。针对游客用户账户，可以将惯用手默认为特定手例如游客用户的右手。
如果多点触摸桌面管理应用151确定轻敲姿势由用户的惯用手启动，则多点触摸桌面管理应用151进行至步骤720，在多点触摸显示器208上显示预定的一组菜单选项。菜单选项可以包括例如可以在多点触摸桌面上打开的内容或其他软件应用。另一方面，如果多点触摸桌面管理应用151确定由用户的非惯用手启动轻敲姿势，则多点触摸桌面管理应用151可以进行至步骤722，呈现“清理画布”或“关闭”选择例如“X”，或者可以仅是关闭由非惯用手轻敲的应用或内容窗口。
返回至步骤716，如果多点触摸桌面管理应用151确定接触不是轻敲姿势(例如，与多点触摸显示器208的接触保持的时间大于预定量的时间)，则多点触摸桌面管理应用151进行至步骤724。在步骤724中，多点触摸桌面管理应用151确定在肘部是否发生了竖直变化。多点触摸桌面管理应用151能够通过比较对臂投影的连续确定来确定在肘部位置是否发生了竖直变化。如果用户保持与多点触摸显示器208的接触的同时臂投影相对于多点触摸桌面200的表面的角度在减小，则多点触摸桌面管理应用151将移动与降低的肘部相关联。反之，如果在用户保持与多点触摸显示器208的接触的同时臂投影相对于多点触摸桌面200的表面的角度增大，则多点触摸桌面管理应用151将移动与升高的肘部相关联。
在步骤724中，如果多点触摸桌面管理应用151确定发生了竖直肘部移动，则多点触摸桌面管理应用151进行至步骤736以确定肘部是上升了还是下降了。如果肘部下降了，则多点触摸桌面管理应用151进行至步骤740，多点触摸桌面管理应用151响应于肘部的降低将与用户的手相邻的内容发送至其他显示的内容之后的位置以使得预先与用户的手相邻的内容现在被遮挡。这样的命令可以被称为“置后”命令。反之，如果多点触摸桌面管理应用151在步骤736中确定用户升高了他或她的肘部，则多点触摸桌面管理应用151进行至步骤738，将与用户的手相邻的内容带到多点触摸显示器208的前景。
返回至步骤724，如果多点触摸桌面管理应用151确定未发生肘部移动，则多点触摸桌面管理应用151进行至步骤726。在步骤726中，多点触摸桌面管理应用151确定用户是否使用多于一个的手指与多点触摸显示器208接触。多点触摸桌面管理应用151利用嵌入在多点触摸显示器208中的基于触摸的传感器确定与多点触摸显示器的接触点的数目。如针对图5所述，多点触摸桌面管理应用151认为到臂投影的预定距离内的接触点来源于同一用户。
如果多点触摸桌面管理应用151确定出与多点触摸显示器208的接触是使用单个手指做出的，则多点触摸桌面管理应用151进行至步骤728，使得与接触的手指相邻的内容能够被平移。在步骤728中，内容响应于接触手指的移动而平移。内容的平移反映手指的移动。
或者，如果多点触摸桌面管理应用151在步骤726中确定出与多点触摸显示器208的接触是使用多于一个的手指做出的，则多点触摸桌面管理应用151进行至步骤730。在步骤730中，多点触摸桌面管理应用151确定与多点触摸显示器208接触的多个手指是来自同一手还是来自不同的手。多点触摸桌面管理应用151使用如步骤418(在图4A至4B中示出)中所讨论的臂投影将接触点映射到用户。如果接触点映射到用户的同一臂，则多点触摸桌面管理应用151进行至步骤734。在步骤734中，多点触摸桌面管理应用151响应于用户使用他或她的手所进行的旋转运动来选择与用户的手指相邻的内容。
在步骤730中，如果多点触摸桌面管理应用151确定与多点触摸显示器接触的手指来自用户的不同的手，则多点触摸桌面管理应用151使能对内容的缩放。在步骤732中，多点触摸桌面管理应用151响应于用户的手指的移动对与用户的手指相邻的内容进行缩放。例如，如果用户使得与多点触摸显示器接触的手指彼此远离延伸，则多点触摸桌面管理应用151放大内容。反之，如果用户减小与多点触摸显示器的接触的手指之间的间距，则多点触摸桌面管理应用151减小内容的尺寸。
方法700示出了响应于用户交互而执行动作的一个实施方式；然而，也可考虑其他实施方式。例如，可考虑多点触摸桌面管理应用151可以同时从若干用户接收输入。在这样的实施方式中，多点触摸桌面管理应用151可响应于每个用户输入而同时执行动作。此外，因为多点触摸桌面管理应用151可将接触点和姿势单独地映射到每个用户，所以多点触摸桌面管理应用151能够同时进行基于接触的姿势。例如，一个用户可以在另一个用户平移内容的同时旋转内容。这样的动作对于标准的基于接触的装置是不可能的。此外，可考虑当多个用户与多点触摸桌面交互时，多点触摸桌面管理应用151可将内容定向成朝着当前与多点触摸桌面交互的用户。
如图7A至7B所示，多点触摸桌面利用基于触摸的显示器和接近度传感器来增加用户可以与多点触摸桌面200交互的方式的数目。多点触摸桌面管理应用151能够基于触摸和接近度姿势的组合来接收输入并且执行动作。因此，由于多点触摸桌面200比标准触摸装置能够接收更多样化的用户输入，所以与多点触摸桌面200的交互的数目更多并且整体用户体验更令人愉快。然而，要注意，图7A至7B只是响应于用户交互所进行的一些动作的示例。例如，在另一实施方式中，用户可能将他或她的手悬停在第一圈竖直定向的传感器204之上。在这样的实施方式中，可以将由用户所进行的另外的姿势显示在多点触摸显示器208上。附加的姿势有利于帮助用户与多点触摸桌面200交互，特别是在用户不确定可以使用哪个姿势与多点触摸桌面200交互时。因此，可以看出，在一些实施方式中，用户可以只使用基于接近度的姿势与多点触摸桌面200交互。
图8是根据本发明的一个实施方式的用于当图6A至6B的多点触摸桌面在工作在“请勿打扰”模式时处理输入的方法步骤的流程图。虽然结合图1、2、6A和6B描述了方法步骤，但是本领域技术人员要理解，被配置成以任何顺序执行方法步骤的任何系统均落入本发明的范围内。
如图所示，方法800在步骤802开始。在步骤802中，如参考图7A至7B所示出的步骤708所述，多点触摸桌面管理应用151接收显示面板姿势指导的请求。在步骤804中，多点触摸桌面管理应用151接收进入“请勿打扰”模式的请求。“请勿打扰”模式是面板姿势指导上的可由用户选择的选项。“请勿打扰”模式是只使得单个用户(例如，启动命令进入“请勿打扰”模式的用户)能够与多点触摸桌面200交互。如在806至步骤812所示，禁止其他用户与多点触摸桌面200的交互，并且忽略多点触摸桌面管理应用151从其他用户接收的命令。
在步骤806中，多点触摸桌面管理应用151接收用户输入。例如，用户输入可以是指示多点触摸桌面200进行特定动作的基于触摸的或基于接近度的姿势。在步骤808中，多点触摸桌面管理应用151确定所接收的输入是否来自启动“请勿打扰”模式的用户。在做出这样的确定时，多点触摸桌面管理应用151使用参考图4A至4B的步骤418所阐述的臂投影将所接收的输入映射到用户。如果输入是从进入“请勿打扰”模式的用户接收，则多点触摸桌面管理应用151进行至步骤810，处理用户输入。在多点触摸桌面管理应用151确定输入不是从进入“请勿打扰”模式的用户接收时，多点触摸桌面管理应用151忽略该输入。直到由进入“请勿打扰”模式的同一用户退出“请勿打扰”模式为止，只有启动“请勿打扰”模式的用户可以与多点触摸桌面200交互。
在一些实施方式中，多点触摸桌面管理应用151可以告知与多点触摸桌面200相邻的用户系统处于“请勿打扰”模式。例如，在多点触摸显示器208上显示的与每个用户相邻的图形表示可以针对能够与多点触摸显示器208交互的用户而表现出不同。可考虑被许可与多点触摸显示器交互的用户的图形表示可以以第一颜色(例如，蓝色)显示，而不具有许可的用户的图形表示可以以第二颜色(例如，红色)显示。也可考虑告知用户其不具有与多点触摸桌面200交互的许可的其他方法。
总之，所公开的接近度感知的多点触摸桌面包括触摸屏显示器和接近度传感器二者。接近度传感器围绕触摸屏显示器设置成一个或多个环形组。在一个实施方式中，接近度传感器是基于红外的并且被围绕触摸屏定位成三组。在这样的实施方式中，第一外圈包括长程传感器以感测多点触摸桌面附近的一个或多个用户的接近度。外圈传感器中的每个传感器沿水平方向向外定向以感测用户的存在以及用户距多点触摸桌面的距离。当外圈传感器检测到用户的存在时，第一圈竖直定向的传感器和第二圈竖直定向的传感器被激活。第一圈竖直定向的传感器设置在第二圈竖直定向的传感器的外部。第一圈竖直定向的传感器和第二圈竖直定向的传感器适于追踪并识别用户的臂、手和手指的移动。第一圈竖直定向的传感器包括长程传感器，而第二圈竖直定向的传感器包括短程传感器以增加感测分辨率。
外圈传感器与第一圈竖直定向的传感器及第二圈竖直定向的传感器的组合使多点触摸桌面能够感测用户的身体、臂、手或手指距多点触摸桌面的距离。由此，可相对于用户的身体位置而确定用户的手、臂和手指位置，这使多点触摸桌面能够使用用户身体作为参考区分左手/臂姿势与右手/臂姿势。此外，因为多点触摸桌面可以将左臂移动和右臂移动与用户身体相关联，所述多点触摸桌面能够通过确定姿势是来源于左手/臂还是右手/臂来支持多用户。此外，因为多点触摸桌面可以区分来自不同用户的命令，所以多点触摸桌面可以取决于当前与多点触摸桌面交互的用户而支持不同的功能。例如，可以取决于当前与多点触摸桌面进行交互的用户来将显示在多点触摸桌面上的图像定向在特定方向上。
所公开的多点触摸桌面的一个优点是其能够增强用户体验，特别是在多个用户以协作的方式与多点触摸桌面交互时。具体地，所公开的多点触摸桌面能够区分特定用户之间的交互并且可以适当地对显示屏上的内容定向。此外，所公开的多点触摸桌面有助于若干新的模式的交互，包括依赖手的菜单、依赖手的对象转移以及依赖手的分组操作。另外的交互包括悬停激活姿势、通过用户接近度进行内容控制以及请勿打扰模式。因为多点触摸桌面可以使用接近度传感器追踪用户移动，所以用户可以使用不需要与触摸屏显示器进行身体接触的姿势与多点触摸桌面进行交互。因此，被设计用于在多点触摸桌面上使用的程序可以使用较宽范围的交互模式和命令，进一步增强了用户体验。
虽然前述内容涉及本发明的实施方式，但是在不脱离本发明的基本范围的情况下可以做出本发明的其他及另外的实施方式。例如，可以以硬件或软件或者硬件与软件的组合的形式实现本发明的各方面。本发明的一个实施方式可以实现为用于计算机系统的程序产品。程序产品的程序限定实施方式(包括本文中所描述的方法)的功能并且可以被包括在多种计算机可读存储介质中。说明性的计算机可读存储介质包括但不限于：(i)其上永久存储信息的不可写存储介质(例如，计算机内的只读存储器装置例如可以由CD-ROM驱动器读取的CD-ROM盘、闪存存储器、ROM芯片或者任何类型的固态非易失性半导体存储器)；以及(ii)其上存储可改变信息的可写存储介质(例如，软盘驱动器或硬盘驱动器内的软盘或者任何类型的固态随机存取半导体存储器)。当进行指示本发明的功能的计算机可读指令时，这样的计算机可读存储介质是本发明的实施方式。
上面参考特定实施方式和大量具体细节描述阐述了本发明以提供对本发明更充分的理解。然而，本领域技术人员要理解，在不脱离本发明的较宽的精神和范围的情况下可以对本发明做出各种变型和改变。因此，前面的描述和附图被认为是说明性的而不是限制性的。
考虑到前述内容，本发明的实施方式的范围由下面的权利要求限定。

Claims (20)

1.一种多点触摸桌面，包括：
多点触摸显示器；
围绕所述多点触摸显示器设置的外圈传感器；
围绕所述多点触摸显示器设置并且被配置成检测所述多点触摸显示器的第一距离内的对象的第一圈竖直定向的接近度传感器；以及
围绕所述多点触摸显示器设置并且被配置成检测所述多点触摸显示器的第二距离内的对象的第二圈竖直定向的接近度传感器。
2.根据权利要求1所述的多点触摸桌面，其中，所述第一圈竖直定向的接近度传感器和所述第二圈竖直定向的接近度传感器被设置成彼此平行。
3.根据权利要求1所述的多点触摸桌面，其中，所述外圈传感器内的传感器被设置成垂直于所述第一圈竖直定向的接近度传感器和所述第二圈竖直定向的接近度传感器内的传感器。
4.根据权利要求1所述的多点触摸桌面，其中，所述外圈传感器和所述第一圈竖直定向的接近度传感器包括长程传感器。
5.根据权利要求4所述的多点触摸桌面，其中，所述第二圈竖直定向的接近度传感器包括短程传感器。
6.根据权利要求5所述的多点触摸桌面，其中，所述第一圈竖直定向的接近度传感器从所述第二圈竖直定向的接近度传感器向外设置。
7.根据权利要求1所述的多点触摸桌面，其中，所述外圈传感器将指示用户在所述多点触摸桌面周围的位置的信号提供给软件应用。
8.根据权利要求7所述的多点触摸桌面，其中，所述外圈传感器将指示用户距所述多点触摸桌面的距离的信号提供给所述软件应用。
9.根据权利要求8所述的多点触摸桌面，其中，所述外圈传感器包括长程传感器。
10.根据权利要求1所述的多点触摸桌面，其中，所述第一圈竖直定向的接近度传感器将指示用户的臂在所述多点触摸桌面周围的位置的信号提供给软件应用。
11.根据权利要求10所述的多点触摸桌面，其中，所述第一圈竖直定向的接近度传感器将指示所述用户的所述臂距所述多点触摸桌面的距离的信号提供给所述软件应用。
12.根据权利要求11所述的多点触摸桌面，其中，所述第一圈竖直定向的接近度传感器包括长程传感器。
13.根据权利要求1所述的多点触摸桌面，其中，所述第二圈竖直定向的接近度传感器将指示用户的臂在所述多点触摸桌面周围的位置的信号提供给软件应用。
14.根据权利要求13所述的多点触摸桌面，其中，所述第二圈竖直定向的接近度传感器将指示所述用户的所述臂距所述多点触摸桌面的距离的信号提供给所述软件应用。
15.根据权利要求14所述的多点触摸桌面，其中，所述第二圈竖直定向的接近度传感器包括短程传感器。
16.根据权利要求1所述的多点触摸桌面，其中，所述第二圈竖直定向的接近度传感器从所述第一圈竖直定向的接近度传感器径向向内设置。
17.根据权利要求16所述的多点触摸桌面，其中，所述外圈传感器和所述第一圈竖直定向的接近度传感器包括长程传感器，并且所述第二圈竖直定向的接近度传感器包括短程传感器。
18.根据权利要求17所述的多点触摸桌面，其中，所述长程传感器具有10厘米至80厘米的范围，并且所述短程传感器具有4厘米至30厘米的范围。
19.根据权利要求1所述的多点触摸桌面，其中，所述第二圈竖直定向的接近度传感器包括比所述第一圈竖直定向的接近度传感器更多的传感器。
20.根据权利要求1所述的多点触摸桌面，其中，所述第二圈竖直定向的接近度传感器中的传感器彼此之间的间距小于所述第一圈竖直定向的接近度传感器中的传感器彼此之间的间距。
CN201280055669.XA 2011-10-13 2012-10-12 接近度感知的多点触摸桌面 Active CN104040470B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161546947P 2011-10-13 2011-10-13
US61/546,947 2011-10-13
PCT/US2012/060103 WO2013056157A1 (en) 2011-10-13 2012-10-12 Proximity-aware multi-touch tabletop

Publications (2)

Publication Number Publication Date
CN104040470A CN104040470A (zh) 2014-09-10
CN104040470B true CN104040470B (zh) 2017-03-15

Family

ID=48082538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055669.XA Active CN104040470B (zh) 2011-10-13 2012-10-12 接近度感知的多点触摸桌面

Country Status (4)

Country Link
US (2) US8976136B2 (zh)
EP (1) EP2766796A4 (zh)
CN (1) CN104040470B (zh)
WO (1) WO2013056157A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101694771B1 (ko) * 2010-03-31 2017-01-11 삼성전자주식회사 휴대용 단말기에서 사용자의 입력 패턴을 판단하기 위한 장치 및 방법
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US20110252376A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US8976136B2 (en) * 2011-10-13 2015-03-10 Autodesk, Inc. Proximity-aware multi-touch tabletop
US8842088B2 (en) * 2012-07-27 2014-09-23 Apple Inc. Touch gesture with visible point of interaction on a touch screen
US9477404B2 (en) * 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
CN104123179A (zh) * 2013-04-29 2014-10-29 敦南科技股份有限公司 中断控制方法及其电子系统
WO2014178800A1 (en) * 2013-05-02 2014-11-06 Spoton Cognitive Co., Ltd User interface for multiple-users collaboration surface
US20140359539A1 (en) * 2013-05-31 2014-12-04 Lenovo (Singapore) Pte, Ltd. Organizing display data on a multiuser display
US9128552B2 (en) 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9223340B2 (en) 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9029780B2 (en) * 2013-09-11 2015-05-12 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
KR20150049469A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 멀티 윈도우에서의 사용자 인터페이스 제공 방법 및 장치
US9841821B2 (en) * 2013-11-06 2017-12-12 Zspace, Inc. Methods for automatically assessing user handedness in computer systems and the utilization of such information
GB2520069A (en) * 2013-11-08 2015-05-13 Univ Newcastle Identifying a user applying a touch or proximity input
RU2016124468A (ru) * 2013-12-27 2017-12-25 Сони Корпорейшн Управляющее устройство, способ управления и компьютерная программа
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
US9223441B1 (en) 2014-08-07 2015-12-29 Microsoft Technology Licensing, Llc Detection surface for a computing device
US10301801B2 (en) 2014-12-18 2019-05-28 Delta Faucet Company Faucet including capacitive sensors for hands free fluid flow control
US11078652B2 (en) 2014-12-18 2021-08-03 Delta Faucet Company Faucet including capacitive sensors for hands free fluid flow control
CN104820515A (zh) * 2015-04-28 2015-08-05 苏州众垦电子材料有限公司 多功能触摸智能桌
US9830495B2 (en) * 2015-07-17 2017-11-28 Motorola Mobility Llc Biometric authentication system with proximity sensor
EP3326052A1 (en) * 2015-07-20 2018-05-30 Bang & Olufsen A/S Apparatus and method for detecting gestures on a touchpad
US10466839B2 (en) * 2016-03-30 2019-11-05 Synaptics Incorporated Dynamic differential algorithm for side touch signals
KR101886819B1 (ko) * 2016-06-24 2018-08-09 에스케이텔레콤 주식회사 테이블 탑 디스플레이 장치 및 그 구동 방법
JP6087468B1 (ja) * 2016-09-21 2017-03-01 京セラ株式会社 電子機器
FR3069349A1 (fr) * 2017-07-20 2019-01-25 Jcdecaux Sa Table d'affichage digital a interactions
CN107817898B (zh) * 2017-10-31 2022-07-22 努比亚技术有限公司 操作模式识别方法、终端及存储介质
KR101980977B1 (ko) * 2017-11-23 2019-05-21 성균관대학교산학협력단 다중 사용자 환경에서 사용자 기반 어플리케이션 그룹핑 방법 및 이를 수행하는 테이블탑 디스플레이 장치
CN108095320A (zh) * 2017-12-14 2018-06-01 吴志华 一种带通讯模块的智能桌
DE102018124452A1 (de) * 2018-10-04 2020-04-09 Garamantis GmbH Vorrichtung zum Überwachen einer seitlichen Umgebung eines Multi-Touch-Bildschirms sowie Verfahren zum Betreiben eines Multi-Touch-Bildschirms
US11445816B2 (en) 2019-07-24 2022-09-20 Norm, Inc. Table with one or more tap gesture-activated light indicators
USD917940S1 (en) 2019-07-24 2021-05-04 Norm, Inc. Table

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101632057A (zh) * 2007-01-03 2010-01-20 苹果公司 接近和多重触摸传感器检测及解调
CN101802767A (zh) * 2007-09-25 2010-08-11 微软公司 基于接近度的计算机显示器
CN101933010A (zh) * 2008-01-21 2010-12-29 美国索尼电脑娱乐有限责任公司 具有触摸屏和数字触觉像素的手持装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940001227A (ko) * 1992-06-15 1994-01-11 에프. 제이. 스미트 터치 스크린 디바이스
US5605406A (en) * 1992-08-24 1997-02-25 Bowen; James H. Computer input devices with light activated switches and light emitter protection
US5515083A (en) * 1994-02-17 1996-05-07 Spacelabs Medical, Inc. Touch screen having reduced sensitivity to spurious selections
JP2001147106A (ja) * 1999-11-24 2001-05-29 Namco Ltd 受光パターン検出装置
US6961051B2 (en) * 2003-01-29 2005-11-01 Visteon Global Technologies, Inc. Cross-point matrix for infrared touchscreen
KR100753568B1 (ko) 2003-06-30 2007-08-30 엘지.필립스 엘시디 주식회사 비정질 반도체층의 결정화방법 및 이를 이용한 액정표시소자의 제조방법
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
US7307624B2 (en) * 2003-12-30 2007-12-11 3M Innovative Properties Company Touch sensor with linearized response
US7538759B2 (en) * 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20060132454A1 (en) * 2004-12-16 2006-06-22 Deng-Peng Chen Systems and methods for high resolution optical touch position systems
JP4652826B2 (ja) * 2005-01-14 2011-03-16 タッチパネル・システムズ株式会社 情報入力装置
US8610675B2 (en) * 2007-03-14 2013-12-17 Power2B, Inc. Interactive devices
JP2009508205A (ja) * 2005-09-08 2009-02-26 パワー２ビー，インコーポレイティド ディスプレイ及び情報入力装置
CN101000529B (zh) * 2006-01-13 2011-09-14 北京汇冠新技术股份有限公司 一种用于红外触摸屏的触摸力检测装置
JP5305317B2 (ja) * 2006-09-04 2013-10-02 富士フイルム株式会社 表示システム、表示方法、および表示プログラム
US8284165B2 (en) * 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
KR100942720B1 (ko) * 2007-10-24 2010-02-16 한국표준과학연구원 접촉저항방식 촉각센서를 이용한 박판형 터치스크린과 그 제조 방법 및 이 터치스크린의 알고리즘 구현 방법
KR100952699B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉각센서를 이용한 터치스크린장치의 풀브라우징 표시방법
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
KR20090112118A (ko) * 2008-04-23 2009-10-28 엘지이노텍 주식회사 표시장치
KR20100006219A (ko) * 2008-07-09 2010-01-19 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US20100220065A1 (en) * 2009-02-27 2010-09-02 Research In Motion Limited Touch-sensitive display including a force-sensor and portable electronic device including same
US9477342B2 (en) 2008-08-26 2016-10-25 Google Technology Holdings LLC Multi-touch force sensing touch-screen devices and methods
US8780054B2 (en) * 2008-09-26 2014-07-15 Lg Electronics Inc. Mobile terminal and control method thereof
US8711109B2 (en) * 2008-10-10 2014-04-29 Cherif Algreatly Touch sensing technology
KR101554183B1 (ko) * 2008-10-15 2015-09-18 엘지전자 주식회사 이동 단말기 및 그의 출력 제어 방법
JP4816713B2 (ja) * 2008-11-25 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法および情報処理用プログラム
US20100134424A1 (en) * 2008-12-02 2010-06-03 At&T Mobility Ii Llc Edge hand and finger presence and motion sensor
US8078769B2 (en) * 2008-12-02 2011-12-13 At&T Mobility Ii Llc Automatic QoS determination with I/O activity logic
US9069453B2 (en) * 2008-12-04 2015-06-30 Mitsubishi Electric Corporation Display input device
SE533704C2 (sv) * 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US8432366B2 (en) 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
KR20100119936A (ko) * 2009-05-04 2010-11-12 삼성전자주식회사 휴대용 단말기의 입력 장치
KR20100129424A (ko) * 2009-06-01 2010-12-09 한국표준과학연구원 터치스크린의 접촉위치 및 접촉힘의 세기를 이용한 사용자 인터페이스 제공 방법 및 장치
US20110001706A1 (en) * 2009-07-02 2011-01-06 Emery Sanford Electronic device touch screen display module
US8319751B2 (en) * 2009-09-02 2012-11-27 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and system for touch and gesture detection
JP5526761B2 (ja) * 2009-12-22 2014-06-18 ソニー株式会社 センサ装置及び情報処理装置
US8669963B2 (en) * 2010-02-03 2014-03-11 Interlink Electronics, Inc. Sensor system
KR101694771B1 (ko) * 2010-03-31 2017-01-11 삼성전자주식회사 휴대용 단말기에서 사용자의 입력 패턴을 판단하기 위한 장치 및 방법
KR20110111031A (ko) * 2010-04-02 2011-10-10 삼성전자주식회사 복합 터치 스크린 패널 장치
KR20120002008A (ko) * 2010-06-30 2012-01-05 삼성전자주식회사 복합 터치 스크린 패널 장치
US20120098757A1 (en) * 2010-10-26 2012-04-26 Ramin Samadani System and method utilizing boundary sensors for touch detection
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display
US8976136B2 (en) * 2011-10-13 2015-03-10 Autodesk, Inc. Proximity-aware multi-touch tabletop

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101632057A (zh) * 2007-01-03 2010-01-20 苹果公司 接近和多重触摸传感器检测及解调
CN101802767A (zh) * 2007-09-25 2010-08-11 微软公司 基于接近度的计算机显示器
CN101933010A (zh) * 2008-01-21 2010-12-29 美国索尼电脑娱乐有限责任公司 具有触摸屏和数字触觉像素的手持装置

Also Published As

Publication number Publication date
US8976135B2 (en) 2015-03-10
EP2766796A1 (en) 2014-08-20
CN104040470A (zh) 2014-09-10
EP2766796A4 (en) 2015-07-01
US20130100057A1 (en) 2013-04-25
US8976136B2 (en) 2015-03-10
US20130093708A1 (en) 2013-04-18
WO2013056157A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
CN104040470B (zh) 接近度感知的多点触摸桌面
KR101823182B1 (ko) 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과
US8730309B2 (en) Projectors and depth cameras for deviceless augmented reality and interaction
CN105659295B (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
US9852546B2 (en) Method and system for receiving gesture input via virtual control objects
US8988494B2 (en) Storage medium encoded with display control program, display, display system, and display control method
JP5638896B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
US9501218B2 (en) Increasing touch and/or hover accuracy on a touch-enabled device
TW201346640A (zh) 影像處理裝置及電腦程式產品
EP3400500A1 (en) Three-dimensional object tracking to augment display area
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
CN103339591A (zh) 用于用户输入以控制显示信息的装置和方法
US10379680B2 (en) Displaying an object indicator
CN105302407A (zh) 一种应用程序图标显示方法及装置
CN104081307A (zh) 图像处理装置、图像处理方法和程序
CN110448904B (zh) 游戏视角的控制方法及装置、存储介质、电子装置
US11893206B2 (en) Transitions between states in a hybrid virtual reality desktop computing environment
TW202219704A (zh) 擴展現實系統的使用者介面佈局和輸入的動態配置
JPWO2015159547A1 (ja) 情報処理システム、制御方法、及びプログラム記録媒体
US20210287330A1 (en) Information processing system, method of information processing, and program
EP3088991B1 (en) Wearable device and method for enabling user interaction
EP2540090A2 (en) Projectors and depth cameras for deviceless augmented reality and interaction
Ewerling A novel processing pipeline for optical multi-touch surfaces
WO2014139127A1 (en) Methods, apparatuses, and computer program products for improved picture taking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant