CN107077196B - 识别触敏表面上的对象 - Google Patents

识别触敏表面上的对象 Download PDF

Info

Publication number
CN107077196B
CN107077196B CN201480082394.8A CN201480082394A CN107077196B CN 107077196 B CN107077196 B CN 107077196B CN 201480082394 A CN201480082394 A CN 201480082394A CN 107077196 B CN107077196 B CN 107077196B
Authority
CN
China
Prior art keywords
camera
examples
capacitive
data
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480082394.8A
Other languages
English (en)
Other versions
CN107077196A (zh
Inventor
J·姜
D·B·肖尔特
B·温妮
A·A·马拉瑟
G·C·梅恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107077196A publication Critical patent/CN107077196A/zh
Application granted granted Critical
Publication of CN107077196B publication Critical patent/CN107077196B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

本文公开的示例特别描述了计算系统。所述计算系统可以包括例如触敏表面，用以获得表示设置在触敏表面上的对象的电容签名，以及相机，用以获得表示该对象的补充数据。所述系统还可以包括识别引擎，用以至少基于电容签名获得与对象相关联的识别数据，并且至少基于补充数据获得对象的至少一个特性。

Description

识别触敏表面上的对象
背景
许多计算系统如今包括至少一个显示器和至少一个输入设备。示例输入设备包括鼠标，键盘，能够检测与其接触的物理对象的触敏表面等。
附图说明
以下详细描述参考附图，其中：
图1是包括识别引擎的示例计算系统的示意性透视图；
图2是图1的示例计算系统的另一示意性透视图；
图3是图1的示例计算系统的示意性侧视图；
图4是图1的示例计算系统的示意性前视图；
图5是在示例操作期间图1的示例计算系统的示意性侧视图；
图6是在另一示例操作期间图1的示例计算系统的示意性前视图；
图7是图示了图像捕获的示例的图1的示例计算系统的示意性侧视图；
图8是图1的示例计算系统的另一示意性透视图；
图9A图示了对象的示例电容图案；
图9B图示了图1的示例计算系统的触敏表面的示例电容图；
图10是图1的示例计算系统的示例计算设备的框图；
图11图示了存储器的示例部分；
图12是图1的示例计算系统的另一示例计算设备的框图；以及
图13是用于获得与对象相关联的识别数据的示例方法的流程图。
具体实施方式
计算系统的用户的用户体验可以通过允许用户结合在计算系统上运行的应用来使用可移动物理对象(例如棋子，骰子或任何其他类型的二维或三维物理对象)来增强。在这样的系统中，让计算系统识别对象并确定它们的特性可能是有困难的。
在本文描述的一些示例中，可以获得与设置在触敏表面上的一个或多个对象相关联的识别数据和/或特性。如下面更详细描述的，可以基于表示对象的电容签名和/或基于表示对象的补充数据(诸如图像数据，红外数据，深度数据等)来获得识别数据和特性。在一些示例中，与对象相关联的所获得的识别数据和/或特性可以被提供给软件应用并由软件应用使用以增强用户体验并且实现附加的特征和功能。
在本文描述的一些示例中，描述了计算系统。计算系统可以包括例如用于获得表示设置在触敏表面上的对象的电容签名的触敏表面以及用于获得表示对象的补充数据的相机。该系统还可以包括识别引擎，用于至少基于电容签名获得与对象相关联的识别数据，并且至少基于补充数据获得对象的至少一个特性。
现在参考附图，图1-7是包括识别引擎170的示例计算系统100的示意图。在图1-7的示例中，系统100可以包括支撑结构110，计算设备150，投影仪配件184和触敏表面200。系统100还可以包括指向触敏表面的传感器束(sensor bundle)164，用以捕获表示设置在触敏表面200上的对象的一个或多个图像。计算设备150可以包括识别引擎170，用以识别对象和/或获得对象的特性。
计算设备150可以包括符合这里公开的原理的任何合适的计算设备。如本文所使用的，“计算设备”可以包括电子显示设备，智能电话，平板，芯片组，一体化计算机(例如，包括也容纳计算机的处理资源(多个)的显示设备的设备)，台式计算机，笔记本计算机，工作站，服务器，任何其他处理设备或装置或其组合。在此示例中，设备150是一体化计算机，所述一体化计算机具有中心轴或中心线155，第一或顶侧150A，与顶侧150A轴向相对的第二或底侧150B，在侧面150A和150B之间轴向延伸的前侧150C，也在侧面150A和150B之间轴向延伸并且与前侧150C大致径向相对的后侧150D。显示器152沿着前侧150C设置并且限定计算系统100的观看表面以显示图像以供系统100的用户观看。在本文描述的示例中，显示器可以包括适于显示图像，视频等等的任何技术的组件。
在一些示例中，显示器152可以是触敏显示器。在本文所描述的示例中，触敏显示器可以包括例如用于显示图像，视频等的任何合适的技术(例如，组件)，并且可以包括用于检测物理接触(例如，触摸输入)的任何合适的技术(例如，组件)，诸如像电阻，电容，表面声波，红外(IR)，变形测量器，光学成像，声学脉冲识别，色散信号感测或单元内系统等。在本文所描述的示例中，显示器152可以被称为触敏显示器152。设备150还可以包括相机154，相机154例如可以是网络相机。在一些示例中，相机154可以捕获位于显示器152前面的用户的图像。在一些示例中，设备150还可以包括麦克风或其他用以接收声音输入(例如，来自用户的语音输入)的设备。
在图1-7的示例中，支撑结构110包括基部120，直立构件140和顶部160。基部120包括第一或前端120A以及第二或后端120B。基部120可与支撑表面15接合以支撑系统100的组件(例如，构件140，单元180，设备150，顶部160等)的至少一部分的重量。在一些示例中，当系统100被配置用于操作时，基部120可以采用这种方式与支撑表面15接合。在图1-7的示例中，基部120的前端120A包括凸起部分122，当基部120例如如图2所示设置在支撑表面15上时，凸起部分122可设置在支撑表面15上方并与支撑表面15分离(在部分122和表面15之间形成空间或间隙)。在这样的示例中，触敏表面200的一侧的一部分可以设置在部分122和表面15之间形成的空间中(例如，被收纳在所述空间之内)。在这种示例中，将表面200的一部分放置在由部分122和表面15所形成的空间之内可以有助于表面200的正确对准。在其他示例中，可以使用其他合适的方法或设备来辅助表面200的对准。
直立构件140包括第一或上端140A，与上端140A相对的第二或下端140B，在端部140A和140B之间延伸的第一或前侧140C，以及与前侧140C相对并且还在端部140A和140B之间延伸的第二或后侧140D。构件140的下端140B联接到基部120的后端120B，使得构件140从支撑表面15基本上向上延伸。
顶部160包括第一或近端160A，与近端160A相对的第二端或远端160B，在端部160A和160B之间延伸的顶表面160C，以及与顶表面160C相对并且还在端部160A和160之间延伸的底表面160D。顶部160的近端160A联接到直立构件140的上端140A，使得远端160B从直立构件140的上端140A向外延伸。因此，在图2所示的示例中，顶部160在端部160A(而不是端部160B)处被支撑，并且在本文中可被称为悬臂顶部。在一些示例中，基部120，构件140和顶部160可以整体形成。在其他示例中，基部120，构件140和顶部160中的两个或更多个可以由单独的部件形成(即，不是被整体形成)。
触敏表面200可以包括中心轴或中心线205，第一或前侧200A，以及与前侧200A轴向相对的第二或后侧200B。触敏表面200可以包括用于检测通过诸如手或其他对象(例如，包含导电材料的对象)的对象与表面200的物理接触的任何合适的技术，所述对象在表面200上或接近表面200的放置可引起表面200的电容或其他参数的可检测变化。例如，触敏表面200可以包括任何合适的技术，用于检测(并且在一些示例中跟踪)用户的一个或多个触摸输入以使得用户能够经由这样的触摸输入与由设备150或者另一计算设备执行的软件交互。作为另一示例，触敏表面200可以包括任何合适的技术，用于检测(并且在一些示例中跟踪)设置在触敏表面200上的一个或多个对象以使得用户能够经由放置，旋转，移动和其他操纵这样的对象来与由设备150或另一计算设备执行的软件交互。
在本文所述的示例中，触敏表面200可以是任何合适的触敏平面(或基本上平面的)对象，诸如触敏垫，桌面，薄片等。在一些示例中，触敏表面200可以水平(或近似或基本水平)地设置。例如，表面200可以设置在支撑表面15上，支撑表面15可以是水平的(或近似或基本水平的)。
在一些示例中，表面200的全部或基本上全部可以能够检测如上所述的触摸输入。在其他示例中，小于全部的表面200可以能够检测如上所述的触摸输入。例如，表面200可以包括在小于全部的表面200上方延伸的触敏区域202，其中区域202能够检测如上所述的触摸输入。在其他示例中，区域202可以在基本上全部表面200上方延伸(例如，可以与表面200基本上毗连)。区域202可以基本上与轴205对准。
如上所述，表面200可以与结构110的基部120对准，以(例如，至少在系统100的操作期间)有助于表面200的正确对准。在图1-7的示例中，表面200的后侧200B可以设置在基部120的凸起部分122和支撑表面15之间，使得后端200B与基部120的前侧120A对准，以有助于表面200与系统100的其它组件的正确的总体对准(以及特别是区域202与系统100的其它组件的正确对准)。在一些示例中，表面200可以与设备150对准，使得设备150的中心线155与表面200的中心线205基本对准。在其他示例中，表面200可以与设备150采用不同方式对准。
在一些示例中，表面200和设备150可以彼此通信地连接(例如，电耦合)，使得由表面200接收的用户输入可以被传送到设备150。表面200和设备150可以通过任何合适的有线或无线通信技术或机制(诸如像WI-FI，蓝牙，超声技术，电缆，电引线，电导体，具有磁保持力的电弹簧加载的伸缩探针等或其组合)彼此通信。在图1-7的示例中，设置在表面200的后侧200B上的暴露的电接触可以与基部120的部分122内的相应电伸缩探针引线接合，以在系统100的操作期间在设备150和表面200之间传送信息(例如，传递信号)。在这样的示例中，电接触可以通过相邻的磁体(位于基部120的部分122和表面15之间的间隙中)保持在一起，以磁性地吸引和保持(例如，机械地)沿着表面200的后侧200B设置的相应的铁和/或磁性材料。
参考图3，投影仪单元180包括外壳体182和设置在壳体182内的投影仪配件184。壳体182包括第一或上端182A，与上端182A相对的第二或下端182B以及内腔183。在图3的示例中，壳体182还包括联接或安装构件186，以(例如，至少在系统100的操作期间)与设备150接合并支撑设备150。构件186可以是用于悬挂和支持如本文所描述的任何合适的计算设备150的任何合适的机制或设备。例如，构件186可以包括铰链，该铰链包括旋转轴，使得设备150可以围绕旋转轴(例如，由用户)旋转，以获得用于观看显示器152的期望角度。在一些示例中，设备150可以永久地或半永久地附接到单元180的壳体182。在一些示例中，壳体180和设备150可以一体地或整体地形成为单个单元。
参考图4，在一些示例中，当设备150经由壳体182上的安装构件186悬挂于结构110时，当从前面(即，基本上面向设置在设备150的前侧150C上的显示器152)观看系统100时，投影仪单元180(即，外壳182和配件184这二者)可以基本上被隐藏在设备150后面。另外，如图4所示，当设备150如上所述悬挂于结构110时，投影仪单元180(即，壳体182和配件184两者)以及由此投影的任何图像可以相对于设备150的中心线155基本上对准或居中。
再次参考图3，投影仪配件184设置在壳体182的腔183内并且包括第一或上端184A，与上端184A相对的第二或下端184B。上端184A接近壳体182的上端182A，而下端184B接近壳体182的下端182B。投影仪配件184可以包括用于从计算设备(例如，设备150)接收数据并投影对应于所述输入数据的图像(多个)(例如，从上端184A投影出来)的任何合适的数字光投影仪配件。例如，在一些实现方式中，投影仪配件184可以包括数字光处理(DLP)投影仪或硅基液晶(LCoS)投影仪，它们有利地是紧凑且功率高效的投影引擎，所述投影引擎能够具有多种显示分辨率和尺寸(诸如像具有4∶3纵横比的标准XGA分辨率(1024×768像素)或具有16∶10纵横比的标准WXGA分辨率(1280×800像素))。投影仪配件184进一步通信地连接(例如，电耦合)到设备150，以便从设备150接收数据并且基于接收的数据从端部184A产生(例如投影)光和图像(多个)。投影仪配件184可以经由例如任何合适类型的电耦合或本文所述的任何其它合适的通信技术或机制通信地连接到设备150。在一些示例中，配件184可以经由电导体(多个)，WI-FI，蓝牙，光学连接，超声连接或其组合可通信地连接到设备150。在图1-7的示例中，设备150通过设置在安装构件186内的电引线或导体(例如，如上面关于表面200和基部120所描述的)通信地连接到配件184，从而当设备150通过构件186从结构110悬挂时，设置在构件186内的电引线接触设置在设备150上的相应的引线或导体。
仍然参考图3，顶部160还包括折叠反射镜162和传感器束164。反射镜162包括高反射表面162A，高反射表面162A沿着顶部160的底表面160D设置并且定位成反射在操作期间从投影仪配件184的上端184A向表面200投射的光，图像(多个)等。反射镜162可以包括任何合适类型的反射镜或反射表面。在图1-7的示例中，折叠反射镜162可以包括作用是用于将从配件184发射的光向下折叠到表面200的标准前表面真空金属化铝涂覆的玻璃反射镜。在其他示例中，反射镜162可以具有复杂的非球面曲率，以充当相应的透镜元件以提供额外的聚焦能力或光学校正。
传感器束164包括至少一个传感器(例如，相机或其它类型的传感器)，以基于传感器束164和表面200之间的区域(例如，发生在所述区域中的活动)的状态来检测，测量或以其他方式获取数据。传感器束164和表面200之间的区域的状态可以包括表面200上或表面200上方的对象(多个)，或者表面200上或附近发生的活动。在图3所示的例子中，束164包括RGB相机(或图像传感器)164A，IR相机(或IR传感器)164B，深度相机(或深度传感器)164C和环境光传感器164D。在本文描述的示例中，相机可以被称为“传感器”
在一些示例中，RGB相机164A可以是捕获彩色图像(例如，静止图像和视频中的至少一个)的相机。在一些示例中，RGB相机164A可以是根据RGB颜色模型捕获图像(所述图像在本文中可被称为“RGB图像”)的相机。然而要理解的是：在其他示例中，RGB相机164A可以是根据其它颜色模型(诸如，YUV，YCbCr，RAW等等)捕获图像的相机。在一些示例中，RGB相机164A可以采用相对高的分辨率捕获图像，所述相对高的分辨率诸如像大约多倍兆像素(MP)的分辨率。作为示例，RGB相机164A可以采用14MP的分辨率捕获彩色(例如，RGB)图像。在其他示例中，RBG相机164A可以采用不同分辨率捕获图像。在一些示例中，RGB相机164A可以指向表面200，并且可以捕获表面200的图像(多个)，设置在表面200和RGB相机164A之间(例如，在表面200上或上方)的对象(多个)或其组合。
IR相机164B可以是这样的相机，它用以检测相机164B的视场中的多个点处的IR光的强度。在本文所描述的示例中，IR相机164B可以与系统100的IR光投影仪166(参见图7)结合操作以捕获IR图像。在这样的示例中，每个IR图像可以包括多个像素，每个像素表示在由该像素表示的点处检测到的IR光的强度。在一些示例中，系统100的顶部160可以包括用于朝向表面200投射IR光167的IR光投影仪166(参见图7)，并且IR相机164B可以指向表面200。在这种示例中，IR相机164B可以检测由表面200、设置在表面200和IR相机164B之间(例如，在表面200上或上方)的对象(多个)或其组合反射的IR光的强度。在一些示例中，IR相机164B可以排他地检测由IR光投影仪166投影的IR光167(例如，从表面200，对象(多个)等反射的光，或直接接收的光)。
深度相机164C可以是用于检测深度相机164C的视场中的对象(多个)的部分的相应距离(多个)(或深度(多个))的相机(传感器(多个)等)。如本文所使用的，由深度相机检测的数据在本文中可被称为“距离”或“深度”数据。在本文所描述的示例中，深度相机164C可以捕获多像素的深度图像(例如，深度图)，其中每个像素的数据表示在由像素表示的点处的对象的一部分的距离或深度(从相机164C测量的距离或深度)。深度相机164C可以使用任何合适的技术(诸如立体视觉相机(多个)，具有大量均匀红外光的单个IR相机传感器，具有大量均匀红外光的双IR相机传感器，结构化的光深度传感器技术，飞行时间(TOF)深度传感器技术或其组合)来实现。在一些示例中，深度传感器164C可以指示对象(例如，三维对象)何时在表面200上。在一些示例中，深度传感器164C可以检测放置在表面200上的对象(或其部分)的存在，形状，轮廓，运动和相应的距离(多个)中的至少一个。
环境光传感器164D可以被布置成测量系统100周围的环境中的光的强度。在一些示例中，系统100可以使用传感器164D的测量来调整系统100的其他部分，诸如像系统100的传感器或相机(例如，相机164A-164C)的曝光设置，从系统100的光源(例如，投影仪配件184，显示器152等)发射的光的强度等。
在一些示例中，传感器束164可以省略传感器164A-164D中的至少一个。在其他示例中，除了传感器164A-164D之外，或者代替传感器164A-164D中的至少一个，传感器束164可以包括其他相机(多个)，传感器(多个)等。例如，传感器束164可以包括用户接口传感器，该用户接口传感器包括用于跟踪用户输入设备(诸如像手，手写笔，定点设备等)的任何合适的设备(多个)(例如，传感器(多个)，相机(多个))。在一些示例中，用户接口传感器可以包括一对相机，它们被布置为在用户在表面200周围(例如，在表面200的区域202周围)移动用户输入设备(例如手写笔)时，立体地跟踪用户输入设备的位置。在其他示例中，用户接口传感器可以附加地或替代地包括被布置为检测由用户输入设备发射或反射的红外光的IR相机(多个)或传感器(多个)。在一些示例中，传感器束164可以包括姿势相机，用以检测由对象(多个)(例如，手等)对预定义姿势的执行。在一些示例中，姿势相机可以包括深度相机和附加功能，用以随时间检测，跟踪等不同类型的运动。
在本文所述的示例中，束164的每个传感器164A-164D通信地连接(例如，耦合)到设备150，使得在束164内产生的数据(例如，由相机捕获的图像)可以被提供给设备150，并且设备150可以向传感器束164的传感器(多个)和相机(多个)提供命令。束164的传感器164A-164D可以经由任何合适的有线或无线通信技术或机制(它们的例子如上所述)通信地连接到设备150。在图1-7的示例中，电导体可以通过设置在安装构件186内的引线(如上所述)从束164通过顶部160，直立构件140和投影仪单元180被布线到设备150中。
参考图5和6，在系统100的操作期间，投影仪配件184可以投射可见光187以反射离开反射镜162而奔向表面200，从而在表面200的投影仪显示空间188上显示可见图像(多个)。在图5-6的示例中，空间188可以是基本上矩形的，具有长度188L和宽度188W。在一些示例中，长度188L可以是大约16英寸，而宽度188W可以是大约12英寸。在其他示例中，长度188L和宽度188W可以具有不同的值。
在一些示例中，传感器束164的相机(例如，相机164A-164C)被布置在系统100内，使得每个相机的视场包括表面200的空间168，空间168可以与一些或全部显示空间188相重叠或者可以与显示空间188毗连。在本文所描述的示例中，传感器束164的相机(例如，相机164A-164C)的视场可以被说成包括空间168，不过这是在表面200可以至少部分地被表面200上或表面200上方的对象(多个)遮挡的时间。在这样的示例中，表面200上或上方的对象(多个)可以处于在相机164A-164C中的至少一个的视场中。在这样的示例中，传感器束164的传感器可以基于传感器束164和表面200的空间168之间的区域(例如，发生在所述区域中的活动，设置在所述区域中的对象(多个))的状态来获取数据。在一些示例中，空间188和空间168这二者与表面200的区域202重合或对应，使得触敏区域202，投影仪配件184和传感器束164的功能全部相对于相同的限定区域执行。在图7中示意性地图示了传感器束164的相机(例如，相机164A-164C)的视场165。在一些示例中，传感器束164的相机(例如，相机164A-164C)的每个可以具有略微不同的视场。
现在参考图5-7，设备150可以指示投影仪配件184将图像(多个)投影到表面200上(例如，投影到区域202上)。设备150还可以在显示器152上显示图像(多个)(所述图像可以与投影仪配件184投影到区域202上的图像(多个)相同或不同)。配件184投影的图像(多个)可以包括由设备150执行的软件产生的信息和/或图像。在一些示例中，通过以任何合适的方式，诸如利用用户的手35(例如，经由触摸，轻敲，姿势或其他触摸输入)，利用手写笔25或者经由任何其它合适的用户输入设备(多个)物理地使触敏表面200接合，用户可以与投影在表面200上并且显示在显示器152上的图像(多个)交互。如上所述，触敏表面200可以检测经由与表面200的物理接合的这种交互。此外，在一些示例中，投影仪配件184还可以(至少部分地)将图像(多个)投影到设置在表面200上方的对象35(例如，如图5所示的手35)上。
作为示例，当用户经由物理接触与触敏表面200交互时，表面200可以生成触摸输入信息并且通过任何合适的连接(其示例在上面描述)将触摸输入信息提供给设备150。在一些示例中，OS可以将接收到的触摸输入传递给设备150上执行的另一应用(例如，程序等)。作为响应，执行的OS或应用可以更改由投影仪配件184投影的图像(多个)，显示在显示器152上的图像(多个)，或其组合。如本文所使用的，“应用”，“计算机应用”或“服务”是可由处理资源执行的机器可读指令的集合。在一些示例中，用户可以类似地与显示器152(它可以是触敏显示器)上显示的图像(多个)或设备150的任何其他输入设备(例如，键盘，鼠标等)交互。
在一些示例中，传感器束164的传感器(例如，相机)还可以生成系统输入，所述系统输入可以被提供给设备150用于进一步处理。例如，系统100可以利用束164的相机(多个)来检测用户的手35(或如图5所选择的手写笔)的存在和位置中的至少一个，并且向设备150提供表示检测到的信息的系统输入信息。所提供的系统输入信息可以被传递到由设备150执行的OS和应用中的至少一个，并且可以更改由系统100显示的图像(多个)，如上文关于触摸输入所描述的。例如，束164可以包括被布置为执行(例如，手写笔25的)立体手写笔跟踪的一对相机或传感器。在其他示例中，手写笔25包括尖端26，所述尖端26被涂覆有红外回射涂层(例如，涂料)，使得尖端26可以用作红外回射器。在这种示例中，束164可以包括如上所述的IR相机(多个)(或传感器(多个))，所述IR相机(多个)检测从所述尖端26反射的IR光以使得设备150随着所述尖端26移动跨过区域202能够跟踪所述尖端26的位置。在一些示例中，表面200(具有由配件184投影在其上的图像(多个))可以用作系统100内的第二或可替代的触敏显示器。此外，可以通过使用如上所述的传感器束164的传感器来增强与显示在表面200上的图像(多个)的交互的检测。
在一些示例中，系统100可以捕获物理对象的二维(2D图像)(多个)或创建物理对象的三维(3D)扫描，使得对象的图像然后可以被投影到表面200上以供进一步使用和操纵它。例如，如图6所示，对象40可以放置在表面200上，使得束164的传感器(例如，相机164A-164C中的至少一个)可以检测对象40的位置，维度和颜色中的至少一个，以增强2D图像(多个)或创建它的3D扫描。在这样的示例中，由束164的传感器收集的信息可以被提供给设备150(例如，设备150的OS，应用，服务等)，如上所述。在一些示例中，在接收所述信息之后，设备150(例如，OS，应用，服务等)可以指示投影仪配件184将对象40的图像投影到表面200上。对象40可以是例如棋子，骰子，智能电话，书，马克杯，笔，文档，照片或任何其他二维或者三维物理对象。对象40还可以是例如具有至少一侧的楔形对象，所述至少一侧面向用户(并且远离显示器152)并且可以例如通过投影仪配件184在上面投影。
在一些示例中，如上所述，用户可以使用设置在触敏表面200上的一个或多个对象与正由设备150执行的软件应用进行交互。例如，如图8所示，计算机系统100可以(例如，使用投影仪配件184)将表示棋盘的图像投影到触敏表面200的触敏区域202上，并且用户可以使用投影的图像作为用于把对象放置在的可能位置的指导把对应于不同棋子的对象40a，40b和40c放置在表面200上。
如上所述，触敏表面200可以检测与其接触的一个或多个对象。在一些示例中，表面200(或计算设备150)可以生成电容图(例如，二维阵列)，其中每个值可以对应于表面200上的特定位置(例如像素)处的检测到的电容水平。在一些示例中，当对象被放置在表面200上时，它可以引起在基本上在对象下方的表面200的区域处测量的电容水平的变化。测量的电容水平可以反映对象(特别是对象的底部表面，例如接触表面200的部分或表面)的形状和材料。在一些示例中，高导电率材料可以比低导电率材料对应于更高的测量电容水平。因此，在一些示例中，放置在表面200上的每个对象可以由其自身在电容图上的电容签名来表示，其中签名可以对应于对象的底部或表面的形状和材料。
在一些示例中，对象可以包括电容图案，电容图案可以是对象的一部分，或者附接到，嵌入在对象中或以其它方式耦合到对象(例如，到对象的底部)。在一些示例中，电容图案可以是施加到对象的底部表面的高电导率(例如，金属)涂层。在其他示例中，电容图案可以是永久地或可拆卸地耦合到对象的底部表面的材料层，诸如粘性地附着到底部表面的薄标签。该层可以包括具有不同程度导电率的至少两个区域。
例如，图9A图示了两个示例电容图案401a和401b。在该示例中，底部表面是圆形的，不过应当理解，对象的底部表面可以是任何形状的。在这个示例中，表面401a和401b具有第一区域403和第二区域402，其中第二区域402包括具有比包括在第一区域403中的材料(例如纸，木材，塑料等)更高的导电率的材料(例如，金属)。在一些示例中，第一区域403可以是对象的底部表面，并且第二区域402可以被涂覆在底部表面上或者被粘着性地耦合到底部表面。在其他示例中，第一区域403和第二区域402可以是相同标签的部分，或者是附着到彼此的不同标签的部分。在一些示例中，例如，如果对象可以放置在它的表面的两个或多个上，则所述对象可以具有多于一个的带有电容签名的表面。例如，立方体形对象(例如，骰子)可以具有六个不同的侧面，其中每个侧面可以具有不同的电容图案(例如，每个图案可以对应于骰子上的点图案)。
在一些示例中，多个电容图案可以被设计为使得每个电容图案不同于其它电容图案，而不管电容图案的旋转或取向是怎样的。一些图案(例如，401b)可以具有阶数1的旋转对称性，意味着将图案旋转一定角度(不同于360度的倍数)将导致不同的图案。对于这种图案，计算系统100可以基于由表面200测量的电容签名来确定图案相对于表面200的旋转度和取向。其他图案(例如401a)可以具有阶数N＞1的旋转对称性，意味着围绕其中心旋转360/N度的图案将导致相同的图案。对于这样的图案，计算系统100可以确定旋转度直到一定度数(例如，60度)。
在一些示例中，相同类型，类或类别的对象可以具有相同的电容图案，并且不同类型的对象可以具有例如从多个电容图案中选择的不同的电容图案。例如，如图8和9B所图示的，车40a和40b可以具有电容图案401a，并且马40c可以具有电容图案401b。如下所述，这可以允许基于它们的电容图案(如由表面200测量的它们的电容签名所表示的)来区分对象的不同类型，类或类别。
现在结合图8和图9A参考图9B，图9B图示了作为将对象40a，40b和40c放置在表面200上(如图8的示例所示)的结果而产生的电容图415。电容图415包括对应于其上投影有棋盘的触敏区域202的区域417。电容图415可以包括与对象40a的电容图案401a相对应的电容签名420a；对应于对象40b的电容图案401a的电容签名420b；以及对应于对象40c的电容图案401b的示例电容签名420c。
如图9B所示，电容签名可以包括与相应对象的第一区域402相对应的第一部分422和与相应对象的第二区域403相对应的第二部分423。因为，如上所述，第一区域402可以包括具有较高导电率的材料(例如，金属)，而第二区域403可以包括具有较低电导率的材料(例如纸，木材，塑料等)，所以第一部分422可以被用比第二部分423更高的测量电容值来表征。如图9B还示出的，电容签名420a，420b和420c可以反映它们各自的对象40a，40b和40c的旋转和取向。
图10是图1的包括识别引擎170的计算系统100的一部分的框图。特别地，图10示出了计算设备150的示例，计算设备150包括识别引擎170和存储器325，并且通信地连接到传感器束164(如上所述)的至少一个相机(例如，相机164A)和触敏表面200(如上所述)。尽管在图10中未示出，但是计算设备150还可以通信地连接到系统100的其他组件(如上所述)。
计算设备150(或实现识别引擎170的任何其他计算设备)可以包括至少一个处理资源。在本文描述的示例中，处理资源可以包括例如一个处理器或多个处理器，所述一个处理器或多个处理器被包括在单个计算设备中或跨过多个计算设备被分布。如本文所使用的，“处理器”可以是以下项中的至少一个：中央处理单元(CPU)，基于半导体的微处理器，图形处理单元(GPU)，被配置为获取和执行指令的现场可编程门阵列(FPGA)，适合于获取和执行存储在机器可读存储介质上的指令的其他电子电路，或其组合。
如上文所指出的，在图10的示例中，计算设备150包括识别引擎170。在其他示例中，识别引擎170可以包括附加引擎(多个)。在本文所述的示例中，计算设备150的任何引擎(多个)(例如引擎170)可以是硬件和编程的任何组合，用以实现相应引擎的功能。硬件和编程的这种组合可以采用多种不同的方式来实现。例如，编程可以是存储在非暂时性机器可读存储介质(例如存储器325)上的处理器可执行指令，并且硬件可以包括用于执行那些指令的处理资源。在这样的示例中，机器可读存储介质可以存储当由处理资源执行时实现引擎的指令。存储指令的机器可读存储介质可以与执行指令的处理资源被集成在相同的计算设备(例如，设备150)中，或者机器可读存储介质可以与计算设备和处理资源分离，但可被计算设备和处理资源访问。处理资源可以包括一个处理器或多个处理器，所述一个处理器或多个处理器被包括在单个计算设备中或跨过多个计算设备被分布。
在一些示例中，指令可以是安装包的一部分，安装包在安装时可以由处理资源执行以实现系统100的引擎。在这样的示例中，机器可读存储介质可以是便携式介质(诸如光盘，DVD或闪存驱动器)，或可以是由可以从其下载和安装所述安装包的服务器维护的存储器。在其他示例中，指令可以是已经安装在包括处理资源的计算设备(例如，设备150)上的一个或多个应用的一部分。在这样的示例中，机器可读存储介质可以包括诸如硬盘驱动器，固态驱动器等的存储器。
如本文所使用的，“机器可读存储介质”可以是包含或存储诸如可执行指令，数据等的信息的任何电子，磁，光或其他物理存储设备。例如，本文描述的任何机器可读存储介质可以是存储驱动器(例如，硬盘驱动器)、闪存、随机存取存储器(RAM)、任何类型的存储盘(例如，光盘，DVD，等等)等、或其组合中的任何项。此外，本文描述的任何机器可读存储介质可以是非暂时性的。
仍然参考图10，识别引擎170可以获得设置在表面200上的至少一个对象的电容签名。如上所述，电容签名可以是电容图的一部分，所述电容图可以被从表面200(例如，以有线或无线方式)接收或由识别引擎170基于从表面200接收的信号产生。还如上所述的，电容签名可以对应于或者关联于电容图案，所述电容图案被包括在设置在表面200上的对象中或者被耦合到设置在表面200上的对象，其中电容图案可以包括至少第一区域和第二区域，其中这些区域可以用不同的电导率表征。
至少基于对象的所获得的电容签名，识别引擎170可以获得与对象相关联的识别数据。识别数据可以包括描述例如对象的类型，类，类别，子类别，名称，序列号，型号，制造商名称或与对象相关联的任何其他信息的信息。在一些示例中，引擎170可以通过访问诸如存储器325的存储器来获得识别数据。在一些示例中，存储器325可以存储在计算设备150上。在其他示例中，存储器325可以存储在另一计算设备上，所述另一计算设备可以由计算设备150(例如，经由诸如因特网的网络)访问。
在一些示例中，存储器325可以包括与多个对象相关联的识别信息，其中可以采用任何合适的方式布置信息。例如，存储器325可以包括多个记录，其中每个记录可以与特定对象(例如，白车对象40b)或对象所属的类或类别(例如，白车，车，白色棋子，特定游戏的棋子等)相关联。此外，在对象可以具有多于一个的具有电容签名的表面的示例中，每个记录可以与对象的特定表面相关联，如图11的示例所图示的。在一些示例中，每个记录还可以(例如，通过指定唯一的应用标识符)与软件应用相关联。这可以允许区分与不同应用相关联的类似片段
在一些示例中，记录还可以包括与对象相关联的电容签名。电容签名可以由对象的制造商或软件应用的开发者生成和发布，或者由用户(例如，通过将对象放置在表面200上并存储测量的签名)生成。在一些示例中，为了提高性能和/或节省存储空间，记录可以不存储整个电容签名；替代地，记录可以存储电容签名的代表指纹，所述代表指纹可以是例如基于电容签名生成的数值，电容签名的缩小图像(例如缩略图)等。
在一些示例中，存储器325中的每个记录可以包括唯一的电容签名或指纹(为了简洁，它在下文中有时统称为“电容签名”)。在其他示例中，签名或指纹在整个存储器325的上下文中可以不是唯一的，但是它们在与特定软件应用相关联的任何记录的上下文中可以是唯一的。
图11图示了具有记录(指示为行)的存储器325的示例部分，其中每个记录与对象或对象的表面相关联并且包括识别数据，所述识别数据至少识别软件应用(例如，“ABC棋”和“大富翁(Monopoly Classic)”)，对象类型(例如，“车”，“马”，“后”，“骰子的侧面1”和“骰子的侧面2”)，以及对象的签名(指纹)。如上所述，每个签名或指纹跨整个存储器可以是唯一的，或者如图11的示例所图示的，它可以跨与相同软件应用相关联的所有条目是唯一的(例如，指纹0x1A88F402与两个不同的对象相关联，但是那些对象与不同的软件应用相关联)。
向回参考图10，如上所述，识别引擎170可以至少基于从表面200获得的对象的电容签名(以下称为“测量签名”)来获得与对象相关联的识别数据。在一些示例中，引擎170通过在存储器325中寻找与测量的签名的相同签名(以下称为“存储的签名”)相关联的记录来获得识别数据。如果所述记录存储了签名的指纹(以下称为“存储的指纹”)而不是整个签名，则引擎170可以首先使用与生成存储的指纹相同的方法来生成测量的签名的指纹(以下称为“测量的指纹”)，并且寻找具有与所测量的指纹相同的存储指纹的记录。
在一些示例中，可以使用独立于签名的旋转或取向的方法基于签名生成指纹。例如，指纹可以是数值，所述数值基于多个部分422，它们的形状，它们之间的距离以及独立于电容签名420内的部分422的绝对位置的任何其他参数来计算。在这些情况下，引擎170可以寻找与所测量的指纹匹配的存储的指纹。
然而，在其他示例中，生成的指纹可以取决于签名的取向。在这些示例中，引擎170可以生成若干测量的指纹，每个指纹对应于签名的不同取向，并且引擎170可以尝试找到与所生成的测量的指纹中的至少一个匹配的存储的指纹。类似地，如果存储器325存储整个电容签名而不是它们的签名，则引擎170可以生成测量签名的若干版本，每个版本对应于签名的不同取向。然后，引擎170可以寻找与签名中的至少一个匹配的存储的签名。这还可以允许引擎170确定对象相对于存储的签名的默认旋转的旋转度。为了确定所存储的签名是否与所测量的签名(或其任何旋转版本)匹配，引擎170可使用整个签名或其部分的像素到像素的图像比较，或使用任何其它合适的方法来比较签名。
如上所述，在一些示例中，在存储器325内可以存在与给定测量的签名匹配的两个或多个存储的签名或指纹。在这样的示例中，引擎170可以寻找这样的记录，所述记录具有与所测量的签名匹配的存储的签名并且还与特定软件应用(例如，与当前正运行在计算设备150上的软件应用)(例如，经由软件应用标识符)相关联。例如，如果测量的指纹是0x1A88F402，则如果计算设备150正在执行被确定为“ABC棋”的软件应用，则引擎170可以寻找与对象“车”相关联的记录。然而，如果计算设备150正在执行被确定为“大富翁”的软件应用程序，引擎170可以寻找与对象“骰子-侧面1”相关联的记录。在一些示例中，代替基于正在计算设备150上执行的应用来寻找记录，引擎170基于正在被执行并且当前活动的应用(例如，其窗口当前在焦点中，或者用户与其具有最后的交互)来寻找记录。在找到所述记录之后，引擎170可以从所述记录获得与对象相关联的识别数据。
如上所述，基于所获得的识别数据，引擎170可以(例如唯一地)识别对象，对象的类型，对象所属的一个或多个类别或子类别或任何其他识别信息。尽管上述示例描述了识别单个对象，但是应当理解：可以类似地识别同时设置在表面200上的任何数量的对象。如上所提及的，电容签名(例如，连同电容图)可以由引擎170使用来不仅用于识别对象而且例如用于确定对象的特性，诸如对象在表面200上的位置，对象的取向等。
在一些示例中，引擎170可以从传感器束164的一个或多个相机获得补充数据。补充数据可以包括例如表示对象的图像数据，其中图像数据可以从RGB相机164A获得，从相机154获得或从适于捕获表示对象的图像数据的任何其它相机获得。补充数据还可以包括表示对象的红外数据，其中红外数据可以例如从IR相机164b获得或从适于捕获表示对象的红外数据的任何其它相机获得。补充数据还可以包括表示对象的深度数据，其中深度数据可以例如从深度相机164c获得或从适于捕获表示对象的深度数据的任何其他相机获得。因此，补充数据可以包括图像数据，红外数据，深度数据或表示对象的任何其他类型的数据中的一个或多个的任何组合。
基于补充数据，引擎170可以确定具有更高准确度的一些对象特性，所述对象特性可以仅基于电容签名和电容图来确定。例如，如果图像数据，红外数据和/或深度数据还未被校准，则引擎170可以校准电容图以与图像数据，红外数据和/或深度数据(例如，在空间上)相关。然后，引擎170可以通过利用每种类型的数据的优点来组合来自电容图的信息和图像数据，红外数据和深度数据中的一个或多个，以生成组合数据。
例如，深度数据可以提供对象的轮廓的准确表示，因为深度数据可以不受入射或投影在对象上的任何光(例如，可见或红外光)的影响。然而，深度数据可能不能准确地表示在表面200上方具有非常小(例如，不可测的)高度的对象或其部分。
另一方面，红外数据可以准确地表示对象(例如，它们的形状，温度等)，而不管它们的高度以及入射到对象上的任何可见光是怎样的。在一些示例中，为了增加由红外数据所表示的表面200和对象之间的对比度，表面200可以用材料，涂层或涂料来覆盖或涂覆，所述材料，涂层或涂料增加表面的吸收并减少至少在由红外相机(例如，IR相机164b)捕获的红外光的光谱中其红外光的反射。因此，表面200可以被设计为比设置在表面200上的对象平均地反射更少的红外光。
图像数据可以受到(例如，由投影仪束184投影而)入射到对象上的可见光的影响，但是与红外数据和深度数据不同，它可以表示对象的颜色，并且还可以比一些其他类型的数据具有更高的分辨率。并且如上所述，电容图和电容签名可以提供对象在表面200上的位置，其围绕其中心轴的旋转，其底部表面的形状等的准确表示。
因此，在一些示例中，引擎170可以将各种类型的补充数据(例如，图像数据，红外数据和深度数据)彼此组合和/或与电容图组合以生成组合数据，从而利用每种类型数据的优势和补偿每种类型数据的不足。在这样的示例中，引擎170可以基于组合的数据确定对象的特性，其中特性可以包括例如对象的颜色(多个)，形状，维度(例如，高度)，轮廓，表面200上的位置，取向，旋转，温度，材料构成等。
在一些示例中，引擎170可以使用基于补充数据导出的特性来补充识别数据并且更准确地识别对象。例如，识别数据可以仅将对象确定为车，而不用指定车的颜色。在这种情况下，可以将颜色确定为基于组合数据获得的对象特性的一部分。在一些示例中，识别数据和/或对象特性可以被提供给软件应用(例如，正由计算设备150执行的活动应用)并由其使用。应用可以使用识别数据和/或对象特性来例如通过允许用户使用物理对象进行游戏，呈现，建模，交互和任何其他合适的目的来增强用户体验。
图12是另一示例计算设备150的框图。在图12的示例中，计算设备150通信地连接到触敏表面200和相机164A-164C，如上所述。相机164A-164C中的每一个可以设置在表面200上方并且指向表面200。计算设备150还可以包括处理资源310和包括(例如，编码有)指令322-324的机器可读存储介质320。
在一些示例中，存储介质320可以包括附加的指令。在其他示例中，本文关于存储介质320描述的指令322-324和任何其他指令可以存储在远离计算设备150和处理资源310但是可被计算设备150和处理资源310访问的机器可读存储介质上。处理资源310可以获取，解码和执行存储在存储介质320上的指令以实现本文所描述的功能。在其他示例中，存储介质320的任何指令的功能可以采用电子电路的形式，采用在机器可读存储介质上编码的可执行指令的形式或其组合来实现。机器可读存储介质320可以是非暂时性机器可读存储介质。
在一些示例中，指令322可以获取电容图，所述电容图可以包括对应于设置在表面200上的一个或多个对象的一个或多个电容签名，如上所述。指令322可从表面200获取电容图或基于从表面200接收的信号产生电容图。
在一些示例中，指令323可以从传感器束164的一个或多个相机获取表示对象(多个)的补充数据，如上所述。指令324然后可以至少基于所获取的电容签名和补充数据来获取对象的一个或多个特性。也就是说，虽然在一些示例中，如上所述，可以在不使用电容签名的情况下基于补充数据来获取对象特性，但是在其他示例中，电容签名和补充数据的组合可以用于获取对象的一个或多个特性，诸如对象的取向，旋转，位置，维度和其它特征，如上所述。
如上所述，存储介质320还可以包括附加指令，所述附加指令诸如用于(例如，从可以是或可以不是存储介质320的一部分的存储器325)获得识别数据的指令，其中识别数据可以至少包括所述对象所属的类别的名称或ID，如上所述。在一些示例中，本文关于图12描述的特征和功能可以与本文关于图1-11和13中的任一个描述的特征和功能组合地提供。
图13是用于获得与对象相关联的识别数据的示例方法1300的流程图。方法1300可以例如由至少一个计算系统(例如，计算系统100)或者由硬件和/或软件处理器，计算设备和/或计算系统的任何其他组合来执行，所述至少一个计算系统具有至少一个计算设备(例如，计算设备150)，所述至少一个计算设备具有至少一个处理资源(例如，处理资源310)。
在块1305，方法1300可获得表示设置在触敏表面(例如，表面200)上的对象的电容签名，如上文详细描述的。在块1310，该方法可以确定所获得的电容签名的指纹，如上所述。在块1315，该方法可以至少基于指纹获得与对象相关联的识别数据。如上所述，可以例如从诸如存储器325的存储器获得识别数据。在一些示例中，该方法可以包括附加功能(在图13中未示出)。例如，如上所述，该方法还可以获得补充数据并且基于补充数据获得对象的特性。
尽管图13的流程图示出了某些功能的特定执行顺序，但是方法1300不限于该顺序。例如，流程图中连续示出的功能可以以不同的顺序执行，可以同时执行或部分同时执行，或按其组合地执行。在一些示例中，本文关于图13描述的特征和功能可以与本文关于图1-12中的任一个所描述的特征和功能组合地提供。

Claims (12)

1.一种计算系统，包括：
触敏表面，用于获得表示设置在所述触敏表面上的对象的电容签名;
相机，用于获得表示对象的补充数据; 和
识别引擎，用于：
至少基于电容签名获得与对象相关联的识别数据，以及
至少基于补充数据获得对象的至少一个特性;
其中所述对象的至少一个特性包括所述对象的颜色，形状，维度，位置，取向和材料构成中的至少一个。
2.根据权利要求1所述的计算系统，其中所述识别引擎将通过在多个预定义的电容签名中找到与所述电容签名相匹配的预定义的电容签名来获得所述识别数据。
3.根据权利要求1所述的计算系统，其中，所述识别引擎将通过在多个预定义指纹之中找到与所述电容签名的指纹匹配并与由所述计算系统正执行的软件应用相关联的预定义指纹来获得所述识别数据。
4.根据权利要求1所述的计算系统，其中：
所述相机包括以下项中的至少一个：i）RGB相机，ii）红外相机，以及iii）深度相机; 和
所述补充数据包括以下项中的至少一个：i）表示所述对象的图像数据，ii）表示所述对象的红外数据，以及iii）表示所述对象的深度数据。
5.根据权利要求1所述的计算系统，其中，所述至少一个特性至少基于所述补充数据和所述电容签名获得。
6.根据权利要求1所述的计算系统，其中所述识别数据包括所述对象的类型，类别和序列号中的至少一个。
7.根据权利要求1所述的计算系统，其中所述电容签名至少表示耦合到所述对象的电容图案。
8.一种计算方法，包括：
获得表示设置在触敏表面上的对象的电容签名;
获得表示对象的补充数据；
确定电容签名的指纹; 和
基于指纹，从存储器获取与对象相关联的识别数据；
至少基于补充数据获得对象的至少一个特性；
其中所述对象的至少一个特性包括所述对象的颜色，形状，维度，位置，取向和材料构成中的至少一个。
9.根据权利要求8所述的方法，其中所述补充数据包括以下项中的至少一个：i）表示所述对象的图像数据，ii）表示所述对象的红外数据，以及iii）表示所述对象的深度数据。
10.一种非暂时性机器可读存储介质，包括可由计算系统的处理资源执行的指令，所述计算系统包括触敏表面和相机，所述指令可执行以：
从相机获取表示设置在触敏表面上的对象的补充数据;
从所述触敏表面获取包括表示所述对象的电容签名的电容图;
至少基于所述电容签名获取与所述对象相关联的识别数据；
至少基于补充数据，获取所述对象的至少一个特性;
其中所述对象的至少一个特性包括所述对象的颜色，形状，维度，位置，取向和材料构成中的至少一个。
11.根据权利要求10所述的非暂时性机器可读存储介质，其中：
所述相机包括以下项中的至少一个：i）RGB相机，ii）红外相机，以及iii）深度相机; 和
所述补充数据包括以下项中的至少一个：i）表示所述对象的图像数据，ii）表示所述对象的红外数据，以及iii）表示所述对象的深度数据。
12.根据权利要求11所述的非暂时性机器可读存储介质，其中所述指令还可执行以：
至少基于所述电容签名，获得包括所述对象的类型，类别和序列号中的至少一个的识别数据。
CN201480082394.8A 2014-09-30 2014-09-30 识别触敏表面上的对象 Expired - Fee Related CN107077196B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/058194 WO2016053271A1 (en) 2014-09-30 2014-09-30 Identification of an object on a touch-sensitive surface

Publications (2)

Publication Number Publication Date
CN107077196A CN107077196A (zh) 2017-08-18
CN107077196B true CN107077196B (zh) 2020-01-21

Family

ID=55631127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082394.8A Expired - Fee Related CN107077196B (zh) 2014-09-30 2014-09-30 识别触敏表面上的对象

Country Status (5)

Country Link
US (1) US10281997B2 (zh)
EP (1) EP3201723A4 (zh)
CN (1) CN107077196B (zh)
TW (1) TWI543023B (zh)
WO (1) WO2016053271A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358767A (zh) * 2018-09-26 2019-02-19 青岛海信电器股份有限公司 基于投影屏幕的触摸控制方法、装置及投影设备
US11106315B2 (en) * 2018-11-29 2021-08-31 International Business Machines Corporation Touch screen device facilitating estimation of entity orientation and identity
US11039118B2 (en) * 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN115793892B (zh) * 2023-02-07 2023-05-16 广州众远智慧科技有限公司 触摸数据处理方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8063888B2 (en) 2007-02-20 2011-11-22 Microsoft Corporation Identification of devices on touch-sensitive surface
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US7874681B2 (en) 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US20090174675A1 (en) * 2008-01-09 2009-07-09 Dave Gillespie Locating multiple objects on a capacitive touch pad
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
TW201133309A (en) * 2010-03-24 2011-10-01 Zhi-Xuan Liao Apparatus and method of combining optical image and touch panel to uni-axially interpreting position of object to be measured
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US20110285666A1 (en) 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
US9075479B2 (en) * 2010-07-13 2015-07-07 Shoei Co., Ltd. Input device and method using an optical touch panel and a contact touch panel
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8866798B2 (en) * 2011-06-21 2014-10-21 Adonit Co. Ltd. Capacitive stylus with disc tip
WO2013008236A1 (en) 2011-07-11 2013-01-17 Pointgrab Ltd. System and method for computer vision based hand gesture identification
CN104024936A (zh) 2011-07-29 2014-09-03 惠普发展公司，有限责任合伙企业 投影捕获系统，程序和方法
US9117274B2 (en) 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
US9530060B2 (en) 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
US9563295B2 (en) * 2012-03-06 2017-02-07 Lenovo (Beijing) Co., Ltd. Method of identifying a to-be-identified object and an electronic device of the same
KR101913321B1 (ko) 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US9270889B2 (en) 2013-01-25 2016-02-23 Htc Corporation Electronic device and camera switching method thereof
TW201543361A (zh) * 2014-05-07 2015-11-16 Giga Byte Tech Co Ltd 觸發開啟巨集的輸入系統

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面

Also Published As

Publication number Publication date
CN107077196A (zh) 2017-08-18
TWI543023B (zh) 2016-07-21
US10281997B2 (en) 2019-05-07
EP3201723A4 (en) 2018-05-23
WO2016053271A1 (en) 2016-04-07
TW201626165A (zh) 2016-07-16
US20170220142A1 (en) 2017-08-03
EP3201723A1 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
TWI531929B (zh) 基於影像來識別觸控表面的目標接觸區域之技術
US10156937B2 (en) Determining a segmentation boundary based on images representing an object
EP3072032B1 (en) Projection screen for specularly reflecting infrared light
US10379680B2 (en) Displaying an object indicator
US10664090B2 (en) Touch region projection onto touch-sensitive surface
TWI545463B (zh) 投影系統及管理投影系統之方法
CN107077196B (zh) 识别触敏表面上的对象
TW201617790A (zh) 投影機顯示區角落產生技術
US20190155452A1 (en) Presentation of a digital image of an object
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
TWI566126B (zh) 從影像發展出脈絡資訊之技術

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200121