CN107077195A - 显示对象指示符 - Google Patents

显示对象指示符 Download PDF

Info

Publication number
CN107077195A
CN107077195A CN201480082391.4A CN201480082391A CN107077195A CN 107077195 A CN107077195 A CN 107077195A CN 201480082391 A CN201480082391 A CN 201480082391A CN 107077195 A CN107077195 A CN 107077195A
Authority
CN
China
Prior art keywords
display
distance
image
touch
touch sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480082391.4A
Other languages
English (en)
Other versions
CN107077195B (zh
Inventor
J·姜
J·M·佩雷斯
D·B·肖尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107077195A publication Critical patent/CN107077195A/zh
Application granted granted Critical
Publication of CN107077195B publication Critical patent/CN107077195B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1631—Panel PC, e.g. single housing hosting PC and display panel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开的示例特别描述了计算系统。在一些示例中，所述计算系统可以包括触敏表面，显示器以及用于捕获表示设置在相机和触敏表面之间的对象的图像的至少一个相机。所述计算系统还可以包括检测引擎，用以至少基于图像来确定显示坐标，其中显示坐标可以对应于对象在触敏表面上的投影，并且所述显示器不平行于触敏表面。在一些示例中，所述检测引擎还用以在显示器上确定的显示坐标处显示对象指示符。

Description

显示对象指示符
背景
许多计算系统如今包括显示器，相机和输入设备。在一些系统中，显示器可以是触敏显示器，有时称为触摸屏。输入设备包括例如鼠标，键盘或能够检测与其接触的物理对象的触敏表面。
附图说明
以下详细描述参考附图，其中：
图1是包括识别引擎的示例计算系统的示意性透视图；
图2是图1的示例计算系统的另一示意性透视图；
图3是图1的示例计算系统的示意性侧视图；
图4是图1的示例计算系统的示意性前视图；
图5是在示例操作期间图1的示例计算系统的示意性侧视图；
图6是在另一示例操作期间图1的示例计算系统的示意性前视图；
图7A是图1的示例计算系统的另一侧视图；
图7B是图7A的示例计算系统的透视图；
图8是图1的示例计算系统的示例计算设备的框图；
图9是图1的示例计算系统的另一个示例计算设备的框图；和
图10是用于显示至少一个对象指示符的示例方法的流程图。
具体实施方式
在一些计算系统中，可以通过允许用户结合在计算系统上运行的应用使用诸如手写笔，单指尖或多指尖，棋子等的对象来增强用户体验。对象可以用作输入设备，应用(例如游戏)附件，或用于任何其他目的。当使用这样的对象时，如果用户没有接收到计算系统的适当指示，则让用户知道计算系统是否已经和在何处检测到对象(多个)就可能是困难的。
在本文描述的一些示例中，公开了一种计算系统。计算系统可以包括例如表面(例如，触敏表面)，显示器和至少一个相机，所述相机用以捕获表示例如设置在相机和表面之间的对象的图像。该系统还可以包括检测引擎，以至少基于图像确定对应于对象在触敏表面上的投影的显示坐标，其中显示器可以不平行于触敏表面。所述系统还可以至少基于对象是否正在触摸触敏表面来从至少两个不同的对象指示符中选择对象指示符，并且将所选择的对象指示符提供给显示器，以在显示器上的所确定的显示坐标处显示所选择的对象指示符。
现在参考附图，图1-6是包括检测引擎170的示例计算系统100的示意图。在图1-6的示例中，系统100可以包括支撑结构110，计算设备150，显示器152，和触敏表面200。系统100还可以包括例如指向触敏表面的传感器束164，用以捕获表示设置在触敏表面200上或上方的对象的一个或多个图像。计算设备150可以包括检测引擎170，用于至少基于一个或多个图像(例如从传感器束164接收的图像)确定与触摸敏感表面上对象的投影的坐标相关联的显示坐标，以及用于在显示器上所确定的显示坐标处显示对象指示符。
计算设备150可以包括符合本文公开的原理的任何合适的计算设备。如本文所使用的，“计算设备”可以包括电子显示设备，智能电话，平板，芯片组，一体化计算机(例如，包括也容纳计算机的处理资源(多个)的显示设备的设备)，台式计算机，笔记本计算机，工作站，服务器，任何其他处理设备或装置或其组合。在此示例中，设备150是一体化计算机，所述一体化计算机具有中心轴或中心线155，第一或顶侧150A，与顶侧150A轴向相对的第二或底侧150B，在侧面150A和150B之间轴向延伸的前侧150C，也在侧面150A和150B之间轴向延伸并且与前侧150C大致径向相对的后侧150D。显示器152沿着前侧150C设置并且限定计算系统100的观看表面以显示图像以供系统100的用户观看。在本文描述的示例中，显示器可以包括适于显示图像，视频等等的任何技术的组件。
在一些示例中，显示器152可以是触敏显示器。在本文所描述的示例中，触敏显示器可以包括例如用于显示图像，视频等的任何合适的技术(例如，组件)，并且可以包括用于检测物理接触(例如，触摸输入)的任何合适的技术(例如，组件)，诸如像电阻，电容，表面声波，红外(IR)，变形测量器，光学成像，声学脉冲识别，色散信号感测或单元内系统等。在本文所描述的示例中，显示器152可以被称为触敏显示器152。设备150还可以包括相机154，相机154例如可以是网络相机。在一些示例中，相机154可以捕获位于显示器152前面的用户的图像。在一些示例中，设备150还可以包括麦克风或其他用以接收声音输入(例如，来自用户的语音输入)的设备。
在图1-6的示例中，支撑结构110包括基部120，直立构件140和顶部160。基部120包括第一或前端120A以及第二或后端120B。基部120可与支撑表面15接合以支撑系统100的组件(例如，构件140，单元180，设备150，顶部160等)的至少一部分的重量。在一些示例中，当系统100被配置用于操作时，基部120可以采用这种方式与支撑表面15接合。在图1-6的示例中，基部120的前端120A包括凸起部分122，当基部120例如如图2所示设置在支撑表面15上时，凸起部分122可设置在支撑表面15上方并与支撑表面15分离(在部分122和表面15之间形成空间或间隙)。在这样的示例中，触敏表面200的一侧的一部分可以设置在部分122和表面15之间形成的空间中(例如，被收纳在所述空间之内)。在这种示例中，将表面200的一部分放置在由部分122和表面15所形成的空间之内可以有助于表面200的正确对准。在其他示例中，可以使用其他合适的方法或设备来辅助表面200的对准。
直立构件140包括第一或上端140A，与上端140A相对的第二或下端140B，在端部140A和140B之间延伸的第一或前侧140C，以及与前侧140C相对并且也在端部140A和140B之间延伸的第二或后侧140D。构件140的下端140B联接到基部120的后端120B，使得构件140从支撑表面15基本上向上延伸。
顶部160包括第一或近端160A，与近端160A相对的第二端或远端160B，在端部160A和160B之间延伸的顶表面160C，以及与顶表面160C相对并且还在端部160A和160之间延伸的底表面160D。顶部160的近端160A联接到直立构件140的上端140A，使得远端160B从直立构件140的上端140A向外延伸。因此，在图2所示的示例中，顶部160在端部160A(而不是端部160B)处被支撑，并且在本文中可被称为悬臂顶部。在一些示例中，基部120，构件140和顶部160可以整体形成。在其他示例中，基部120，构件140和顶部160中的两个或更多个可以由单独的部件形成(即，不是被整体形成)。
触敏表面200可以包括中心轴或中心线205，第一或前侧200A，以及与前侧200A轴向相对的第二或后侧200B。触敏表面200可以包括用于检测通过诸如手或其他对象(例如，包含导电材料的对象)的对象与表面200的物理接触的任何合适的技术，所述对象在表面200上或接近表面200的放置可引起表面200的电容或其他参数的可检测变化。例如，触敏表面200可以包括用于检测(并且在一些示例中跟踪)用户的一个或多个触摸输入以使得用户能够经由这样的触摸输入与由设备150或者另一计算设备执行的软件交互的任何合适的技术。作为另一示例，触敏表面200可以包括任何合适的技术，用于检测(并且在一些示例中跟踪)设置在触敏表面200上的一个或多个对象以使得用户能够经由放置，旋转，移动和其他操纵这样的对象来与由设备150或另一计算设备执行的软件交互。
在本文所述的示例中，触敏表面200可以是任何合适的触敏平面(或基本上平面的)对象，诸如触敏垫，桌面，薄片等。在一些示例中，触敏表面200可以水平(或近似或基本水平)地设置。例如，表面200可以设置在支撑表面15上，支撑表面15可以是水平的(或近似或基本水平的)。
在一些示例中，表面200的全部或基本上全部可以能够检测如上所述的触摸输入。在其他示例中，小于全部的表面200可以能够检测如上所述的触摸输入。例如，表面200可以包括在小于全部的表面200上方延伸的触敏区域202，其中区域202能够检测如上所述的触摸输入。在其他示例中，区域202可以在基本上全部表面200上方延伸(例如，可以与表面200基本上毗连)。区域202可以基本上与轴205对准。
如上所述，表面200可以与结构110的基部120对准，以(例如，至少在系统100的操作期间)有助于表面200的正确对准。在图1-6的示例中，表面200的后侧200B可以设置在基部120的凸起部分122和支撑表面15之间，使得后端200B与基部120的前侧120A对准，以有助于表面200与系统100的其它组件的正确的总体对准(以及特别是区域202与系统100的其它组件的正确对准)。在一些示例中，表面200可以与设备150对准，使得设备150的中心线155与表面200的中心线205基本对准。在其他示例中，表面200可以与设备150采用不同方式对准。
在一些示例中，表面200和设备150可以彼此通信地连接(例如，电耦合)，使得由表面200接收的用户输入可以被传送到设备150。表面200和设备150可以通过任何合适的有线或无线通信技术或机制(诸如像WI-FI，蓝牙，超声技术，电缆，电引线，电导体，具有磁保持力的电弹簧加载的伸缩探针等或其组合)彼此通信。在图1-6的示例中，设置在表面200的后侧200B上的暴露的电接触可以与基部120的部分122内的相应电伸缩探针引线接合，以在系统100的操作期间在设备150和表面200之间传送信息(例如，传递信号)。在这样的示例中，电接触可以通过相邻的磁体(位于基部120的部分122和表面15之间的间隙中)保持在一起，以磁性地吸引和保持(例如，机械地)沿着表面200的后侧200B设置的相应的铁和/或磁性材料。
参考图3，投影仪单元180包括外壳体182和设置在壳体182内的投影仪配件184。壳体182包括第一或上端182A，与上端182A相对的第二或下端182B以及内腔183。在图3的示例中，壳体182还包括联接或安装构件186，以(例如，至少在系统100的操作期间)与设备150接合并支撑设备150。构件186可以是用于悬挂和支持如本文所描述的任何合适的计算设备150的任何合适的机构或设备。例如，构件186可以包括铰链，该铰链包括旋转轴，使得设备150可以围绕旋转轴(例如，由用户)旋转，以获得用于观看显示器152的期望角度。在一些示例中，设备150可以永久地或半永久地附接到单元180的壳体182。在一些示例中，壳体180和设备150可以一体地或整体地形成为单个单元。
参考图4，在一些示例中，当设备150经由壳体182上的安装构件186悬挂于结构110时，当从前面(即，基本上面向设置在设备150的前侧150C上的显示器152)观看系统100时，投影仪单元180(即，外壳182和配件184这二者)可以基本上隐藏在设备150后面。另外，如图4所示，当设备150如上所述悬挂于结构110时，投影仪单元180(即，壳体182和配件184这二者)以及由此投影的任何图像可以基本上相对于设备150的中心线155对准或居中。
再次参考图3，投影仪配件184设置在壳体182的腔183内并且包括第一或上端184A，与上端184A相对的第二或下端184B。上端184A接近壳体182的上端182A，而下端184B接近壳体182的下端182B。投影仪配件184可以包括用于从计算设备(例如，设备150)接收数据并投影对应于所述输入数据的图像(多个)(例如，从上端184A投影出来)的任何合适的数字光投影仪配件。例如，在一些实现方式中，投影仪配件184可以包括数字光处理(DLP)投影仪或硅基液晶(LCoS)投影仪，它们有利地是紧凑且功率高效的投影引擎，所述投影引擎能够具有多种显示分辨率和尺寸(诸如像具有4∶3纵横比的标准XGA分辨率(1024×768像素)或具有16∶10纵横比的标准WXGA分辨率(1280×800像素))。投影仪配件184进一步通信地连接(例如，电耦合)到设备150，以便从设备150接收数据并且基于接收的数据从端部184A产生(例如投影)光和图像(多个)。投影仪配件184可以经由例如任何合适类型的电耦合或本文所述的任何其它合适的通信技术或机制通信地连接到设备150。在一些示例中，配件184可以经由电导体(多个)，WI-FI，蓝牙，光学连接，超声连接或其组合可通信地连接到设备150。在图1-6的示例中，设备150通过设置在安装构件186内的电引线或导体(例如，如上面关于表面200和基部120所描述的)通信地连接到配件184，从而当设备150通过构件186从结构110悬挂时，设置在构件186内的电引线接触设置在设备150上的相应的引线或导体。
仍然参考图3，顶部160还包括折叠反射镜162和传感器束164。反射镜162包括高反射表面162A，高反射表面162A沿着顶部160的底表面160D设置并且定位成反射在操作期间从投影仪配件184的上端184A向表面200投影的光，图像(多个)等。反射镜162可以包括任何合适类型的反射镜或反射表面。在图1-6的示例中，折叠反射镜162可以包括作用是用于将从配件184发射的光向下折叠到表面200的标准前表面真空金属化铝涂覆的玻璃反射镜。在其他示例中，反射镜162可以具有复杂的非球面曲率，以充当相应的透镜元件以提供额外的聚焦能力或光学校正。
传感器束164包括至少一个传感器(例如，相机或其它类型的传感器)，以基于传感器束164和表面200之间的区域(例如，发生在所述区域中的活动)的状态来检测，测量或以其他方式获取数据。传感器束164和表面200之间的区域的状态可以包括表面200上或表面200上方的对象(多个)，或者表面200上或附近发生的活动。在图3所示的例子中，束164包括RGB相机(或图像传感器)164A，IR相机(或IR传感器)164B，深度相机(或深度传感器)164C和环境光传感器164D。在本文描述的示例中，相机可以被称为“传感器”。
在一些示例中，RGB相机164A可以是捕获彩色图像(例如，静止图像和视频中的至少一个)的相机。在一些示例中，RGB相机164A可以是根据RGB颜色模型捕获图像(所述图像在本文中可被称为“RGB图像”)的相机。然而要理解的是：在其他示例中，RGB相机164A可以是根据其它颜色模型(诸如，YUV，YCbCr，RAW等等)捕获图像的相机。在一些示例中，RGB相机164A可以采用相对高的分辨率捕获图像，所述相对高的分辨率诸如像大约多倍兆像素(MP)的分辨率。作为示例，RGB相机164A可以采用14MP的分辨率捕获彩色(例如，RGB)图像。在其他示例中，RBG相机164A可以采用不同分辨率捕获图像。在一些示例中，RGB相机164A可以指向表面200，并且可以捕获表面200的图像(多个)，设置在表面200和RGB相机164A之间(例如，悬停在表面200或者触敏表面200的上方)的对象(多个)或其组合。
IR相机164B可以是这样的相机，它用以检测相机164B的视场中的多个点处的IR光的强度。在本文所描述的示例中，IR相机164B可以与系统100的IR光投影仪166结合操作以捕获IR图像。在这样的示例中，每个IR图像可以包括多个像素，每个像素表示在由该像素表示的点处检测到的IR光的强度。在一些示例中，系统100的顶部160可以包括用于朝向表面200投影IR光167的IR光投影仪166，并且IR相机164B可以指向表面200。在这种示例中，IR相机164B可以检测由表面200、设置在表面200和IR相机164B之间(例如，悬停在表面200或触敏表面200上方)的对象(多个)或其组合反射的IR光的强度。在一些示例中，IR相机164B可以排他地检测由IR光投影仪166投影的IR光167(例如，从表面200，对象(多个)等反射的光，或直接接收的光)。
深度相机164C可以是用于检测深度相机164C的视场中的对象(多个)的部分的相应距离(多个)(或深度(多个))的相机(传感器(多个)等)。如本文所使用的，由深度相机检测的数据在本文中可被称为“距离”或“深度”数据。在本文所描述的示例中，深度相机164C可以捕获多像素的深度图像(例如，深度图)，其中每个像素的数据表示在由像素表示的点处的对象的一部分的距离或深度(从相机164C测量的距离或深度)。深度相机164C可以使用任何合适的技术(诸如立体视觉相机(多个)，具有大量均匀红外光的单个IR相机传感器，具有大量均匀红外光的双IR相机传感器，结构化的光深度传感器技术，飞行时间(TOF)深度传感器技术或其组合)来实现。在一些示例中，深度传感器164C可以指示对象(例如，三维对象)何时在表面200上。在一些示例中，深度传感器164C可以检测放置在表面200上或者悬停在表面200上方的对象(或其部分)的存在，形状，轮廓，运动和相应的距离(多个)中的至少一个。
环境光传感器164D可以被布置成测量系统100周围的环境中的光的强度。在一些示例中，系统100可以使用传感器164D的测量来调整系统100的其他部分，诸如像系统100的传感器或相机(例如，相机164A-164C)的曝光设置，从系统100的光源(例如，投影仪配件184，显示器152等)发射的光的强度等。
在一些示例中，传感器束164可以省略传感器164A-164D中的至少一个。在其他示例中，除了传感器164A-164D之外，或者代替传感器164A-164D中的至少一个，传感器束164可以包括其他相机(多个)，传感器(多个)等。例如，传感器束164可以包括用户接口传感器，该用户接口传感器包括用于跟踪用户输入设备(诸如像手，手写笔，定点设备等)的任何合适的设备(多个)(例如，传感器(多个)，相机(多个))。在一些示例中，用户接口传感器可以包括一对相机，它们被布置为在用户在表面200周围(例如，在表面200的区域202周围)移动用户输入设备(例如手写笔)时，立体地跟踪用户输入设备的位置。在其他示例中，用户接口传感器可以附加地或替代地包括被布置为检测由用户输入设备发射或反射的红外光的IR相机(多个)或传感器(多个)。在一些示例中，传感器束164可以包括姿势相机，用以检测由对象(多个)(例如，手等)对预定义姿势的执行。在一些示例中，姿势相机可以包括深度相机和附加功能，用以随时间检测，跟踪等不同类型的运动。
在本文所述的示例中，束164的每个传感器164A-164D通信地连接(例如，耦合)到设备150，使得在束164内产生的数据(例如，由相机捕获的图像)可以被提供给设备150，并且设备150可以向传感器束164的传感器(多个)和相机(多个)提供命令。束164的传感器164A-164D可以经由任何合适的有线或无线通信技术或机制(它们的例子如上所述)通信地连接到设备150。在图1-6的示例中，电导体可以通过设置在安装构件186内的引线(如上所述)从束164通过顶部160，直立构件140和投影仪单元180被布线到设备150中。
参考图5和6，在系统100的操作期间，投影仪配件184可以投影可见光187以反射离开反射镜162而奔向表面200，从而在表面200的投影仪显示空间188上显示可见图像(多个)。在图5-6的示例中，空间188可以是基本上矩形的，具有长度188L和宽度188W。在一些示例中，长度188L可以是大约16英寸，而宽度188W可以是大约12英寸。在其他示例中，长度188L和宽度188W可以具有不同的值。
在一些示例中，传感器束164的相机(例如，相机164A-164C)被布置在系统100内，使得每个相机的视场包括表面200的空间168，空间168可以与一些或全部显示空间188相重叠或者可以与显示空间188毗连。在本文所描述的示例中，传感器束164的相机(例如，相机164A-164C)的视场可以被说成包括空间168，不过这是在表面200可以至少部分地被表面200上或表面200上方的对象(多个)遮挡的时间。在这样的示例中，表面200上或上方的对象(多个)可以处于在相机164A-164C中的至少一个的视场中。在这样的示例中，传感器束164的传感器可以基于传感器束164和表面200的空间168之间的区域(例如，发生在所述区域中的活动，设置在所述区域中的对象(多个))的状态来获取数据。在一些示例中，空间188和空间168这二者与表面200的区域202重合或对应，使得触敏区域202，投影仪配件184和传感器束164的功能全部相对于相同的限定区域执行。在图7中示意性地示出了传感器束164的相机(例如，相机164A-164C)的视场165。在一些示例中，传感器束164的相机(例如，相机164A-164C)的每个可以具有不同的视场。
现在参考图5-6，设备150可以指示投影仪配件184将图像(多个)投影到表面200上(例如，投影到区域202上)。设备150还可以在显示器152上显示图像(多个)(所述图像可以与投影仪配件184投影到区域202上的图像(多个)相同或不同)。配件184投影的图像(多个)可以包括由设备150执行的软件产生的信息和/或图像。在一些示例中，通过以任何合适的方式，诸如利用用户的手35(例如，经由触摸，轻敲，姿势或其他触摸输入)，利用手写笔25或者经由任何其它合适的用户输入设备(多个)物理地使触敏表面200接合，用户可以与投影在表面200上并且显示在显示器152上的图像(多个)交互。如上所述，触敏表面200可以检测经由与表面200的物理接合的这种交互。此外，在一些示例中，投影仪配件184还可以(至少部分地)将图像(多个)投影到设置在表面200上方的对象35(例如，如图5所示的手35)上。
作为示例，当用户经由物理接触与触敏表面200交互时，表面200可以生成触摸输入信息并且通过任何合适的连接(其示例在上面描述)将触摸输入信息提供给设备150。在一些示例中，OS可以将接收到的触摸输入传递给设备150上执行的另一应用(例如，程序等)。作为响应，执行的OS或应用可以更改由投影仪配件184投影的图像(多个)，显示在显示器152上的图像(多个)，或其组合。如本文所使用的，“应用”，“计算机应用”或“服务”是可由处理资源执行的机器可读指令的集合。在一些示例中，用户可以类似地与显示器152(它可以是触敏显示器)上显示的图像(多个)或设备150的任何其他输入设备(例如，键盘，鼠标等)交互。
在一些示例中，传感器束164的传感器(例如，相机)还可以生成系统输入，所述系统输入可以被提供给设备150用于进一步处理。例如，系统100可以利用束164的相机(多个)来检测对象(例如用户的手35，指尖37，手写笔25等)的存在和位置中的至少一个，并且向设备150提供表示检测到的信息的系统输入信息。在一些示例中，系统100可以利用一个或多个相机来确定对象的三维位置，并将该位置信息提供给设备150。在一些示例中，系统100可以使用从束164的至少两个不同相机(例如，来自相机164A，164B和164C的两个相机的任何组合)获得的至少两个图像来确定对象的三维位置。例如，传感器束164的至少两个相机可以被布置为执行对象的立体对象跟踪。在一些示例中，对象(例如，手写笔25)可以包括涂覆有可以用作红外回射器的红外回射涂层(例如，涂料)的至少一个部分(例如，尖端26)。在这种示例中，束164可以包括如上所述的IR相机(多个)(或传感器(多个))，所述IR相机(多个)检测从所述涂覆部分反射的IR光以使得设备150随着所述对象的所述涂覆部分跨区域202移动能够跟踪所述对象的所述涂覆部分的位置。在一些示例中，表面200(具有由配件184投影在其上的图像(多个))可以用作系统100内的第二或可替代的触敏显示器。此外，可以通过使用如上所述的传感器束164的传感器来增强与显示在表面200上的图像(多个)的交互的检测。
在一些示例中，系统100可以捕获物理对象的二维(2D)图像(多个)或创建物理对象的三维(3D)扫描，使得对象的图像然后可以被投影到表面200上以供进一步使用和操纵它。例如，如图6所示，对象40可以放置在表面200上，使得束164的传感器(例如，相机164A-164C中的至少一个)可以检测对象40的位置，维度和颜色中的至少一个，以增强2D图像(多个)或创建它的3D扫描。在这样的示例中，由束164的传感器收集的信息可以被提供给设备150(例如，设备150的OS，应用，服务等)，如上所述。在一些示例中，在接收所述信息之后，设备150(例如，OS，应用，服务等)可以指示投影仪配件184将对象40的图像投影到表面200上。对象40可以是例如手35，指尖37，手写笔25，或任何其他物理对象(诸如棋子，书，马克杯，笔，文档，照片等)。
图7A和7B分别图示了包括检测引擎170的示例计算系统100的侧视图和透视图。在图7A和7B的示例中，用户可以使用左手35L的指尖37a-37e和指尖37f-37j作为可以由检测引擎170检测和处理的对象，如下面进一步详细描述的。
图8是图1的包括检测引擎170的计算系统100的示例部分的框图。图8图示了计算设备150的示例，计算设备150包括检测引擎170和计算机可读介质320，并且通信地连接到传感器束164(如上所述)的至少一个相机(例如，相机164A)，连接到触敏表面200和显示器152，如上所述。尽管在图8中未示出，计算设备150还可以通信地连接到系统100的其他组件，如上所述。
计算设备150(或实现检测引擎170的任何其他计算设备)可以包括至少一个处理资源。在本文描述的示例中，处理资源可以包括例如一个处理器或多个处理器，所述一个处理器或多个处理器被包括在单个计算设备中或跨过多个计算设备被分布。如本文所使用的，“处理器”可以是以下项中的至少一个：中央处理单元(CPU)，基于半导体的微处理器，图形处理单元(GPU)，被配置为获取和执行指令的现场可编程门阵列(FPGA)，适合于获取和执行存储在机器可读存储介质上的指令的其他电子电路，或其组合。
如上文所指出的，计算设备150包括检测引擎170。在一些示例中，本文未示出，计算设备150可以包括附加引擎，检测引擎170可以包括多个子引擎。在本文所述的示例中，计算设备150的任何引擎(多个)(例如引擎170)可以是硬件和编程的任何组合，用以实现相应引擎的功能。硬件和编程的这种组合可以采用多种不同的方式来实现。例如，编程可以是存储在非暂时性机器可读存储介质(例如机器可读介质320)上的处理器可执行指令，并且硬件可以包括用于执行那些指令的处理资源。在这样的示例中，机器可读存储介质可以存储当由处理资源执行时实现引擎的指令。存储指令的机器可读存储介质可以与执行指令的处理资源被集成在相同的计算设备(例如，设备150)中，或者机器可读存储介质可以与计算设备和处理资源分离，但可被计算设备和处理资源访问。处理资源可以包括一个处理器或多个处理器，所述一个处理器或多个处理器被包括在单个计算设备中或跨过多个计算设备被分布。
在一些示例中，指令可以是安装包的一部分，安装包在安装时可以由处理资源执行以实现系统100的引擎。在这样的示例中，机器可读存储介质可以是便携式介质(诸如光盘，DVD或闪存驱动器)，或可以是由可以从其下载和安装所述安装包的服务器维护的存储器。在其他示例中，指令可以是已经安装在包括处理资源的计算设备(例如，设备150)上的一个或多个应用的一部分。在这样的示例中，机器可读存储介质可以包括诸如硬盘驱动器，固态驱动器等的存储器。
如本文所使用的，“机器可读存储介质”可以是包含或存储诸如可执行指令，数据等的信息的任何电子，磁，光或其他物理存储设备。例如，本文描述的任何机器可读存储介质可以是存储驱动器(例如，硬盘驱动器)、闪存、随机存取存储器(RAM)、任何类型的存储盘(例如，光盘，DVD，等等)等、或其组合中的任何项。此外，本文描述的任何机器可读存储介质可以是非暂时性的。
结合图7A和7B参考图8，检测引擎170可以从传感器束164的一个或者多个相机获得表示对象的一个或多个图像(例如，表示对象的一个或多个RGB图像，表示对象的一个或多个红外图像，和/或表示对象的一个或多个深度图像)。在一些示例中，引擎170可以获得表示对象的至少两个图像，并且在一些示例中，可以从传感器束164的两个不同相机获得两个图像。在一些示例中，两个相机可以是传感器束164的任何两个相机。
基于所获得的图像(多个)，引擎170可以确定对象(例如，图7A和7B中所示的一个或多个手指37a-37j)的三维位置(例如，坐标)。从用户的角度来看，三维坐标可以例如在具有原点的笛卡尔坐标(x，y，z)中表示在例如敏感区域202的最左上角处。在一些示例中，“z”轴可以垂直于表面200，并且“y”轴可以平行于中心线205。在其他示例中，其他坐标系和取向可以用于定义对象(多个)的三维坐标。
基于所获得的对象的三维坐标，引擎170可以确定对象在触敏表面200上的投影的二维坐标。在一些示例中，对象的投影可以是平行投影，其中对象的三维坐标经由垂直于表面200的线投影到表面200上的点上。例如，如果指尖37j的三维坐标是(x1，y1，z1)，则其二维投影坐标可以是(x1，y1)，如图7B所图示的。在其他示例中，对象的投影可以是透视投影，其中对象的三维坐标可以经由不一定垂直于表面200的线(诸如将对象与预定点(例如传感器束164或投影仪配件184上的某一点))连接的线)投影到表面200上的点上。不管选择了什么类型的投影，引擎170可以基于对象的三维坐标和表面200的位置和取向获得对象投影在表面200上的二维坐标。
在一些示例中，引擎170可以直接从从传感器束164的一个或多个相机获得的一个或多个图像获得二维投影坐标，而不用首先获得对象的三维坐标。例如，引擎170可以使用一个或多个预校准的变换矩阵来将所获得的图像(多个)内的对象的(二维)坐标变换为二维投影坐标。
在一些示例中，基于所确定的二维投影坐标，引擎170可以确定显示器152上的二维显示坐标。显示坐标可以采用各种方式与投影坐标相关联(或对应)。在一些示例中，显示坐标可以是投影坐标的线性或非线性函数。例如，引擎170可以使用一个或多个线性变换矩阵来将投影坐标变换为显示坐标。在一些示例中，对坐标进行变换，使得投影坐标中的点(0，0)(例如，区域202的最左上角)被变换成显示坐标中的点(0，0)(例如，显示器152的左上角)。类似地，引擎170可以通过显示器152的宽度和区域202的宽度之间的比率缩放投影坐标的“x”坐标，并且通过显示器152的高度和区域202的高度之间的比率缩放投影坐标的“y”坐标。结果，区域202的近右角可以被变换到显示器152的右下角。
在确定显示坐标之后，引擎170可以在显示器152上的显示坐标处显示对象指示符。如本文所使用的，“显示对象指示符”可以指例如将对象指示符提供给显示器152用于显示对象指示符，使得显示器152显示对象指示符。例如，如图7B所图示的，引擎170可以确定指尖37a-37j在表面200上被投影的坐标，如上所述。基于投影的坐标，引擎170可以计算显示坐标，并且在相应计算的显示坐标处或附近显示对象指示符156a-156j。例如，对于指尖37j，引擎170可以确定投影的坐标(x1，y1)。基于这些投影的坐标，引擎170可以计算显示坐标(x2，y2)，并且在这些坐标处显示对象指示符156j，如图7B所绘制的。
显示的对象指示符可以包括任何类型的形状，图标，图形等，并且可以具有不同的颜色和不同水平的透明度或不透明度。在一些示例中，显示在显示器152上的所有对象指示符可以具有相同的外观，而在其他示例中，对应于两个不同对象的两个同时显示的指示符可以是不同的(例如，具有不同的外观)。在一些示例中，引擎170可以检测对象的类型(例如，指尖，手写笔等)并且基于对象的类型来选择多个(例如，至少两个)不同对象指示符中的一个。引擎170可以进一步区分相同类型的对象。例如，对于每个指尖，引擎170可以检测指尖对应于哪只手上的哪根手指，并且为不同的手指和手选择不同的对象指示符。
在一些示例中，显示在显示器152上的一个或多个对象指示符可以与显示在显示器152上的另一图像组合(例如，覆盖在显示在显示器152上的另一图像上)。可以由正在计算设备150上执行的操作系统或应用将另一图像提供给显示器152。因此，用户可以使用诸如指尖的对象来识别和选择在显示器152上显示的图像的目标区域，并且对象指示符可以用作视觉向导或光标，所述视觉向导或光标指示对应于对象在表面200上的投影的显示器152上的位置。
如上所述，在一些示例中，对象(例如，指尖37)可以设置在传感器束164和表面200之间的区域中的任何地方。因此，对象可能正在触摸表面200，可能正在悬停在表面200上方等。在一些示例中，引擎170可以(例如，基于来自表面200的信号)确定特定对象是否正触摸表面200，并且基于该确定从多个指示符中选择不同的对象指示符(或修改相同对象指示符的外观)。例如，触敏表面200可以检测对象的一个或多个触摸，并且将描述一个或多个触摸的触摸数据传递到引擎170。
基于从表面200接收的触摸数据，引擎170可以针对包括在触摸数据中的每个触摸，基于来自传感器束164的图像(多个)确定触摸是否如上所述与检测到的对象(例如，指尖)中的一个相关联。例如，引擎170可以确定表面200上的特定触摸的位置是否处于离与对象中的一个或者离与表面200上的对象的投影中的一个的预定义距离(例如，1mm)内或者确定表面200上的特定触摸的位置是否与对象中的一个或者与表面200上的对象的投影中的一个相重合。例如，引擎170可以确定特定触摸的位置是否直接地或基本上在特定对象下面，这可以例如基于触摸数据和来自传感器束164的相机的一个或多个图像(或基于基于所述图像确定的对象的三维坐标)被确定。在一些示例中，引擎170可通过例如使用从深度相机164c接收的深度数据或使用如上所述确定的三维坐标来确定对象距表面200的距离来确定特定触摸是否与特定对象相关联。例如，如果多个对象中仅有一个正在触摸表面200，则引擎170可以通过确定具有最小距离或具有低于预定义距离(例如，1mm)的距离的对象来确定哪个对象正在触摸表面200。
在图7A和7B所图示的示例中，指尖37c和37d正在接触表面200，而其他指尖悬停在表面200上方。在该示例中，引擎170可以基于由表面200提供的触摸数据来检测两个触摸，并且(例如，基于指尖37a-37j的图像或基于图像确定的指尖37a-37j的三维位置)确定两个触摸对应于指尖37c和37d。因此，如图7B所图示的，引擎170可以从第一类型(例如，突出显示的圆)中选择对象指示符156c和156d，并且从第二(不同的)类型(例如，非突出显示的圆)选择对象指示符156a，156b和156e-156j。这可以向用户提供已经检测到一个或多个触摸的确认，并且还向用户提供关于在显示器152上显示的对象指示符中的哪些对应于触摸对象并且哪些对应于非触摸(悬停)对象的视觉指导。这可以允许用户例如仅关注正在触摸表面200的对象。在一些示例中，引擎170可以(例如，由用户)配置为仅显示正在触摸表面200的对象的对象指示符，仅显示没有正在触摸表面200的对象的对象指示符，或者显示两种类型的对象的对象指示符。
在一些示例中，引擎170可以基于对象的位置确定是否显示对象的对象指示符。例如，显示器152可以是触敏显示器，在这种情况下，用户有时可以选择通过使用(例如，触摸)显示器152而不是使用上述的对象检测功能来提供用户输入。在这种示例中，引擎170可以确定对象(例如，指尖)移动得更靠近显示器152并且更远离表面200，并且基于该确定停止显示该对象或所有对象的对象指示符。类似地，引擎170可以确定对象从显示器152更远地移开并且更靠近表面200，并且基于该确定，开始显示该对象的对象指示符。
特别地，在一些示例中，引擎170可以基于对象距表面200的距离，对象距显示器152的距离或基于这两个距离来确定是否显示对象的对象指示符。例如，如果对象处于距表面200的预定义距离(例如，150mm)内，则引擎170可以显示对象的对象指示符，并且如果对象不在距表面200的预定义距离内(或者移动到所述预定义距离之外)，则不显示(或停止显示)对象指示符。作为另一示例，如果对象处于显示器152的预定义距离内，则引擎170可以显示对象的对象指示符，并且如果对象不在距显示器152的预定义距离内(或者移动到所述预定义距离之外)，则不显示(或停止显示)对象指示符。在一些示例中，如果对象距表面200的距离小于对象距显示器152的距离，则引擎170可以显示对象的对象指示符，否则不显示对象指示符。
在一些示例中，引擎170可以基于对象距表面200的距离与对象距显示器152的距离之间的比率或差来确定是否显示对象的对象指示符。例如，如果比率或差小于预定义比率或预定义的差异，则引擎170可以显示对象的对象指示符，并且如果比率或差大于或等于预定义比率或预定义的差异，则不显示(或停止显示)对象指示符。在一些示例中，引擎170可以基于对象和传感器束164之间的距离(所述距离例如基于来自传感器束164中的环境光传感器164D或其他相机的输入确定)来确定是否显示对象的对象指示符。例如，如果所述距离小于预定义距离，则引擎170可以显示对象的对象指示符，并且如果所述距离大于或等于预定义距离，则不显示(或停止显示)对象的对象指示符。
在一些示例中，当对象越过阈值时，引擎170可以实现滞后机制并调整上面讨论的预定义的距离，比率，差和其他阈值。当对象位于阈值附近并且无意中来回越过阈值时，这可能会阻止抖动(快速显示和隐藏对象指示符)。在一些示例中，上面描述的各种阈值可以是预定义和固定的，或者可由用户配置。在一些示例中，对象距显示器152和表面200的距离可以由引擎170例如基于对象的三维坐标(如上所述)或使用其它合适的方法(诸如使用从传感器束164的深度相机164c或其他相机接收的深度数据)来确定。在一些示例中，引擎170为每个对象确定是否显示该对象的对象指示符。因此，在一些示例中，引擎170可以同时显示一个或多个检测到的对象的对象指示符，并且不显示其他检测到的对象的对象指示符。在其他示例中，如果引擎170使用上述任何技术来确定不应显示至少一个对象指示符，则引擎170可以不显示任何检测到的对象的对象指示符。
尽管在一些上面的示例中，引擎170被描述为被配置为确定对象的位置并且仅显示相应的对象指示符一次，但是应当理解，引擎170可以被配置为连续地(例如，每秒固定次数(例如30次))执行所描述的功能。因此，在一些示例中，随着一个或多个对象正在移动，并且随着一些对象正接触或停止接触表面200，引擎170可以连续地并且实时地检测新的对象位置和触摸，并且相应地更新所显示的对象指示符。
图9是计算设备150的示例部分的框图。在图9的示例中，计算设备150通信地连接到触敏表面200，相机164A-164C和显示器152，如上所述。相机164A-164C中的每一个可以设置在表面200上方并指向表面200。计算设备150还可以包括处理资源310和含有(例如，编码有)指令322-324的机器可读存储介质320。
在一些示例中，存储介质320可以包括附加指令。在一些示例中，本文关于存储介质320描述的指令322-324和任何其他指令可以存储在远离计算设备150和处理资源310但是可被计算设备150和处理资源310访问的机器可读存储介质上。处理资源310可以得取，解码并且执行存储在存储介质320上的指令以实现本文所述的功能。在其他示例中，存储介质320的任何指令的功能可以采用电子电路的形式，采用编码在机器可读存储介质上的可执行指令的形式或采用其组合的形式来实现。机器可读存储介质320可以是非暂时性机器可读存储介质。
在一些示例中，指令322可以例如基于如上所述的从传感器束164的两个不同相机获得的至少两个图像来确定对象的三维坐标。在一些示例中，如上所述，对象可以设置在表面上或上方(例如，悬停在表面上方或接触表面)，其中表面可以是不同于显示器的表面之外的任何表面，例如任何不平行于显示器的表面(诸如触敏表面200)的表面。基于三维对象坐标，指令324可以确定二维显示坐标，二维显示坐标可以关联于与对象在表面上的投影对应的二维投影坐标或者对应于与对象在表面上的投影对应的二维投影坐标，如上所述。指令324可以在显示器上确定的显示坐标处显示对象指示符。
如上所述，在一些示例中，所述表面可以是触敏表面，并且介质320还可以包括这样的指令，所述指令用于从触敏表面接收表示至少一个触摸的触摸数据；确定触摸是否与对象相关联，如上所述；并且基于触摸是否与对象相关联，从至少两个不同的对象指示符中选择对象指示符。介质320还可以包括这样的指令，所述指令用于检测对象的类型(例如，手写笔，指尖等)并且基于检测到的类型来选择对象指示符，如上所述。此外，介质320可以包括这样的指令，所述指令用于基于对象距表面的距离和对象距显示器的距离(例如，基于两个距离之间的比率和/或差)来确定是否显示对象指示符。
在一些示例中，本文关于图9描述的特征和功能可以与本文关于图1-8和10中的任何一个描述的特征和功能结合提供。
图10是用于显示至少一个对象指示符的示例方法900的流程图。方法900可以例如由至少一个计算系统(例如，计算系统100)或者由硬件和/或软件处理器，计算设备和/或计算系统的任何其他组合来执行，所述至少一个计算系统具有至少一个计算设备(例如，计算设备150)，所述至少一个计算设备具有至少一个处理资源(例如，处理资源310)。
在块905，方法900可以确定多个对象的位置(例如，三维位置)，其中至少一个对象可能正触摸表面(例如，触敏表面200)和至少一个其他对象可能没有正在触摸表面。例如，如上所述，该方法可以基于从传感器束164的一个或多个相机获得的图像或多个图像来确定位置。在块910，方法900可以至少基于位置来确定对象或多个对象中的每一个的显示坐标。如上所述，对象的显示坐标可以对应于对象在表面上的投影(例如，对象的显示坐标可以是对象在表面上的投影的线性函数)。表面可以是不同于显示器(例如，显示器152)的表面(例如触敏表面200)的任何表面。在块915，该方法可以在显示器(例如，显示器152)上显示多个对象中的一个或每个的对象指示符。
在一些示例中，方法900可以包括附加块。例如，方法900还可以检测表面上的一个或多个触摸(例如，如果所述表面是诸如表面200的触敏表面)并且基于所述对象是否对应于任何触摸(例如，触摸所述触敏表面)为每个对象从至少两个不同对象指示符选择对象指示符。在一些示例中，显示器可以是触敏显示器，并且所述方法还可以基于该对象距表面的距离及该对象距显示器的距离(例如，基于所述两个距离之间的比例和/或差)来确定是否显示特定对象的对象指示符。
尽管图10的流程图示出了某些功能的特定执行顺序，但是方法900不限于该顺序。例如，流程图中连续示出的功能可以采用不同的顺序执行，可以同时执行或部分同时执行，或以其组合的方式执行。在一些示例中，本文关于图10描述的特征和功能可以与本文关于图1-9中的任一个所描述的特征和功能组合地提供。

Claims (15)

1.一种计算系统，包括：
触感表面；
显示器
至少一个相机，用于捕获表示设置在所述相机和所述触敏表面之间的对象的图像；和
检测引擎，用于
至少基于所述图像，确定对应于所述对象在所述触敏表面上的投影的显示坐标，其中所述显示器不平行于所述触敏表面；
至少基于对象是否正触摸触敏表面而从至少两个不同的对象指示符中选择对象指示符；和
将所选择的对象指示符提供给显示器，以在显示器上确定的显示坐标处显示所选择的对象指示符。
2.根据权利要求1所述的计算系统，其中：
触感表面用于检测触摸；和
检测引擎进一步用于：
确定触敏表面检测到的触摸是否与对象相关联。
3.根据权利要求2所述的计算系统，其中所述对象包括指尖。
4.根据权利要求1所述的计算系统，其中所述显示器包括触敏显示器，并且所述检测引擎还用于：
基于对象距触敏表面的距离和对象距显示器的距离中的至少一个来确定是否显示对象指示符。
5.根据权利要求4所述的计算系统，其中所述检测引擎用于基于以下项目中的至少一个来确定是否显示所述对象指示符：i)所述对象距所述触敏表面的距离和所述对象距所述显示器的距离之间的比率，和ii)所述对象距所述触敏表面的距离和所述对象距所述显示器的距离之间的差。
6.一种方法，包括：
确定多个对象的位置，其中至少一个对象正在触摸表面，并且至少一个对象没有正在触摸所述表面；
至少基于所述位置，为所述多个对象中的每个对象确定对应于对象在表面上的投影的显示坐标；和
在显示器上确定的显示坐标处为多个对象中的每个对象显示对象指示符，其中所述表面与显示器的表面不同。
7.根据权利要求6所述的方法，其中所述表面包括触敏表面，所述方法还包括：
基于所述对象是否正触摸所述触敏表面，从至少两个不同的对象指示符中为所述多个对象中的每个对象选择所述对象指示符。
8.根据权利要求6所述的方法，其中所述位置的确定基于从RGB相机，红外相机和深度相机中的至少一个获得的多个图像。
9.根据权利要求6所述的方法，其中所述显示器包括触敏显示器，所述方法还包括：
基于对象距表面的距离和对象距显示器的距离中的至少一个来为至少一个对象确定是否显示对象指示符。
10.根据权利要求9所述的方法，其中确定是否显示所述对象指示符是基于以下项中的至少一个：i)所述对象距所述表面的距离和所述对象距所述显示的距离之间的比率，以及ii)所述对象距所述表面的距离和所述对象距所述显示器的距离之间的差。
11.一种非暂时性机器可读存储介质，包括可由包括显示器的计算系统的处理资源执行的指令，所述指令可执行用以：
基于从多个相机的两个不同相机获得的至少两个图像来确定对象的三维坐标，其中所述多个相机至少包括RGB相机，红外相机和深度相机；
基于对象的三维坐标，确定对应于二维投影坐标的二维显示坐标，其中所述二维投影坐标对应于所述对象在不同于所述显示器的表面的表面上的投影；和
准备在显示器上确定的显示坐标处显示对象指示符。
12.根据权利要求11所述的非暂时性机器可读存储介质，其中所述表面包括触敏表面，并且其中所述指令还可执行用以：
从所述触敏表面接收表示至少一个触摸的触摸数据；
确定所述触摸是否与对象相关联；和
基于所述确定从至少两个不同的对象指示符中选择对象指示符。
13.根据权利要求12所述的非暂时性机器可读存储介质，其中所述指令还可执行用以检测所述对象的类型，并且其中，选择所述对象指示符进一步基于所述对象的类型。
14.根据权利要求11所述的非暂时性机器可读存储介质，其中所述指令还可执行用以：
基于对象距表面的距离和对象距显示器的距离中的至少一个来确定是否准备显示对象指示符。
15.根据权利要求14所述的非暂时性机器可读存储介质，其中所述指令还可执行用以：
基于以下项中的至少一个来确定是否准备显示对象指示符：i)对象距表面的距离和对象距显示器的距离之间的比率，以及ii)对象距表面的距离和对象距显示器的距离之间的差。
CN201480082391.4A 2014-09-30 2014-09-30 显示对象指示符 Expired - Fee Related CN107077195B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/058189 WO2016053269A1 (en) 2014-09-30 2014-09-30 Displaying an object indicator

Publications (2)

Publication Number Publication Date
CN107077195A true CN107077195A (zh) 2017-08-18
CN107077195B CN107077195B (zh) 2020-09-29

Family

ID=55631125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082391.4A Expired - Fee Related CN107077195B (zh) 2014-09-30 2014-09-30 显示对象指示符

Country Status (5)

Country Link
US (2) US10168838B2 (zh)
EP (1) EP3201722A4 (zh)
CN (1) CN107077195B (zh)
TW (1) TWI582676B (zh)
WO (1) WO2016053269A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968248A (zh) * 2018-09-28 2020-04-07 苹果公司 生成用于视觉触摸检测的指尖的3d模型
CN112805660A (zh) * 2018-08-02 2021-05-14 萤火维度有限公司 用于人与虚拟对象交互的系统和方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076175A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置
TWI562046B (en) * 2015-06-25 2016-12-11 Wistron Corp Optical touch apparatus and width detecting method thereof
EP4115271A1 (en) * 2020-03-04 2023-01-11 Abusizz AG Interactive display apparatus and method for operating the same
TWI799137B (zh) * 2021-02-23 2023-04-11 仁寶電腦工業股份有限公司 電子裝置及其使用方法
US11740689B1 (en) * 2022-06-16 2023-08-29 Apple Inc. Electronic devices with projectors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207796A (zh) * 2010-03-30 2011-10-05 索尼公司 图像处理设备、图像显示方法、图像显示程序及记录介质
CN102868897A (zh) * 2011-07-06 2013-01-09 索尼公司 显示控制装置、显示控制方法以及程序
US20130050145A1 (en) * 2010-04-29 2013-02-28 Ian N. Robinson System And Method For Providing Object Information
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
US20140201685A1 (en) * 2013-01-14 2014-07-17 Darren Lim User input determination

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US20050162402A1 (en) 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
JP3880582B2 (ja) 2004-02-13 2007-02-14 Ｎｅｃビューテクノロジー株式会社 複数のカメラを備えたプロジェクタ
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8103109B2 (en) 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US8358277B2 (en) 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8760391B2 (en) 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
CN202142005U (zh) 2009-07-22 2012-02-08 罗技欧洲公司 用于远程、虚拟屏幕输入的系统
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
WO2012023004A1 (en) 2010-08-18 2012-02-23 Sony Ericsson Mobile Communications Ab Adaptable projection on occluding object in a projected user interface
KR101756664B1 (ko) 2010-12-24 2017-07-26 엘지디스플레이 주식회사 적외선 방식 터치스크린 표시장치 및 이의 터치지점 판단방법
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8619049B2 (en) 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
WO2013108032A1 (en) 2012-01-20 2013-07-25 Light Blue Optics Limited Touch sensitive image display devices
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9092090B2 (en) * 2012-05-17 2015-07-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Structured light for touch or gesture detection
US9429417B2 (en) 2012-05-17 2016-08-30 Hong Kong Applied Science and Technology Research Institute Company Limited Touch and motion detection using surface map, object shadow and a single camera
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
JP6089722B2 (ja) 2013-01-23 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9204130B2 (en) 2013-02-06 2015-12-01 Caterpillar Inc. Method and system for creating a three dimensional representation of an object
US20140267029A1 (en) 2013-03-15 2014-09-18 Alok Govil Method and system of enabling interaction between a user and an electronic device
US9160993B1 (en) * 2013-07-18 2015-10-13 Amazon Technologies, Inc. Using projection for visual recognition
US9494415B2 (en) * 2013-11-07 2016-11-15 Intel Corporation Object position determination
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
TWI524772B (zh) * 2014-02-19 2016-03-01 中強光電股份有限公司 投影系統及其投影方法
US11106314B2 (en) * 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207796A (zh) * 2010-03-30 2011-10-05 索尼公司 图像处理设备、图像显示方法、图像显示程序及记录介质
US20130050145A1 (en) * 2010-04-29 2013-02-28 Ian N. Robinson System And Method For Providing Object Information
CN102868897A (zh) * 2011-07-06 2013-01-09 索尼公司 显示控制装置、显示控制方法以及程序
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
US20130257748A1 (en) * 2012-04-02 2013-10-03 Anthony J. Ambrus Touch sensitive user interface
US20140201685A1 (en) * 2013-01-14 2014-07-17 Darren Lim User input determination

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805660A (zh) * 2018-08-02 2021-05-14 萤火维度有限公司 用于人与虚拟对象交互的系统和方法
CN110968248A (zh) * 2018-09-28 2020-04-07 苹果公司 生成用于视觉触摸检测的指尖的3d模型
CN110968248B (zh) * 2018-09-28 2023-07-14 苹果公司 生成用于视觉触摸检测的指尖的3d模型

Also Published As

Publication number Publication date
EP3201722A1 (en) 2017-08-09
US10168838B2 (en) 2019-01-01
CN107077195B (zh) 2020-09-29
US20190114034A1 (en) 2019-04-18
TW201617820A (zh) 2016-05-16
WO2016053269A1 (en) 2016-04-07
EP3201722A4 (en) 2018-05-16
TWI582676B (zh) 2017-05-11
US20170249054A1 (en) 2017-08-31
US10379680B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
US10379680B2 (en) Displaying an object indicator
US10268277B2 (en) Gesture based manipulation of three-dimensional images
US10156937B2 (en) Determining a segmentation boundary based on images representing an object
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US20120319945A1 (en) System and method for reporting data in a computer vision system
TWI545463B (zh) 投影系統及管理投影系統之方法
TWI588736B (zh) 投影運算系統、用以修改其中觸控輸入之方法及相關非暫態電腦可讀儲存裝置
CN106415439A (zh) 用于镜面反射红外光的投影屏幕
US10281997B2 (en) Identification of an object on a touch-sensitive surface
US20170213386A1 (en) Model data of an object disposed on a movable surface
US10877597B2 (en) Unintended touch rejection
TW201621554A (zh) 物件影像之捕捉及投影技術

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200929