CN102016713B - 将图像投射至有形用户界面上 - Google Patents

将图像投射至有形用户界面上 Download PDF

Info

Publication number
CN102016713B
CN102016713B CN2009801165600A CN200980116560A CN102016713B CN 102016713 B CN102016713 B CN 102016713B CN 2009801165600 A CN2009801165600 A CN 2009801165600A CN 200980116560 A CN200980116560 A CN 200980116560A CN 102016713 B CN102016713 B CN 102016713B
Authority
CN
China
Prior art keywords
projected
graph data
surperficial computing
surperficial
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009801165600A
Other languages
English (en)
Other versions
CN102016713A (zh
Inventor
S·泰勒
S·伊扎迪
D·A·罗森菲尔德
S·豪杰斯
D·A·巴特勒
J·斯科特
N·韦拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102016713A publication Critical patent/CN102016713A/zh
Application granted granted Critical
Publication of CN102016713B publication Critical patent/CN102016713B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)
  • Liquid Crystal (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

描述了具有能在透明和漫射状态之间切换的表面的表面计算设备。当表面处在其漫射状态下时，可将图像投射至该表面上，并且当表面处在其透明状态下时，可透过该表面将图像投射至物体上。在一实施例中，投射至物体上的图像被重定向至该物体的不同面上，以提供附加显示表面或增补该物体的外观。在另一实施例中，可将图像重定向至另一物体上。

Description

将图像投射至有形用户界面上
背景
已经开发出包括既用于显示图形用户界面又用于用户输入的表面的表面计算设备。表面计算设备检测表面上的用户手指或者检测由用户操控的真实、有形物体，并且这被称为“有形用户界面”(TUI)。在一示例中，这些物体可以是用户可移动的游戏件(gaming piece)，并且该移动可被表面计算设备所检测。表面计算设备可以为单用户使用而设计，或者可以是多用户设备。
已开发有若干种来跟踪或检测表面上的物体的技术，例如，使用相机从表面上方对物体成像(“顶-向下”配置)或使用光源从下方照射表面并使用相机检测由与表面接触的物体反射的光(“底-向上”配置)。另一种技术依赖于当指尖与表面接触时致使光的散射的受抑全内反射(FTIR)并且此散射的光被表面下面的相机所检测。
以下描述的各实施例不限于解决已知表面计算设备的缺点中的任一个或全部的实现。
概述
下面提供本发明的简要概述以便向读者提供基本的理解。本概述不是本发明的详尽概观，并且既不标识本发明的关键/重要元素，也不描绘本发明的范围。其唯一目的是以简化形式提供在此公开一些概念作为稍后提供的更详细描述的序言。
描述了具有能在透明和漫射状态之间切换的表面的表面计算设备。当表面处在其漫射状态下时，可将图像投射至该表面上，并且当表面处在其透明状态下时，可透过该表面将图像投射至物体上。在一实施例中，投射至物体上的图像被重定向至该物体的不同面上，以提供附加显示表面或增补该物体的外观。在另一实施例中，可将图像重定向至另一物体上。
许多附带特征将随着参考下面的详细描述并结合附图进行理解而得到更好的认识。
附图描述
根据附图阅读以下详细描述，将更好地理解本发明，在附图中：
图1是表面计算设备的示意图；
图2示出表面计算设备的示例操作方法的流程图；
图3和4示出可与表面计算设备一起使用的各种无源物体的示意图；
图5示出有源物体和表面计算设备的示意图；
图6-8示出可用于检测用户输入的表面计算设备的示意图；
图9是另一表面计算设备的示意图；
图10示出用于校正畸变的光学布置的示意图；
图11示出表面计算设备的另一示例操作方法的流程图；以及
图12示出可在其中实现本文所描述的各种方法的的实施例的示例性的基于计算的设备。
附图中使用相同的附图标记来指代相同的部分。
详细描述
下面结合附图提供的详细描述旨在作为对本示例的描述，而非表示用于解释或利用本示例的唯一形式。本说明书阐述本示例的功能以及用于构造和操作本示例的步骤序列。然而，相同或等效的功能与序列可由不同的示例来实现。
图1是表面计算设备100的示意图，该表面计算设备100包括位于可切换表面102的后面的投射器101，即投射器101在可切换表面的与用户(图1中未示出)相对的那一侧。可切换表面102具有两种操作模式：“显示模式”，其中表面(对于可见光)基本上是漫射的并且任何背面投射的图像或其他图形数据被显示在表面上；以及“投射模式”，其中表面(对于可见光)基本上是透明的并且任何背面投射的图像(或其他图形数据)透过表面投射。若诸如物体103之类的物体被放置在表面102上(或附近)，则当该设备处在投射模式时，图像可被投射至该物体的底面104中。
仅出于解释的目的，本文描述指的是(例如，由投射器101)将图形数据投射透过表面和/或投射至表面上。此图形数据可包括任何形式的图像或数据，包括数字或模拟数据。将领会，投射器可将任何形式的图形数据投射透过表面，并且该选择可以是取决于应用的。在一些示例中，可以投射文本或图形用户界面(GUI)(其可包括文本和/或图像)，在其他示例中，可以投射可静止或移动的图像，以及在又些示例中，可以投射单个颜色或其他光模式(例如，结构化光模式)。
图2示出表面计算设备100的示例操作方法的流程图。在此示例中，可切换表面102初始处在显示模式，并且用于该表面计算设备的图形用户界面或任何其他图形数据被投射至表面上(框201)。该表面随后被切换至投射模式(框202)，即它相对于可见光从基本漫射被切换至基本透明，并且图形数据透过表面被投射至物体上(框203)。该可切换表面随后可被切换回显示模式(框204)并且可重复该方法。
表面的切换(框202和204中)可以任何速率进行。在一示例中，表面可以按超过闪动感知阈值的速率(例如，以60Hz)切换。在这样的速率下，用户将看到表面上的GUI(或其他图形数据)和投射至物体上的图形数据(可以是另一GUI)两者。这样的装置和方法因此允许基本上同时地显示图形数据、GUI或其他形式数据的两个不同元素。这两个元素可完全不相关并且可以是独立地控制的。在其他示例中，可将相同的图形数据投射至表面上和透过表面(例如，投射至除该可切换表面以外的第二显示表面上)。
为了在表面上和透过表面显示不同的图形数据，可以使用能在图形数据的元素之间(例如，在图像之间)以足够高的速率切换的投射器，且该投射器可与表面的切换(例如，框202和204中)同步。或者，系统可包括第二投射器106，且可在每个投射器101、106的前面提供可切换快门(或过滤器)107、108。在这样的实施例中，快门107、108可与可切换表面102同步地进行切换，并且投射器101、106可连续地投射(或者可以较低速率切换)。或者，投射器101可被提供成透过表面投射图形数据，而可以使用处在显示模式的替换显示装置诸如LCD(液晶显示器)来将图形数据投射至处在显示模式的表面上。在这样的示例中，投射器101可充当LCD面板的背光，或者可提供单独的背光。仅出于以下解释的目的，将使用投射器以显示模式提供图形数据，尽管将领会在其他示例中，可以使用任何能被投射透过的显示装置。
表面计算设备100的双重投射能力可被用于创建有趣的分层和魔幻透镜效果。作为投射两个完全不相关的图像的代替，投射透过表面的图形数据可以在视觉上与正投射在表面上的图形数据相联系。例如，投射在表面上的图形数据可以是汽车图像，而包括揭示该汽车的内部工作的相关联图像的图形数据正被投射透过该表面。在此示例情景中，若用户使一件半透明材料(或其他物体)在该汽车上经过，则将揭示其他隐藏信息，从而创造出两层的效果。可使用各种形式和形状的不同半透明物体来利用这种能力，从而各自在实际上充当物理魔幻透镜。这些物体无需非得停留在表面上或者甚至无需非得与表面接触。它可以是被抬起离开表面的，而透过表面投射的图形数据被保持。该物体可以6个自由度来操控。其他示例在下文中描述。
投射器101、106可以是任何种类的投射器，示例包括但不限于LCD、LCOS(硅上液晶)、DLP(数字光处理TM)以及激光投射器。投射器可以是固定的或可操纵的。可切换快门107、108(或过滤器/镜)可以是任何种类的可切换快门，并且示例是铁电LCD快门。
可切换表面102可包括聚合物稳定胆甾型构造(PSCT)液晶或聚合体分散液晶(PDLC)薄板。这些材料可通过施加电压而在基本漫射和透明状态之间电切换。PSCT通常能够以高于PDLC的速率切换，并且PSCT可以超过闪动感知阈值的速率切换(例如，可以60Hz左右切换)。
在使用PSCT的示例实现中，表面可以60Hz进行切换，其中每个循环包括当向屏幕施加150V以使其畅通的约8.3ms，继以不施加电压从而返回其自然漫射状态的约8.3ms。每个状态的时间的精确比例(即，工作循环)可根据系统设计的具体需要而改变。例如，以畅通区间为代价增大漫射区间将以降低透过投射的亮度为代价增加表面上的显示亮度。还将降低可供相机用于透过表面成像的光。在此示例中，可在交替循环上翻转该150V的极性，并且可使用基于H桥的架构的驱动器电路，其中可切换表面的每侧被连接至能够在0和+150V之间切换的一个半桥。因此，取决于没有半桥、左半桥、或者右半桥被启用(分别)可跨PSCT-LC施加为0V、+150V或-150V的电势。每个半桥可被实现为从NPN和PNP功率音频晶体管制成的互补发射极跟随器。这些晶体管能够足够快地递送用以切换实际是约6μF的非线性电容器的表面所需的高电流(～4A)。功率输出级可通过附加的电流增益级来驱动。高压电路与系统的其余部分之间的电气隔离可通过使用光耦合电平转换器来达成。将领会，这只是一种可能的实现，并且仅作为示例描述。
或者，可切换表面可使用任何其他技术或布置来提供两种操作模式，例如，可选择性地用光学漫射或透明的气体来填充的气体填充腔体、或者可将弥散元件切换进出表面的平面(例如，以类似于软百叶窗的方式)的机械设备。在所有这些示例中，可在两种模式之间对表面进行电切换，在一种模式中表面对于可见光是基本漫射的，并且在另一种模式中表面对于可见光是基本透明的。在一些示例中，可切换表面还能够被切换至具有不同程度的漫射性的中间模式。
在一些示例中，整个表面102可在模式之间切换(例如，在框202和204中)，并且在其他示例中，仅屏幕的部分可在状态之间切换。在某些示例中，取决于切换区域的控制粒度，可以在表面中打开透明窗口(例如，在被放置在表面上的物体的后面)，同时该表面的其余部分保持在其基本漫射状态中。表面的各部分的切换在表面的切换速度低于闪动阈值的情况下可以是有帮助的，以使得图形数据(诸如图像或图形用户界面)能够在表面的一部分上显示，同时透过该表面的不同部分发生投射并投射至物体上。
在其他示例中，表面可以被在模式间切换但是操作模式可取决于入射在表面上的光的性质。例如，表面可担当偏振光的一个方向的漫射体并且对于另一偏振可以是透明的。在另一示例中，表面的光学属性以及因此操作模式可取决于入射光的入射角度。
尽管图1示出了扁平表面，在其他示例中，可切换表面102可以是弯曲的或非平面的。表面可以是刚性或柔性的。此外，表面计算设备100可包括未在图1中示出的附加元件，诸如捕捉设备。
如上所述，当系统处在投射模式时，图形数据可透过表面投射至物体103上(框203)。此物体可与表面接触、靠近表面或远离表面。图形数据被投射至其上的物体可被设计成将光重定向(例如，通过反射/衍射)以将图形数据投射至该物体的面上。该图形数据被投射至其上的该面可与可切换表面平行或者可不与该表面平行。在另一示例中，投射的光可被该物体重定向，使得该光以不同于该光被投射透过表面的角度的角度从该物体被发射，并且这可以使得投射至另一物体上。这些物体可以是无源的，或者可以是有源的(即，包含电路)，并且示例在下文描述。
透过表面的投射——其可以是与(在显示模式中)投射至表面上的图形数据的不同的图形数据的投射，可被用于提供替换显示表面(例如，提供私人显示器)、用于增补物体的外观(例如，将图像投射至一页纸上或将鲜活的脸投射至游戏件上)、用于感测(例如，用于物体上的触摸感触或用于光束-中断(beam-break)传感器)或用于其他目的。这些物体可为表面计算设备提供有形用户界面(UI)控制，或者以其他方式向表面计算设备提供用户输入。各种物体的示例及其使用在下文描述。
图3示出各种无源物体的示意图，这些物体将在一个面上进入该物体的光重定向至该物体的另一面上。此光已在投射模式中被投射透过可切换表面。无源物体301的第一示例包括直角等腰棱镜，并且入射在底面302上的光如图3中所示地通过90°反射。这依赖于棱镜的全内反射(TIR)属性，尽管可替换地使用具有镜表面的物体。若该物体的垂直面303被研磨或者以其他方式配备有漫射或散射层，则投射至该棱镜的底面302上的任何图形数据将被显示在垂直面303上。这样的物体301因此可用于提供用户的私人显示器(例如，显示游戏或机密信息)，尤其是在该表面计算设备是多用户设备的情况下。
无源物体311的第二示例包括已关于点C通过360°扫掠的棱镜308的窄部分ABC。入射在平坦底面312(EO、OG)上的光线将再次(在面DO、OF上)经历全内反射，并从外曲面313(DE、FG)出现。若两维(2D)图像(或其他图形数据)被投射至物体的底面平坦表面312上，则该图像将透过该物体的弯曲侧被反射出去；然而，若合适的漫射体材料被附至该曲面(或提供漫射表面研磨)则出现的光将在曲面上形成人眼可见的图像。
图4示出物体311的变形的示意图，其中入射在底面上的光被重定向至一个以上的面，导致图形数据被显示在该物体的一个以上的面上。第一变形401包括具有平行顶面和底面410、411的外圆柱部分。任何自下投射到此圆柱区域的光将从该物体的顶表面出现，并且通过在顶表面上放置漫射体(或提供漫射表面研磨)，图形数据可同时形成在外曲面412和顶表面410的环这两者上。由于图形数据的(在表面412、410上的)这两个投射的元素是源自入射图形数据的不同区域(在物体的底面411、413上)，所以图形数据的被投射元素可独立地控制。
第二变形402也允许投射至顶表面420和弯曲的外表面421这两者上，但此变形允许投射至顶表面的中央区域(而非先前变形401中所示的外环)。该物体的中央部分具有与底表面423平行的表面422。通过添加漫射层424或替换地通过向平坦中央表面422添加漫射层(或表面)研磨可使得图形数据在顶表面上可见。未在图4中示出的另一变形是上述两个变形401、402的组合。这提供了三个不同的投射区：外曲面、顶表面上的外环以及顶表面的中央部分，并且如上所述，每个区域上的投射可独立控制。
图4中还示出又一变形403，其在物体的中央部分包括诸如凹透镜430之类的透镜。自下投射至此区域的图形数据被扩展以填满物体的顶表面431的整个表面(或者更大部分)，并且如上所述，可提供漫射层432。在这样的示例中，相对于所投射图形数据的分辨率来权衡所投射图形数据的大小，即，透镜增大了顶表面上所投射图形数据的大小但所投射分辨率保持相同，从而顶表面上图形数据的有效分辨率将小于投射至弯曲侧433上的图形数据的分辨率。该镜头可能引入畸变，但这能在所投射的图形数据中进行校正。尽管图4中示出凹透镜，但在其他示例中，可使用其他镜头，诸如复合透镜或凸透镜。
将领会，上述示例仅是可以结合可切换表面层使用以定向投射透过该表面的光并提供在该物体的不同表面和在一些情形中多个表面上的投射的许多不同示例物体中的一些。取决于该物体的设计和所投射图形数据，图形数据可被投射在物体的所有表面上。尽管所示示例具有平坦的上表面，但这仅用作示例，并且其他物体可包括弯曲的上表面。在又一示例中，该物体可以是基本上是半球状的。
尽管这些物体可与可切换表面接触，但在其他示例中，这些物体可与表面分开，例如，图4中所示的物体可具有将它们与可切换表面隔开的透镜或其他构件。在投射装置(例如，可包括一个以上的投射器和可切换过滤器)和表面可按照超过闪动阈值的速率切换的情况下，这可以使不同图形数据能被投射至物体上和下方。
该透过表面所投射图形数据可以根据该图形数据被投射至其上的物体的检出位置来改变。该检出位置可以是基本上平行于该可切换表面的平面中的位置(例如，x-y位置)、该物体与表面之间的间距(例如，z位置)和/或该物体的方向(例如，倾斜或旋转)。在第一示例中，当漫射物体与表面接触时可将第一颜色投射至该物体上，并且当该物体不与表面接触时将第二颜色投射至该物体上。在第二示例中，当物体朝向或远离表面移动时可向所投射图形数据应用缩放效果，以使得该物体类似于放大镜。在第三示例中，取决于物体位置可向其投射不同的图形数据(如在上述的魔幻透镜示例中)。
漫射物体与表面之间的接触可以任何方式(例如，使用触摸检测方法)来检测。当漫射物体被抬离此表面时，这还可以使用触摸检测或者替换地通过深度检测(例如，使用飞行时间相机或检测投射至物体上的结构化光模式)来检测。当检测到物体与表面的间距的改变时，所投射的光可以例如改变为不同颜色或不同图形数据。在一示例中，可以调整所投射图形数据以使其保持在焦点上或者在物体上保持相同大小等。这提供基于3D的交互和3D显示。
结合可切换表面使用的物体可具有使其相对于表面的位置能被跟踪的集成特征或嵌入式电子器件。示例包括使用无源(向后-反射型)或有源(供电LED)标签，它们可使用可见光或红外(IR)光或者另一波长的光。其他示例包括使用无线通信(例如，RFID标签)。进一步示例在下面将更详细地描述。
在图5中所示的示例中，物体501可具有嵌入其中(例如，在拐角处)的LED 502或者其他光源，并且物体的位置可通过透过投射模式下的可切换表面检测LED的位置来跟踪。为了达成此目的，图像捕捉设备或其他成像装置，相机503可位于可切换表面102的后面。在表面附近有一个以上的物体的情况下，不同物体可使用不同的闪烁模式(或不同调制方案)以协助在它们之间进行区别。在另一示例中，物体中的LED可以响应于收到的信号(例如，无线电信号)开/关，并且这可被用于在物体之间进行区别。在又一示例中，物体可包括反射元件(例如，替代有源LED)，反射元件反射在投射模式下投射透过可切换表面的光的至少一部分。反射自这些元件的光可被相机或其他成像装置检测以使得能够对物体位置进行跟踪。
作为LED或其他光源的补充或替代，物体可包括其他有源电子器件。例如，物体可包括嵌入式电子器件或设备以帮助确定物体的位置和/或方向，诸如指南针、加速计、倾斜开关等，并且该物体可使用无线通信技术(例如，IrDA、蓝牙TM、WiFi等)将数据从这些传感器传达给表面计算设备。这些设备可用作对发射或反射自物体的光的检测的替代或补充。可参照可切换表面或相对于另一物体或方向(例如，相对于重力)检测物体的位置和/或方向。在其中光于物体的拐角处被发射/反射的情况下，可使用附加数据来解决可能由不完整视觉数据(例如，图像捕捉设备仅捕捉到四个拐角中的三个)而导致的模糊或提供更佳的位置/跟踪数据。在另一示例中，物体可包括相机或其他图像捕捉设备，并且可将指示所捕捉到的图像的数据传达给表面计算设备。通过将收到的数据与显示在可切换表面上或投射透过表面的任何图形数据相关联，表面计算设备可确定物体关于表面的相对位置。
在跟踪物体或者确定其位置的情况下，投射至物体上的图形数据可根据物体的位置而被修改。在一示例中，可调整图形数据以校正可能与位置有关的畸变(例如，如下文更详细地描述)，或者所投射图形数据可以因物体的位置而不同(例如，提供在显示模式下显示于可切换表面上的图形数据的部分的放大视图，以提供虚拟放大器)。这提供3D显示，并且允许用户进行3D交互(例如，其中用户正相对于可切换表面移动物体)。
结合可切换表面使用的物体可使能通过检测其在表面上的位置(例如，使用如上所述的物体跟踪)和/或通过检测用户与物体的交互来对表面计算设备进行用户输入。图6中示出使能对用户与物体的交互进行检测的两个示例布置601、602。在第一示例601中，可使用放于表面102上的两个棱镜610、611来提供光束-中断传感器。投射模式下投射透过表面并进入一个棱镜610的底部的光被反射并经过棱镜之间的间隙612。相机或其他成像设备可被用于检测由第二棱镜611透过表面(处在投射模式)反射回的光。光束-中断传感器可使用可见光或可使用另一波长的光，诸如红外(IR)辐射。
图6示出允许通过检测用户正在触摸表面102上(或附近)的物体620进行用户输入的第二布置602。此触摸检测可通过在物体的底部上(例如，从源622透过可切换表面102)照射随后被成角度的表面重定向(如上所述)的光来达成。当用户正在触摸物体时，入射在手指621上的光被反射并且被成像装置623所检测。在一示例中，可使用IR光，使得源622是IR源且成像装置是IR成像装置，诸如IR敏感相机。光的投射和检测可当表面102处在投射模式时执行，或者替换地，在使用IR光的情况下，表面在显示模式下可以对IR光至少部分透明从而允许在显示模式下执行投射和检测。除了用来提供用户输入外，可见光可在投射模式下投射透过表面以将图形数据投射至物体上。
在进一步示例中，可结合可切换表面使用有源物体(即，包括电路的物体)来提供用户输入。例如，尽管图6中的布置601、602显示光(例如，IR光)被投射进入物体中，但在其他示例中物体可以是有源物体并且可包括光源(例如，IR LED)。
在一示例中，有源物体可包括触摸屏。此触摸屏可使用任何合适的触摸屏技术，诸如电阻式或电容式技术、或者诸如图7中所示并在下文描述的FTIR(受抑全内反射)。在一示例中，触摸屏可包括可切换表面。
在如图7中所示的示例700中，物体701可包括光源702，光源702将光耦合到物体中以使其在物体内经历TIR。当用户触摸物体时，TIR受抑并且光被散射出物体703。此所散射光703可以被可位于可切换表面102的另一侧上的成像装置704所检测。可使用对所散射光的检测来向表面计算设备提供用户输入，并且用户输入还可以取决于检测出的所散射光的位置。使用的光可以是可见光或可以是IR光。该设备还可包括布置成在投射模式下将图形数据投射至物体701上的投射器101。在又一示例710中，物体可以是无源的，且用于基于FTIR的触摸检测的光可投射透过表面并使用镜面或棱镜元件被耦合到物体中。物体701、710还可包括在其处表面被粗糙化(或以其他方式处理)以使TIR受抑的区域。通过这样的区域散射的光可被成像装置(例如，装置704)所检测并被用于跟踪物体相对于可切换表面102的位置。
图7中所示的前两种布置700、710允许跟踪与物体的前表面(即，远离可切换表面的表面)接触的手指。图7中所示的第三装置720允许跟踪物体的相对侧上(即，在物体的最靠近可切换表面的表面上，其可被称为背表面或底表面)的手指。物体721包括其中发生TIR的层722，其中IR光可由物体中的LED提供(如在布置700中)或者可被投射至物体上并耦合到物体中(如布置710中)。物体721还包括IR反射表面723。当用户(例如，使用手指725)触摸物体的背表面724时，TIR受抑并且所散射IR光被反射表面723反射并使用IR成像装置704检测。
在又一示例中，用户输入可通过对光在投射模式下透过可切换表面被投射至其上的物体挠曲或以其他方式使其变形来提供。物体的挠曲可通过跟踪该物体或该物体的部分(例如，拐角和/或边)的位置来跟踪，并且这可以使用上述技术中的一种技术来达成。在如图8中所示的另一示例中，该挠曲可通过例如使用极化光学畸变检测物体的光学属性的改变来检测。可包括投射器101(或另一光源)和偏振器803的极化光源可被用于将偏振光投射至例如可以是聚碳酸酯或丙烯酸薄板的物体801上。在穿透物体后，光可被前表面(即，最靠近用户但远离可切换表面102的表面)上的反射涂层802反射，并透过偏振器803被传回以被检测(例如，使用相机系统804)。可使用任何合适的物体，其中穿透该物体的光的偏振效应与材料的应力的量有关。当用户对物体施加力时，薄板的光学偏振属性改变，从而穿透该物体的任何部分的光的偏振的旋转量取决于该应力(即，薄板的不同部分将体验不同的应力，这将导致对穿透它的光的偏振的不同改变)。结果，检出图像提供薄板上应力的图，其可被解释以确定导致该图的用户动作(或结果的力)。
在一示例中，可结合表面计算设备使用触摸屏来创建对用户呈现为触敏的文档。在这样的示例中，透明(或包括可切换表面)的触摸屏可具有位于其顶上的打印文档。触摸屏可检测到用户正触摸文档并且表面计算设备中的投射器可以例如响应于经由触摸屏检测到的用户输入而将附加物投射至文档上。
在上述示例中，投射透过可切换表面的图形数据被显示在位于表面上或接近表面并将光重定向的物体上。在其他示例中，物体可将光重定向至诸如墙壁、天花板或投射屏幕等另一投射表面上。在一些示例中，投射屏幕可被适当放置以用作表面计算设备附近的扩展投射空间，如图9中所示。为了能够投射至替换投射表面900上，投射器中的一个可以定向为是离轴的。图9的系统还包括用于将图形数据投射至显示模式下的表面上的分开的投射器101。
尽管图9示出棱镜物体902，该物体可替换地包括镜表面或可以任何其他方式对光重定向。在一示例中，光可被投射至镜表面(例如，安装在可切换表面上方的天花板上)上并反射至物体上(例如，反射至物体的顶表面上和/或反射至并非光学透明的物体上)。镜表面可以是可操纵的，并且可被操纵以跟踪物体的任何运动(可如上所述地跟踪)。在又一示例中，可以使用提供360°投射的物体(例如，在外侧镀银的半球或在外侧成镜面的锥)。
在一些示例中，被用于将光重定向至替换投射表面上的物体的位置可被跟踪以允许补偿所投射图形数据。通过跟踪该物体相对于可切换表面的角度，可修改所投射图形数据以使得所投射图形数据保持恒定的方向、大小或形状(例如，矩形而非是不同的平行四边形或梯形)。在关于此类示例的变形中，这可以虚拟方式来实现。图形数据可透过投射模式下的表面被投射至物体上(同前)，并且在该物体被用户所操控时可跟踪该物体。随后可使用另一投射器将图形数据直接投射至该替换投射表面上(即，不经过该物体重定向)，其中直接投射的图形数据的位置可取决于该物体相对于表面计算设备的位置。对于这两个示例，用户感知可以是相同的。
在又一示例中，可跟踪用户在可切换表面附近的位置，并且可修改所投射的图形数据以避免将图形数据投射至用户的脸上。这可以通过向所投射的图形数据添加黑色区域来实现，该黑色区域是根据所跟踪到的用户的脸的位置来定位和调整的。对用户的跟踪可使用成像装置904来实现。
上述物体中的一些包括嵌入式电子器件或其他有源设备，诸如LED。用于这些设备的电力可由位于物体内部的电池来提供。替换地或补充地，电力可由表面计算设备无线地提供。在一示例中，物体可包括光电池或其他能够将入射的光能转换成电能的元件。入射的光能可被投射透过投射模式下的可切换表面，并且得到的电能可以例如被用于为LED或其他光源供电。在替换布置中，电力可从表面计算设备被感应耦合至物体中，或者可使用其他无线供电技术。在一些示例中，表面计算设备(例如，感应地或者通过光电转换)提供的电力可被用于对设备内的电池充电。为了降低有源设备的功耗，有源元件可以仅在部分时间内被供电。在一示例中，有源设备在可切换表面处在投射模式时被供电。
在一些示例中，所投射图形数据可能由于背面投射的图形数据的发散而畸变。当物体在可切换表面上放于所投射图形数据的光轴上时，进入物体的光线是几乎垂直于物体的顶/底面的。然而，如图10中的第一布置1000中所示，当物体1001偏离光轴1002地放于可切换表面102上时，进入物体1001的光不再垂直于底面，并且如图10中所示的，这可能导致入射光穿透物体而不入射在棱镜上。对此的解决方案是包括菲涅耳透镜1011，该透镜以光轴为中心并且基本覆盖可切换表面的全部投射区。该菲涅耳透镜可被选择成使其焦距等于投射器与可切换表面之间的距离。这导致来自投射器101的发散光被聚成平行光线并且呈现出与表面垂直，如图10中的第二布置1010中所示。
诸如图10中所示的菲涅耳透镜1011提供薄形状因子的透镜，但在其他示例中可使用替换性透镜(例如，校准透镜或浅GRIN透镜)。在又一示例中1020中，可如图10中所示地使用抛物柱面镜1021来提供透过投射模式下的可切换表面的经校准的所投射图像，或者替换地可使用各个镜元件的阵列来提供相同的光学效果。在图10中所示的示例中，在需要时，成像装置可位于抛物柱面镜之前(例如，在位置1022)、抛物柱面镜中的孔径之后1023、定向至抛物柱面镜1021的投射器101之旁或者别处。可替换地使用其他光学技术以提供经校准的所投射光束。
在使用透镜的替换解决方案中，可跟踪图形数据(如上所述)并且可基于物体的检出位置来调整所投射图形数据以校准任何畸变。在又一替换解决方案中，投射透过表面并投射至物体上的投射器可位于可移动的支架上(例如，在x-y级上)，并且可改变投射器的位置以跟踪投射器正在其上投射的物体的位置。在又一示例中，可提供多个投射器，并且可根据物体的跟踪位置来选择投射图形数据的投射器(例如，可使用具有最靠近该物体的位置的光轴的投射器)。
上述示例中的物体是单片物体，然而在其他示例中，物体可包括机械连接。在一示例中，物体可包括鼠标替代设备并包括滚动轮，其位置可被跟踪(如上所述)以向表面计算设备提供用户输入。在又一些示例中，物体可以是有生命的物体(例如，人)，可以不是固体的(例如，可以是薄雾)或者可以是全息设备。物体可以是刚性或柔性的(例如，柔性光纤波导)。
表面计算设备可包括附图中所示且以上描述的那些元件之外的附加元件。例如，表面计算设备可包括图像捕捉设备或布置成执行透过投射模式下的表面的成像和/或显示模式下(当表面基本漫射时)的成像的其他成像装置。成像可使用任何波长，诸如可见光或IR辐射。
图11是示出诸如此处所描述的并且在图1和5-10中示出的任何设备之类的表面计算设备的示例操作方法的流程图，该表面计算设备可与诸如此处描述且在图1和3-10中示出的任何物体之类的物体一同操作。在表面处在也被称为投射模式的透明状态的情况下(如在框1101中切换)，图形数据透过表面被投射至物体上(框1102)。此物体可与表面接触、靠近表面或远离表面。除了透过投射模式下的表面投射图形数据外，可捕捉透过表面的图形数据(框1103)。此图像捕捉(在框1103中)可包括照射该表面(未在图11中示出)。在设备包括电路的情况下，该电路可以在表面处在透明状态时被开启(框1104)。所捕捉的图像(来自框1103)可被用于检测透过表面的物体的位置(框1105)，或者替换地该位置可基于接收自物体内的电子设备的信息来确定(在框1105中)。基于(来自框1105)的检出位置，可改变所投射图形数据(框1106)。(来自框1103的)所捕捉的图像和/或(来自框1105的)物体的检出位置可被用于标识用户输入(框1109)并且这随后可被用于控制在表面计算设备上运行的程序(例如，应用程序)(框1110)。在表面处在其也被称为显示模式的漫射状态的情况下(如在框1107中切换)，图形数据被投射至表面上(框1108)。
该过程可以重复，且表面(或其一部分)以任何速率在模式之间(即，在漫射和透明状态之间)切换。在某些示例中，表面可以按超过闪动感知阈值的速率切换。在透过表面的投射仅周期性地发生的其他示例中，表面可被维持在显示模式(即，其漫射状态中)直至需要投射并且随后表面可被切换至投射模式(即，切换至其透明状态)。
图12示出了示例性表面基于计算的设备1200的各个组件，该设备1200可被实现为任何形式的计算和/或电子设备，并且可以在该设备中实现此处所描述的方法(例如，如图2和11所示)的各实施例。
基于计算的设备1200包括一个或多个处理器1201，该一个或多个处理器可以是微处理器、控制器、或用于处理计算可执行指令以控制设备的操作以便如上所述(例如，如图2或11所示)的那样操作的任何其他合适类型的处理器。可以在基于计算的设备处提供包括操作系统1202的平台软件或任何其他合适的平台软件以使得应用软件1203-1208能够在该设备上执行。
该应用软件可包括以下模块中的一个或多个：
·显示模块1204，布置成控制投射器101、106(以及潜在与投射器和FTIR光源相关联的任何快门107、108以及至视野中的物体的无线通信)；
·表面模块1205，布置成使得可切换表面102在模式之间(即，在基本透明和漫射状态之间)切换；
·图像捕捉模块1206，布置成控制图像捕捉设备1210；
·物体检测/跟踪模块1207，布置成确定并且在一些情形中还跟踪物体相对于表面102的位置；以及
·触摸检测模块1208，布置成检测触摸事件(例如，以上参照图6或7描述的)。
每一个模块都被布置成使得可切换表面计算机如在上述示例中的任一个或多个中描述的那样操作。
诸如操作系统1202和应用软件1203-1208等计算机可执行指令可使用诸如存储器1209等任何计算机可读介质来提供。存储器具有任何合适的类型，诸如随机存取存储器(RAM)、诸如磁或光存储设备等任何类型的盘存储设备、硬盘驱动器、或CD、DVD或其他盘驱动器。也可使用闪存、EPROM或EEPROM。存储器还可包括可用于存储捕捉到的图像和/或用于显示的数字数据的数据存储1211。
基于计算的设备1200还包括可切换表面102、一个或更多个投射器101、106以及在一些示例中一个或更多个图像捕捉设备1210。该设备还可包括一个或更多个附加投射器、FTIR子系统、无线子系统(例如，用以与物体通信)、可切换快门、光源等。基于计算的设备1200还可包括一个或多个输入(例如，用于接收媒体内容、网际协议(IP)输入等的任何合适的类型的输入)、通信接口以及诸如音频输入等一个或多个输出。
虽然在本文中将本发明的示例描述并示出为在表面计算机设备中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将理解，本示例适于在各种不同类型的计算系统中应用。
以上示例引用无源或有源物体结合可切换表面的使用。将领会，可以将无源和有源物体相组合，并且物体可以具有无源地操作的部分以及有源地操作(由于物体内的电路)的部分。此外，可以堆叠物体，以使得被投射透过第一物体的图形数据还被投射至(并且在一些示例中透过)第二物体，并且这些物体中的每个物体可以是无源或有源的。
以上示例示出水平方向的可切换表面并且将物体的位置描述为在表面的上方/下方或者前方/后方。将领会，此方向仅是作为示例而示出和描述的，并且可以任何方向来放置该表面。此外，如上所述，表面可以不是平面的，而可以是弯曲和/或柔性的。在一示例中，表面计算设备可被安装成使可切换表面是垂直的，并且图形数据(在投射模式下)所被投射到的物体可以是用户的手。
此处使用的术语‘计算机’表示具有处理能力以使其能够执行指令的任何设备。本领域技术人员将认识到这些处理能力被结合到许多不同设备中，并且因此术语‘计算机’包括PC、服务器、移动电话、个人数字助理和许多其他设备。
在此描述的各方法可由有形存储介质上的机器可读形式的软件执行。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这确认了软件可以是有价值的、可单独交易的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员将认识到用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可存储描述为软件的该过程的示例。本地或终端计算机可访问远程计算机并下载该软件的一部分或全部以运行该程序。或者，本地计算机可按需下载软件的片断，或可以在本地终端处执行一些软件指令而在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员将认识到，通过使用本领域技术人员已知的常规技术，软件指令的全部或部分可由诸如DSP、可编程逻辑阵列等专用电路来执行。
如本领域技术人员将清楚的，此处给出的任何范围或者设备值都可以被扩展或者改变而不失去所寻求的效果。
可以理解，上述各好处和优点可涉及一个实施例或者可涉及若干实施例。各实施例不限于解决所述问题中的任一个或全部的实施例或具有所述好处和优点中的任一个或全部的实施例。还可以理解，对‘一个’项目的引用指的是这些项目中的一个或多个。
本文中描述的各方法步骤可以在适当时按任何合适的次序或同时执行。另外，可从任一种方法中删除各个框，而不背离此处所述的主题的精神和范围。上述示例中的任一个的各方面可以与所述其他示例中的任一个的各方面组合以形成其他示例而不失去所寻求的效果。
术语‘包括’此处用来指包括所标识的方法框或元素，但这些框或元素不构成排他列表，并且方法或装置可包含附加框或元素。
可以理解，上面对一较佳实施例的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对本发明的各示例性实施例的结构和使用的全面描述。尽管以上带着一定程度的特殊性或对一个或多个单独实施例的参考描述了本发明的各实施例，但是本领域的技术人员能够对所公开的实施例做出多种更改而不背离本发明的精神或范围。

Claims (26)

1.一种表面计算设备，包括：
具有至少两种操作模式的表面层(102)，其中在第一操作模式中所述表面层对于可见光基本上漫射，而在第二操作模式中所述表面层对于可见光基本上透明；以及
投射装置(101、106、901)，操作用于在所述第一操作模式下将图形数据投射至所述表面层上并且在所述第二操作模式下透过所述表面将图形数据投射至物体上。
2.如权利要求1所述的表面计算设备，其特征在于，所述投射装置被布置成在每种操作模式下投射不同的图形数据。
3.如前述权利要求中的任一项所述的表面计算设备，其特征在于，还包括：
物体检测装置(503、704、804、904、1207、1210)，布置成检测所述物体相对于所述表面层的位置和方向中的至少一个。
4.如权利要求3所述的表面计算设备，其特征在于，在所述第二操作模式下透过所述表面投射至物体上的所述图形数据取决于所述物体所检测出的位置和方向中的至少一个。
5.如权利要求1、2和4中的任一项所述的表面计算设备，其特征在于，还包括：
成像装置(503、704、804、904、1210)，布置成在所述第二操作模式下捕捉透过所述表面层的图像。
6.如权利要求3所述的表面计算设备，其特征在于，还包括：
成像装置(503、704、804、904、1210)，布置成在所述第二操作模式下捕捉透过所述表面层的图像。
7.如权利要求5所述的表面计算设备，其特征在于，还包括：
处理器(1201)；以及
被布置成存储可执行指令的存储器(1209)，所述指令使所述处理器：
处理所述图像以标识用户输入(1109)；以及
根据所述用户输入向在所述表面计算设备上运行的程序提供输入(1110)。
8.如权利要求6所述的表面计算设备，其特征在于，还包括：
处理器(1201)；以及
被布置成存储可执行指令的存储器(1209)，所述指令使所述处理器：
处理所述图像以标识用户输入(1109)；以及
根据所述用户输入向在所述表面计算设备上运行的程序提供输入(1110)。
9.如权利要求1、2、4、6、7和8中的任一项所述的表面计算设备，其特征在于，所述投射装置包括操作用于在所述第一操作模式下将图形数据投射至所述表面层上的显示设备和操作用于在所述第二操作模式下透过所述表面将图形数据投射至物体上的投射器。
10.如权利要求3所述的表面计算设备，其特征在于，所述投射装置包括操作用于在所述第一操作模式下将图形数据投射至所述表面层上的显示设备和操作用于在所述第二操作模式下透过所述表面将图形数据投射至物体上的投射器。
11.如权利要求5所述的表面计算设备，其特征在于，所述投射装置包括操作用于在所述第一操作模式下将图形数据投射至所述表面层上的显示设备和操作用于在所述第二操作模式下透过所述表面将图形数据投射至物体上的投射器。
12.一种操作表面计算设备的方法，包括：
在基本上漫射状态和基本上透明状态之间切换表面层(202、204、1101、1107)；
在所述基本上漫射状态下，将图形数据投射至所述表面层上(201、1108)；以及
在所述基本上透明状态下，透过所述表面将图形数据投射至物体上(203、1102)。
13.如权利要求12所述的方法，其特征在于，还包括：
检测所述物体相对于所述表面层的位置(1105)。
14.如权利要求13所述的方法，其特征在于，还包括：
根据所检测出的位置改变透过所述表面投射至所述物体上的所述图形数据(1106)。
15.如权利要求12-14中的任一项所述的方法，其特征在于，还包括：
在所述基本上透明状态下，捕捉透过所述表面的图像(1103)。
16.如权利要求15所述的方法，其特征在于，还包括：
处理所述图像以标识用户输入(1109)；以及
根据所述用户输入控制在所述表面计算设备上运行的程序(1110)。
17.一种表面计算系统，包括：
层(102)，其能在对于可见光基本上漫射的第一状态和对于可见光基本上透明的第二状态之间电切换；以及
包括至少一个投射器的投射装置(101、106-108、901)，布置成在所述层的第一状态下将图形数据投射至所述层上以及在所述层的第二状态下透过所述层将图形数据投射至物体上。
18.如权利要求17所述的表面计算系统，其特征在于，还包括所述物体(103、301、311，401-403、501、610、611、620、701、710、720、801、902)并且其中所述物体操作用于使投射至所述物体上的所述图形数据重定向。
19.如权利要求18所述的表面计算系统，其特征在于，所述物体包括显示表面并且其中所述物体操作用于使所述图形数据重定向至所述显示表面上。
20.如权利要求19所述的表面计算系统，其特征在于，所述物体包括多个显示表面并且其中在所述层的第二状态下透过所述层投射的所述图形数据包括用于在所述多个显示表面中的至少一个显示表面上显示的图形数据。
21.如权利要求17-20中的任一项所述的表面计算系统，其特征在于，还包括：
物体检测装置(503、704、804、904、1207、1210)，布置成检测所述物体的位置和方向中的至少一个。
22.如权利要求21所述的表面计算系统，其特征在于，所述投射装置进一步布置成取决于所述物体的所检测出的位置和方向中的至少一个而将不同图形数据投射至物体上。
23.如权利要求21所述的表面计算系统，其特征在于，所述物体检测装置包括图像捕捉设备(503、704、804、904、1210)。
24.如权利要求22所述的表面计算系统，其特征在于，所述物体检测装置包括图像捕捉设备(503、704、804、904、1210)。
25.如权利要求17-20、22-24中的任一项所述的表面计算系统，其特征在于，还包括：
触摸检测装置(622、623、704、804、1210、1208)，布置成检测用户正触摸所述物体并响应于所述对用户正触摸所述物体的检测来控制在所述表面计算系统上运行的程序。
26.如权利要求21所述的表面计算系统，其特征在于，还包括：
触摸检测装置(622、623、704、804、1210、1208)，布置成检测用户正触摸所述物体并响应于所述对用户正触摸所述物体的检测来控制在所述表面计算系统上运行的程序。
CN2009801165600A 2008-05-02 2009-03-27 将图像投射至有形用户界面上 Expired - Fee Related CN102016713B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/114,421 2008-05-02
US12/114,421 US8042949B2 (en) 2008-05-02 2008-05-02 Projection of images onto tangible user interfaces
PCT/US2009/038532 WO2009134563A2 (en) 2008-05-02 2009-03-27 Projection of images onto tangible user interfaces

Publications (2)

Publication Number Publication Date
CN102016713A CN102016713A (zh) 2011-04-13
CN102016713B true CN102016713B (zh) 2012-11-07

Family

ID=41255659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801165600A Expired - Fee Related CN102016713B (zh) 2008-05-02 2009-03-27 将图像投射至有形用户界面上

Country Status (8)

Country Link
US (2) US8042949B2 (zh)
EP (1) EP2271965A4 (zh)
JP (1) JP5069374B2 (zh)
CN (1) CN102016713B (zh)
CA (1) CA2720683C (zh)
IL (1) IL208487A (zh)
TW (2) TWI471769B (zh)
WO (1) WO2009134563A2 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8042949B2 (en) 2008-05-02 2011-10-25 Microsoft Corporation Projection of images onto tangible user interfaces
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
US20110212774A1 (en) * 2008-11-14 2011-09-01 Karl Wudtke Terminal including a button and button having projected images and method
US20100207909A1 (en) * 2009-02-13 2010-08-19 Ming-Cho Wu Detection module and an optical detection device comprising the same
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP2011175110A (ja) * 2010-02-24 2011-09-08 Seiko Epson Corp 画像形成装置および背面投影型表示装置
TW201205551A (en) * 2010-07-29 2012-02-01 Hon Hai Prec Ind Co Ltd Display device assembling a camera
US8682030B2 (en) 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
WO2013009071A2 (en) 2011-07-11 2013-01-17 Samsung Electronics Co., Ltd. Input device
CN102520900B (zh) * 2011-12-20 2015-03-25 Tcl集团股份有限公司 一种多层显示设备及其显示控制方法
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9256089B2 (en) * 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
JP2014078799A (ja) * 2012-10-09 2014-05-01 Toshiba Corp 画像処理装置及び画像処理方法
US9146668B2 (en) * 2013-01-31 2015-09-29 Hewlett-Packard Development Company, L.P. Graphical element placement on a display surface
US20140247263A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Steerable display system
US9658717B2 (en) 2013-05-14 2017-05-23 Otter Products, Llc Virtual writing surface
US9229583B2 (en) 2013-05-29 2016-01-05 Otter Products, Llc Object location determination including writing pressure information of a stylus
US9170685B2 (en) * 2013-06-20 2015-10-27 Otter Products, Llc Object location determination
US9575352B2 (en) 2013-07-23 2017-02-21 3M Innovative Properties Company Addressable switchable transparent display
US9137542B2 (en) 2013-07-23 2015-09-15 3M Innovative Properties Company Audio encoding of control signals for displays
US20150084848A1 (en) * 2013-09-25 2015-03-26 Bby Solutions, Inc. Interaction between generic interaction devices and an interactive display
US9335866B2 (en) 2013-11-20 2016-05-10 Otter Products, Llc Retractable touchscreen adapter
US9653044B2 (en) 2014-02-14 2017-05-16 Microsoft Technology Licensing, Llc Interactive display system
US20170285874A1 (en) * 2014-09-08 2017-10-05 Hewlett-Packard Development Company, L.P. Capture and projection of an object image
US10013065B2 (en) 2015-02-13 2018-07-03 Microsoft Technology Licensing, Llc Tangible three-dimensional light display
JP5943312B2 (ja) * 2015-03-06 2016-07-05 大日本印刷株式会社 表示装置
US10901548B2 (en) * 2015-04-07 2021-01-26 Omnivision Technologies, Inc. Touch screen rear projection display
CN104793814A (zh) * 2015-05-12 2015-07-22 京东方科技集团股份有限公司 一种光学式触控装置及触控显示装置
HK1215348A2 (zh) * 2015-07-03 2016-08-19 賢納科技有限公司 顯示系統
GB2556800B (en) * 2015-09-03 2022-03-02 Smart Technologies Ulc Transparent interactive touch system and method
US10129510B2 (en) * 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
US10720082B1 (en) * 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
US10726233B2 (en) * 2017-08-09 2020-07-28 Fingerprint Cards Ab Providing test patterns for sensor calibration
CN108227347A (zh) * 2018-02-01 2018-06-29 珠海格力电器股份有限公司 一种具有投影功能的空调室内机和空调器
US10641942B2 (en) 2018-07-16 2020-05-05 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
US10545275B1 (en) 2018-07-16 2020-01-28 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
US10690752B2 (en) 2018-07-16 2020-06-23 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
US10690846B2 (en) 2018-10-24 2020-06-23 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
CN111323931B (zh) 2019-01-15 2023-04-14 深圳市光鉴科技有限公司 光投射系统和方法
US10585173B1 (en) 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Systems and methods for enhanced ToF resolution
US10585194B1 (en) * 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
US10564521B1 (en) 2019-01-15 2020-02-18 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
CN113840129A (zh) 2019-01-17 2021-12-24 深圳市光鉴科技有限公司 一种具有3d摄像模组的显示装置和电子设备
CN110456602B (zh) * 2019-08-22 2021-06-18 歌尔股份有限公司 一种投影系统的投影图案校正装置、方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422693A (en) * 1991-05-10 1995-06-06 Nview Corporation Method and apparatus for interacting with a computer generated projected image
US6052231A (en) * 1998-01-21 2000-04-18 International Business Machines Corporation Beam dividing elements permitting projection of an image with high contrast
JP3339504B2 (ja) * 1992-03-24 2002-10-28 ソニー株式会社 液晶プロジェクタ
EP1280002A1 (en) * 2000-10-31 2003-01-29 Seiko Epson Corporation Projector
JP2003058071A (ja) * 2001-08-16 2003-02-28 Arisawa Optic Co Ltd 遮光透明シートおよび遮光画面装置
WO2005069073A1 (en) * 2004-01-09 2005-07-28 Koninklijke Philips Electronics N.V. Image projection apparatus
CN1653385A (zh) * 2002-04-17 2005-08-10 霍华德·辛科夫 反射型投影屏的改进
CN1926469A (zh) * 2004-02-26 2007-03-07 大日本印刷株式会社 光漫射屏
CN1996140A (zh) * 2006-01-05 2007-07-11 崔海龙 高清晰度薄膜反射式屏幕

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787559B2 (ja) * 1986-06-30 1995-09-20 ソニー株式会社 背面投写装置
US5422494A (en) * 1992-10-16 1995-06-06 The Scott Fetzer Company Barrier transmission apparatus
US5644369A (en) * 1995-02-24 1997-07-01 Motorola Switchable lens/diffuser
US5729242A (en) * 1996-05-08 1998-03-17 Hughes Electronics Dual PDLC-projection head-up display
US5784138A (en) * 1996-08-22 1998-07-21 Lucent Technologies Inc. Fast transition polymer dispersed liquid crystal shutter for display screen and method of manufacture therefor
US6292295B1 (en) * 1997-12-16 2001-09-18 Kuraray Co., Ltd. Rear projection screen incorporating a prism
TW418341B (en) 1999-03-01 2001-01-11 Fresnel Optics Inc An optical element screen
US6417966B1 (en) * 1999-07-07 2002-07-09 3M Innovative Properties Company Rear projection screen using internal reflection
JP2001183994A (ja) * 1999-12-27 2001-07-06 Sony Corp 画像表示装置
US6616284B2 (en) * 2000-03-06 2003-09-09 Si Diamond Technology, Inc. Displaying an image based on proximity of observer
JP3937767B2 (ja) * 2001-02-28 2007-06-27 富士ゼロックス株式会社 光書込装置
US6755534B2 (en) * 2001-08-24 2004-06-29 Brookhaven Science Associates Prismatic optical display
US6814443B2 (en) * 2001-09-26 2004-11-09 Digital Advertising Network Inc Image projection system and its method of use
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7088507B2 (en) * 2002-08-16 2006-08-08 Infocus Corporation Rear projection display
JP2004184979A (ja) * 2002-09-03 2004-07-02 Optrex Corp 画像表示装置
US6820982B1 (en) * 2003-06-19 2004-11-23 Eastman Kodak Company Method and apparatus for forming an image on a curved diffusive surface
GB0325849D0 (en) * 2003-11-05 2003-12-10 Microsharp Corp Ltd Rear projection screen,and rear projection system using the screen
CN1875391A (zh) * 2003-11-06 2006-12-06 皇家飞利浦电子股份有限公司 可转换透明显示器
JP4340135B2 (ja) * 2003-12-04 2009-10-07 株式会社リコー 画像表示方法及び画像表示装置
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
GB0412651D0 (en) * 2004-06-07 2004-07-07 Microsharp Corp Ltd Autostereoscopic rear projection screen and associated display system
US7230758B2 (en) * 2004-07-06 2007-06-12 Luminoz, Inc. Total internal reflection fresnel-lens and devices
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
JP2007017664A (ja) * 2005-07-07 2007-01-25 Seiko Epson Corp スクリーン、プロジェクタシステム、リアプロジェクタ
JP2007081864A (ja) * 2005-09-14 2007-03-29 Fuji Xerox Co Ltd 表示記録媒体システムおよび表示記録媒体
KR20090060283A (ko) * 2006-08-03 2009-06-11 퍼셉티브 픽셀 인코포레이티드 좌절형 전반사를 통한 멀티 터치 검출 디스플레이
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8328368B2 (en) * 2007-04-26 2012-12-11 Accuvein Inc. Projection system
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8042949B2 (en) 2008-05-02 2011-10-25 Microsoft Corporation Projection of images onto tangible user interfaces

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422693A (en) * 1991-05-10 1995-06-06 Nview Corporation Method and apparatus for interacting with a computer generated projected image
JP3339504B2 (ja) * 1992-03-24 2002-10-28 ソニー株式会社 液晶プロジェクタ
US6052231A (en) * 1998-01-21 2000-04-18 International Business Machines Corporation Beam dividing elements permitting projection of an image with high contrast
EP1280002A1 (en) * 2000-10-31 2003-01-29 Seiko Epson Corporation Projector
JP2003058071A (ja) * 2001-08-16 2003-02-28 Arisawa Optic Co Ltd 遮光透明シートおよび遮光画面装置
CN1653385A (zh) * 2002-04-17 2005-08-10 霍华德·辛科夫 反射型投影屏的改进
WO2005069073A1 (en) * 2004-01-09 2005-07-28 Koninklijke Philips Electronics N.V. Image projection apparatus
CN1926469A (zh) * 2004-02-26 2007-03-07 大日本印刷株式会社 光漫射屏
CN1996140A (zh) * 2006-01-05 2007-07-11 崔海龙 高清晰度薄膜反射式屏幕

Also Published As

Publication number Publication date
CA2720683C (en) 2018-05-22
CA2720683A1 (en) 2009-11-05
IL208487A (en) 2015-03-31
TW201443744A (zh) 2014-11-16
US8272743B2 (en) 2012-09-25
TW200947285A (en) 2009-11-16
US20120038891A1 (en) 2012-02-16
TWI543038B (zh) 2016-07-21
EP2271965A2 (en) 2011-01-12
WO2009134563A3 (en) 2009-12-23
JP2011525635A (ja) 2011-09-22
IL208487A0 (en) 2010-12-30
EP2271965A4 (en) 2012-11-21
CN102016713A (zh) 2011-04-13
TWI471769B (zh) 2015-02-01
WO2009134563A2 (en) 2009-11-05
JP5069374B2 (ja) 2012-11-07
US8042949B2 (en) 2011-10-25
US20090276734A1 (en) 2009-11-05

Similar Documents

Publication Publication Date Title
CN102016713B (zh) 将图像投射至有形用户界面上
Hodges et al. ThinSight: versatile multi-touch sensing for thin form-factor displays
US9298318B2 (en) Interactive input system and method
RU2579952C2 (ru) Система и способ мультисенсорного взаимодействия и подсветки на основе камеры
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
KR101247095B1 (ko) 인터랙티브 디스플레이 조명 및 개체 검출 방법과 인터랙티브 디스플레이 시스템
CN101231450B (zh) 多点及物体触摸屏装置及多点触摸的定位方法
US10534436B2 (en) Multi-modal gesture based interactive system and method using one single sensing system
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
JP2011043986A (ja) 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法
JP2017514232A (ja) 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能
Izadi et al. Thinsight: a thin form-factor interactive surface technology
JP2022129473A (ja) 空中映像表示装置
CN103123553A (zh) 多触点图像识别互动系统
Hušek Multi-touch Table with Image Capturing
JP2011090602A (ja) 光学式位置検出装置および位置検出機能付き表示装置
Hodges et al. ThinSight: A new interaction technology for ubicomp

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150505

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150505

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121107

Termination date: 20200327