CN102165394A - 结合交互式表面来使用物理对象 - Google Patents

结合交互式表面来使用物理对象 Download PDF

Info

Publication number
CN102165394A
CN102165394A CN2009801393753A CN200980139375A CN102165394A CN 102165394 A CN102165394 A CN 102165394A CN 2009801393753 A CN2009801393753 A CN 2009801393753A CN 200980139375 A CN200980139375 A CN 200980139375A CN 102165394 A CN102165394 A CN 102165394A
Authority
CN
China
Prior art keywords
user
digitizer surface
equipment
imm
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801393753A
Other languages
English (en)
Other versions
CN102165394B (zh
Inventor
B·U·哈特曼
A·D·威尔森
H·本克
M·J·莫里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102165394A publication Critical patent/CN102165394A/zh
Application granted granted Critical
Publication of CN102165394B publication Critical patent/CN102165394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)

Abstract

描述了用于允许用户使用诸如键盘类设备和鼠标类设备等各种输入设备来参与协作式环境中的交互式表面的交互式管理模块(IMM)。IMM在交互式表面上显示以各种方式与各设备相关联的数字对象。数字对象可包括显示界面、光标、软键输入机制，等等。此外，IMM提供用于建立参照系的机制，该参照系用于管控每一光标在交互式表面上的放置。此外，IMM提供用于允许用户制作放置于交互式表面上的物理物品的数字副本的机制。IMM还提供相对于物理物品的数字副本所采取的复制动作，反之亦然。

Description

结合交互式表面来使用物理对象
背景技术
交互式表面提供用于与计算机实现的应用进行交互的替换机制。典型的交互式表面包括用于在该交互式表面上显示信息的投影机制。交互式表面还包括用于检测用户在与该交互式表面进行交互过程中作出的选择的输入机制。例如，交互式表面可以检测用户何时触摸了该交互式表面的特定部分。通过这样的交互，用户可以操纵交互式表面所显示的数字对象并执行其他操作。
交互式表面技术还有很大的改进空间。例如，交互式表面所提供的输入机制有时不方便使用(因为，例如，用户可能难以使用这一输入机制输入信息或操纵数字对象)。输入机制还可提供不令人满意的精度和响应性。
此外，交互式表面可能使用户混淆。在多个用户参与同一交互式表面时，这尤其是一个问题。在这一场景中，交互式表面可能因多个数字对象而变得混乱。此外，对于大型交互式表面，用户可能难以操纵他们不可及的一些数字对象。
此外，交互式表面可能不能提供适应用户自然地分组进行交互的方式的协作式环境。例如，协作式环境可能不能提供用于在会议参与者之间共享信息的方便机制，交互式表面可能同样不能提供用于协作式地操作共享的信息的合适机制。
现有交互式表面技术还可能有另外的缺点。
概述
在一个说明性实现中，描述了用于允许用户使用物理设备(“设备”)参与交互式表面的交互式管理模块(IMM)。IMM对设备在所选位置处的放置以及在交互式表面上的方向进行检测。作为响应，IMM在交互式表面上显示数字对象以与该设备相关联地使用。该数字对象可被放置于接近该设备；此外，该数字对象可以具有与该设备相同的方向。在一种情况下，该设备是键盘类设备并且该数字对象提供呈现用户使用该键盘类设备输入的信息的虚拟表示的显示界面。
根据另一说明性方面，IMM可以与被同时放置于交互式表面上的多个物理输入设备进行交互，从而适应将交互式表面用于协作式环境。
根据又一说明性方面，IMM显示将该设备与该数字对象进行关联的虚拟属性。例如，IMM可以在该数字对象和该设备两者周围呈现边界(诸如此类)；各边界可被分配同一颜色以传达该数字对象与该设备之间的联系。作为替换或补充，虚拟属性可以与将该数字对象与该设备连接起来的线相对应。
根据又一说明性方面，用户可以移动该设备来接近另一已有显示对象。作为响应，IMM可以自动地将该设备与该另一显示对象进行关联。
根据又一说明性方面，用户可以移动另一已有显示对象来接近该设备。作为响应，IMM可以自动地将该已有显示对象与该设备进行关联。
根据又一说明性方面，IMM可以检测接近首先提到的设备的第二设备的放置。作为响应，IMM可以将这两个设备与单个数字对象进行关联。在一个特定示例中，第一用户可以使用第一设备来输入第一选择并且第二用户可以使用第二设备来输入第二选择。在将第一和第二设备拿到一起时，IMM可以将在这两个用户标识的选择进行归并，从而创建组合选择。
根据又一说明性方面，IMM可以在交互式表面上这样一处位置显示新数字对象：a)在被认为适当的程度上满足至少一个放置约束；以及b)减少该新数字对象与交互式表面上的其他已有对象之间的冲突。
根据又一说明性方面，该设备是鼠标类设备。IMM通过确定该鼠标类设备在交互式表面上的绝对位置和该鼠标类设备在交互式表面上的方向来操作。IMM使用这一信息来定义参照系。IMM相对于所定义的参照系来将光标显示在交互式表面上。该参照系可以相对于交互式表面的最接近边(或与交互式表面相关联的其他参考对象)或鼠标类设备自身的方向等来选择。
根据又一说明性方面，IMM允许用户激活该鼠标类设备的触摸模式，于是光标模拟手指接触点。
根据又一说明性方面，IMM允许用户使用光标接触点和手指接触点的任何组合来修改数字对象。例如，用户可以使用一个或多个光标接触点(例如，由同时放置于交互式表面上的多个输入设备控制)来操纵不可及的数字对象。
根据又一说明性方面，IMM可以维护交互式表面(和/或被放置于交互式表面上的各单独的数字对象和/或物理对象)在不同的相应时间点的多个图像表示。用户可以检索这些图像表示以调查针对交互式表面采取的操作的历史。
根据又一说明性方面，描述了用于允许用户参与包含物理物品(“物品”)的交互式表面的交互式管理模块(IMM)，该物理物品诸如使信息可视地呈现在它的表面上的有形介质(例如，物理文档)。在一个说明性实现中，IMM通过检测物品在交互式表面上的放置来操作。IMM随后在交互式界面上显示界面对象以与物品相关联地使用。IMM检测用户对该界面对象的副本相关的激活，并且作为响应，生成该物品的数字副本。该副本相关激活可对应于用户通过拉该界面对象来象征性地将数字副本拖离该物品的运动。IMM将该数字副本存放在交互式表面上的用户所标识的位置处。
根据又一说明性方面，IMM可以通过拍摄整个交互式表面的图像并随后裁剪整个表面的图像以获得物品的图像来生成数字副本。
根据又一说明性方面，IMM可以检测用户对数字副本的特定部分的选择。作为响应，IMM可以突出显示物品的对应部分。同一过程可以反过来执行，例如，在用户选择物品的一部分时，提示IMM突出显示数字副本的对应部分。
根据又一说明性方面，IMM可以检测用户何时在数字副本上做了标记。作为响应，IMM可以将对应的数字标记应用于物理物品。同一过程可以反过来执行，例如，当用户在物品上做标记时，提示IMM在数字副本上做对应标记。
根据又一说明性方面，IMM可以检测用户将数字副本移动到交互式表面的编辑区域。IMM可以接着检测用户将物理标记应用于编辑区域内的数字副本。作为响应，IMM可以生成该物品的另一数字副本。该另一数字副本包括物理标记的数字表示及其原始内容。
提供本概述是为了以简化的形式介绍一些概念，这些概念将在以下详细描述中进一步描述。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图简述
图1示出其中多个用户可以参与交互式表面的说明性交互式表面环境。
图2示出可在图1的交互式表面环境中使用的说明性内容投影功能和输入功能。
图3示出供在图1的说明性交互式表面环境中使用的交互式表面的说明性自顶向下视图。
图4是图3中示出的交互式表面的一部分的更详细的自顶向下视图。
图5是示出用于确定光标在交互式表面上的位置的说明性过程的流程图。
图6示出用于确定供在图5的过程中对光标进行定位的参照系的第一技术；在此，该参照系是基于交互式表面的最近边缘的。
图7示出用于确定供在图5的过程中对光标进行定位的参照系的第二技术；在此，该参照系是基于被用来控制光标的鼠标类设备的方向的。
图8是示出用于生成被放置于交互式表面上的物品的数字副本的说明性过程的流程图(以及随附示例)。
图9是示出用于以数字对象不与交互式表面上的已有对象相冲突的方式来将数字对象放置于交互式表面上的说明性过程的流程图(以及随附示例)。
图10是示出用于以触摸模式操作鼠标类设备的说明性过程的流程图；在该模式中，该鼠标类设备所控制的光标模拟放置于交互式表面上的手指接触。
图11是示出用于在一设备被放置于交互式表面上时生成新数字对象的说明性过程的流程图(以及随附示例)。
图12是示出用于在一设备被放置于接近交互式表面上已有数字对象时使得该已有数字对象与该设备相联系的说明性过程的流程图(以及随附示例)。
图13是示出用于在已有数字对象被移动到接近一设备时使得该已有数字对象与该设备相联系的说明性过程的流程图(以及随附示例)。
图14是示出用于将单个数字对象与两个设备进行联系的说明性过程的流程图(以及随附示例)；这一过程还描绘了可如何通过将这两个设备拿到彼此接近来归并由两个相应数字对象(由这两个相应设备控制)所提供的内容。
图15是示出用于使用不同的接触点场景来操纵数字对象的说明性过程的流程图(以及随附示例)。
图16是示出用于通过将设备放置于数字对象的顶部，并象征性地使用该设备作为移动该数字对象或对该数字对象执行某一其他动作的手柄，来操纵该数字对象的说明性过程的流程图(以及随附示例)。
图17是示出用于基于放置于交互式表面上的物理物品来创建数字副本的说明性过程的流程图(以及随附示例)。
图18是示出用于呈现与放置于交互式表面上的物品相关联的菜单对象的说明性过程的流程图(以及随附示例)。
图19是示出用于基于对数字对象的一部分的选择来突出显示物品的对应部分(或反之亦然)的说明性过程的流程图(以及随附示例)。
图20是示出用于基于对数字副本所做的标记来在物理物品上创建对应的数字标记的说明性过程的流程图(以及随附示例)。
图21是示出用于将物理标记应用于交互式表面的编辑区域内的物品的数字副本，然后生成物品的包括该标记的数字表示的新数字副本的说明性过程的流程图(以及随附示例)。
图22是示出用于生成交互式表面在不同的相应时刻的一系列表示(和/或出现在交互式表面上的任何单独对象的一系列表示)并向用户显示关于该系列的任何信息的说明性过程的流程图。
图23示出可被用来实现上述附图中示出的特征的任何方面的说明性处理功能。
贯穿本公开和各附图使用相同的附图标记来引用相同的组件和特征。100系列标号指的是最初在图1中所找到的特征，200系列的标号指的是最初在图2中找到的特征，300系列的标号指的是最初在图3中找到的特征，依此类推。
详细描述
本发明阐述了允许用户使用放置于交互式表面上的物理对象来参与交互式表面的方法。在一种情况下，物理对象可以对应于键盘类设备、鼠标类设备、或其他类型的输入设备(或不同类型的输入设备的任何组合)。物理对象还对应于使信息呈现在它们相应表面上的物理文档(诸如此类)。该方法还提供用于管理放置于交互式表面上的物理对象与相应数字对象之间的关联的各种机制。
根据一个场景，使用物理对象可以便于用户参与交互式表面。例如，键盘类设备和鼠标类设备展示出大多数用户很容易熟悉的经受了时间考验的可靠行为，该方法可以在交互式表面环境的上下文中充分利用这些有益特征。此外，该方法还包括用于消除放置于交互式表面上的物理对象与同该物理对象相关联的数字对象之间的对应关系的歧义的有用技术。这一方面可以在多个用户参与同一交互式表面时帮助减少混淆。此外，该方法提供允许用户访问并操纵交互式表面上的不可及的数字对象的工具。另外，该方法提供用于允许用户方便地将信息散布给协作式环境中的其他用户的工具，该方法随后允许用户以高效且用户友好的方式协作性地与共享信息进行交互。更一般而言，此处公开的概念可以解决上述挑战或问题中的一个或多个，但不限于解决这些挑战或问题中的全部或任一个。
本发明是如下组织的。章节A描述可被用来使用物理对象参与交互式表面的说明性系统和工具。章节B描述章节A中阐述的系统和工具的说明性应用。章节C描述可用于实现在章节A和B中描述的特征的任何方面的说明性处理功能。
作为预备事项，某些附图在一个或多个组件被不同地称为功能、模块、特征、元素等上下文中描述概念。附图中示出的各种组件能够以任何方式实现，例如通过软件、硬件、固件、手动处理操作等或这些实现的任何组合。在一种情况下，在附图中将各组件示为分开的不同单元可以反映对对应的不同组件的使用。另选地或另外地，附图中所示的任何单个组件可由多个物理组件来实现。另选地或另外地，附图中的任何两个或更多分开组件的描绘可以反映单个物理组件所执行的不同功能。进而要讨论的，图23提供了关于附图中示出的功能的一个说明性实现的附加细节。
其他附图以流程图形式描述概念。以此形式，某些操作被描述为以特定次序执行的不同的组成框。这些实现是说明性而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组成框，并且某些框可以按与此处所示的不同的次序执行(或可并行执行)。流程图中所示的框可以通过软件、固件、硬件、手动处理、这些实现的任何组合等来实现。
关于术语，短语“配置成”涵盖可以构造任何种类的功能来执行所标识的操作的任何方式。功能可被配置成使用例如硬件、软件、固件等和/或它们的任何组合来执行操作。
术语“逻辑”涵盖用于执行任务的任何功能。例如，流程图中所示的每一操作对应于用于执行该操作的逻辑。在一种情况下，逻辑可以对应于计算机可读指令。在另一情况下，逻辑可以对应于分立逻辑组件或计算机可读指令和分立逻辑组件的组合等。
A.说明性系统和工具
A.1.说明性交互式表面环境的概览(图1-4)
图1示出其中多个用户102可以参与交互式表面104的说明性交互式表面环境100。在本文中最经常描绘的情况下，交互式表面104对应于任何大小的平坦的水平桌面。然而，不对什么可构成交互式表面104加以限制。在其他情况下，交互式表面104可以垂直地安装(例如，安装在墙上)或以任何其他非水平方向来安装。作为替换或补充，交互式表面104可以具有弯曲的表面或任何其他种类的非平坦轮廓。
广义而言，可以使用任何种类的内容投影功能106来将信息投影到交互式表面104上。在一种情况下，内容投影功能106可对应于将信息投影到交互式表面104上的一个或多个视频投影仪。这样的内容投影功能106可部署在交互式表面104上方、交互式表面104下方、或相对于交互式表面104的任何其他方向(或各种方向的任何组合)。作为替换或补充，内容投影功能106可以与交互式表面本身104集成在一起。可以部分地基于与交互式表面104的每一应用相关联的约束来选择内容投影功能106的放置。例如，在某些情况下，内容投影功能106位于数字表面104上方是适当的，因为放于交互式表面104上的物理对象可能遮挡数字内容(例如，在从下方进行投影的情况下)。
在用户参与交互式表面104时，输入功能108用于接收来自用户的输入。同样，可以使用各种类型的输入功能和输入功能的组合。在一种情况下，输入功能108可对应于对用户对交互式表面104的参与进行感测的一个或多个远程传感器。例如，输入功能108可包括可检测用户何时触摸或以其他方式移近交互式表面104的红外发射器—检测器装置。输入功能108还可提供生成交互式表面104的高分辨率图像以用作输入的成像功能。这样的远程传感类输入功能108可部署在交互式表面104上方、交互式表面104下方、或相对于交互式表面104的任何其他方向(或各种方向的任何组合)。作为替换或补充，输入功能108可以与交互式表面本身104集成在一起。同样，可以部分地基于与交互式表面104的每一应用相关联的约束来选择输入功能108的放置。此外，如下文更详细地描述的，一个或多个物理对象110可被放置于交互式表面104上。这些物理对象110的子集可对应于输入类设备。在用户与交互式表面104进行交互时，这些输入设备可以接收来自用户的输入，并且因而形成构成输入输入功能108的一套技术的一部分。图2将提供关于内容投影功能106和输入功能108的一个说明性实现的附加细节。
交互式管理模块(IMM)112对应于用于管理到交互式表面104上的内容投影并处理用户输入的任何功能。更具体地，IMM 112可对应于用于执行将在下文描述的各种过程的技术，如图5-22所示。
IMM 112与一个或多个应用程序提供模块114进行交互(为简明起见，在下文用复数来引用)。诸应用程序模块114提供用户可以参与的任何类型的功能，如上述功能、文档处理功能、通信功能(例如，电子邮件功能、即时消息收发功能等)，等等。诸应用程序模块114可对应于本地应用程序资源、远程(网络可访问)应用程序资源、或其某一组合。对什么可构成如此处所使用的应用程序模块这一术语不加以限制。此外，尽管本文开发的许多示例将涉及多个用户102以协作式方式与一共同的应用程序模块进行交互的用途，多个用户可以使用交互式表面104来同时与不同的应用程序模块114进行交互。此外，单个用户可以参与交互式表面104。
返回交互式表面104本身，如上所述，用户可以将物理对象的任何组合放置于其表面上。术语“物理对象”涵盖可在物理上由用户处理的任何类型的有形对象。作为对比，“数字对象”涵盖由内容投影功能106电子地投影到交互式表面104的表面上的任何类型的对象。一般性的术语“对象”涵盖任何类的对象，包括物理对象和数字对象。
本文描述的物理对象110涵盖两种类型的对象：设备和物品。这些术语是这一解释中的方便标记，并且要被宽泛地解释。设备涵盖在与交互式表面104进行交互时担当功能角色的任何机制。例如，一种类型的设备对应于传统上被用来通过手动地按下各键来输入文本的键盘类设备。另一类型的设备对应于传统上被用来在图形用户界面(GUI)设置中控制光标的移动并执行其他导航功能的鼠标类设备。这些仅是两个示例。可以使用其他输入设备来与交互式表面104进行交互，如游戏控制台类设备、操纵杆类设备等。
术语物理物品涵盖可由输入功能108出于任何目的来成像的任何物理对象。在本文最经常描绘的情况下，术语物理物品对应于在视觉上将信息呈现在它的表面上的有形介质。例如，在一种具体情况下，物理物品可对应于其表面上具有文本和/或图形和/或任何其他信息的文档。例如，物理物品可对应于纸质文档等。在另一情况下，物理物品可对应于将信息投影在其上的屏幕等。在其他情况下，物品可对应于任何其他物理对象，如三维模型(例如，房屋模型、汽车模型、玩偶等)、人体解剖的一部分(例如，手)，等等。对什么可构成物品不加以限制。当然，物品可对应于上述设备。术语“物品”将替换“物理物品”来使用，除非在以下情况下：强调物理物品与该物理物品的数字副本之间的区别是适当的。
图2示出可在图1的交互式表面环境中100使用的内容投影功能106和输入功能108的一个代表性和非限制性实现。在这一说明性示例中，交互式表面104对应于平坦的水平表面(例如，桌面所提供的)。其表面上的物理对象110可对应于一个或多个设备202(例如，一个或多个键盘类设备、一个或多个鼠标类设备等)和/或要成像的一个或多个物品204(例如，一个或多个文档等)。
图1的内容投影功能106可对应于一个或多个内容投影模块206(为简明起见，在下文用复数来引用)。例如，诸内容投影模块206中的每一个可以将图像内容的uxv面板投影到交互式表面104上。总之，诸内容投影模块206可提供这些uxv面板的跨交互式表面104的整个表面的平铺马赛克。在一个实现中，诸内容投影模块206可以部署在交互式表面104上方，从而将它们的内容向下投影到交互式表面104上。
图1的输入功能108可对应于用于接收与用户对交互式表面104的参与有关的信息的一套不同的机制。一种这样的机制是一个或多个高分辨率成像模块208(为简明起见，在下文用复数引用)。诸高分辨率成像模块208可对应于用于形成交互式表面104的表面的高分辨率图像的一个或多个高分辨率摄像机。章节B将提供其中IMM 112可以使用诸高分辨率成像模块208来生成交互式表面104的图像的情形的示例。在一个实现中，诸高分辨率成像模块208可以部署在交互式表面104上方。
输入功能108还可包括一个或多个位置检测模块210(为简明起见，在下文用复数引用)。在一个说明性示例中，诸位置检测模块210可对应于一个或多个红外(IR)发射器模块212以及一个或多个IR检测器模块214。诸IR发射器模块212将红外频谱中的电磁信号投影到交互式表面104上。诸IR检测器模块214接收交互式表面104和放置于其表面上(或其附近)的物理对象所反射的这些IR信号。
通过IR信号的反射率的变化，诸位置检测模块210可以检测新物理对象何时被放置于交互式表面104上或交互式表面104上的已有物理对象何时被移动(或移除)。在一个实现中，诸位置检测模块210可以部署在交互式表面104上方。在该示例中，交互式表面104被构造成具有足够的不透明度以“接收”诸内容投影模块206所投影的图像。另外，交互式表面104具有足够的透明度使得从交互式表面104下方投影的IR信号可由诸位置检测模块210结合IMM112用来检测放置于交互式表面104上的对象的存在。可被用来实现诸位置检测模块210的一种红外检测系统在美国专利第7,204,428号中公开，发明人是Andrew D.Wilson。
设备202也是输入功能108套件的组件。在一种情况下，设备202可以提供对应于键按下数据、鼠标点击数据、鼠标定位数据等的输入信息。设备202可以用任何方式将这些输入信息传递给IMM 112，如通过使用无线通信。尽管未在图2中示出，输入功能108套件还可包括由诸内容投影模块206投影在交互式表面104上的软键输入机制。软键输入机制提供指示用户何时触摸或以其他方式参与软键输入机制的触摸选择数据。
此外，IMM 112可选地使用边缘检测功能和/或形状检测功能。这一功能分析交互式表面104的图像来标识与各对象相关联的外形(轮廓)。IMM 112可以应用这一分析来形成对放置于交互式表面104上的对象的位置和对象的更准确估计。IMM 112还可使用这一分析来帮助标识对象(例如，将键盘类设备与鼠标类设备进行区分，将物理对象与手指接触点进行区分，等等)。
图3示出供在图1的说明性交互式表面环境100中使用的交互式表面104的说明性自顶向下视图。在该示例中，交互式表面104对应于尺寸为MxN的矩形桌面。但是，如上所述，交互式表面104可以具有任何形状、表面轮廓、方向、以及大小。
在图3的具体情况下，交互式表面104足够大以主存协作式环境，其中多个用户(302、304、306、308、310)可同时参与交互式表面104。如上所述，诸用户可以操作单个应用程序模块所提供的同一应用程序，或诸用户可以操作不同的相应应用程序模块114提供的单独的应用程序。
注意，诸用户使用多个物理对象来参与交互式表面104。第一类物理对象对应于输入设备。这样的设备包括键盘类设备和鼠标类设备(但，如上所述，诸用户可以使用任何种类的输入设备)。例如，用户302正在使用两个鼠标类输入设备(312、314)。用户304正在使用键盘类设备316与鼠标类设备318。类似地，用户306正在使用键盘类设备320与鼠标类设备322。用户308不操作任何物理输入设备，但他或她仍然可以使用手指接触(以下文描述的方式)来操纵数字对象。用户310使用物理加标记工具324(例如，笔，等等)来创建标记。第二类物理对象包括物品。例如，用户310正在与物理文档326进行交互。
交互式表面104还提供被诸内容投影模块206投影到交互式表面104的表面上的数字对象的集合。例如，用户302正在与物理物品326的数字副本328进行交互。用户还可与由相应鼠标类设备(312、314)控制的光标(330、332)进行交互。数字副本328和光标(330、332)是数字对象，因为它们不是物理对象，而是由内容投影模块206投影到交互式表面104上的图像。
用户304正在与显示界面334进行交互，显示界面334用于显示由用户304使用键盘类设备316输入的信息。用户304还与可由用户304通过用手指或指示笔或者使用光标模拟的手指接触等按下其(一个或多个)键来激活的可选“软键”输入机制336进行交互。用户还可以与由鼠标类设备318控制的光标338进行交互。同样，所有这些对象构成被投影到交互式表面104上的数字对象。
以类似方式，用户306正在与接收由用户使用键盘类设备320输入的信息的显示界面340进行交互。用户306还与由鼠标类设备322控制的光标342进行交互。此外，用户306可以与同用户304共享的联合显示界面344进行交互。即，联合显示界面344可以显示用户304和用户306两者所输入的内容的联合。
像用户302一样，用户308正在与物理物品326的数字副本346进行交互。
用户310当前不与任何数字对象进行交互。
图4示出用户304可以与交互式表面104进行交互的方式的更详细的描绘。重申，用户304正在使用键盘类设备316和鼠标类设备318来参与交互式表面104。键盘类设备316是用于提供字母数字文本输入的一种类型的设备的示例。交互式表面104提供用户304所使用的三个数字对象，即显示界面334、辅助软键输入机制336、以及光标338。
在所示场景中，用户304正在使用键盘类设备316与文字处理程序进行交互。用户304正在使用键盘类设备316键入的消息被显示在界面显示334中。用户304可选地使用软键输入机制336来提供与手头的任务有关系的补充指令。例如，文字处理程序(结合IMM 112)可以提供允许用户304对他或她正在键入的消息执行各动作的软键输入机制336。例如，用户304可以使用软键机制336来打印该消息、将该消息发送给另一用户，等等。
在另一场景(未示出)中，IMM 112可以使用软键输入机制336来建立用于解释用户通过键盘类设备316(或某一其他输入设备)输入的信息的上下文。例如，如果用户304正在执行搜索，则可使用软键输入机制336来标识用户304的搜索选择要被应用到的那个数据存储。例如，软键输入机制336可被用来指定该搜索选择是否要被指向本地数据库、组织数据库、或远程公共数据库等。
如从图3中示出的说明性场景可理解，在多用户设置中，界面表面104可以容易地因各物理对象和各数字对象而变得相对混乱。哪一用户控制哪一(些)对象因而可变得混淆。为了解决这一潜在挑战，IMM 122提供了用于帮助消除对象的“所有权”歧义的一套机制。
根据一种技术，IMM 112在与数字对象相关联的设备附近显示这些数字对象。例如，如图4所示，IMM 112可以将显示界面334呈现在键盘类设备316正上方(但在其他实现中，IMM 112可以在相对于键盘类设备316的其他位置处呈现显示界面334)。此外，IMM 112可以呈现数字对象，使这些数字对象具有一般与同这些数字对象相关联的设备的方向相匹配的方向。例如，显示界面334的方向与键盘类设备316的方向相匹配。如果用户改变键盘类设备316的位置和/或方向，则显示界面334的位置和/或方向将以对应的方式来改变。还应注意，光标338的方向与鼠标类设备318的方向相匹配。
图4还示出可以用视觉属性对数字对象加上标签，这帮助用户304跟踪他或她“拥有”或控制的数字对象。例如，IMM 112可以显示显示界面334周围的边界402以及光标338周围的边界。IMM 112还可选地显示键盘类设备316周围的边界406和鼠标类设备318周围的边界408。边界(402、404、406、408)可以用与分配给各用户的相应颜色不同的单种颜色来显示，从而帮助用户304跟踪属于他或她的一组数字对象和设备。使用光标边界是为了说明一个实现。作为替换或补充，对象的整个表面可被染成指示性颜色。作为替换或补充，可以用区别信息等(如区别文本信息、区别符号信息，等)来给对象加标签。作为替换或补充，可在物理设备和它们相关联的数字对象之间绘出连接线。例如，如图4所示，IMM 112可以对连接鼠标类设备318与相关联的光标338的线410进行投影。
IMM 112可以用不同的方式在设备与数字对象之间建立关联。根据一种代表性机制，每一物理输入设备在其下侧(例如，接触交互式表面104的一侧)可以包括标识标签。例如，该标签可对应于条形码或其他种类的机器可读信息。诸位置检测模块210可以读取这一标签以确定物理设备的身份。这一信息进而允许IMM 112将物理设备与同该设备相关联的数字对象相关联。关于用于从放置于交互式表面104上的设备读取标识信息的技术的附加信息可以在美国专利第7,204,428号中找到，发明人是Andrew D.Wilson。
返回图3，这一附图涵盖在以下章节B中详细描述的许多不同的使用场景。在深入研究这些场景之前，这一章节的剩余部分提供关于可允许IMM 112执行将在章节B中描述的功能的基本工具和机制的附加信息。
A.2.说明性光标定位机制(图5-7)
图5是示出用于确定光标在交互式表面104上的位置的说明性过程500的流程图。
在框502，IMM 112确定鼠标类设备(或可被用来控制光标的其他类型的输入设备)的方向和绝对位置。这一信息可以从上述输入机制中的任一种获得，如诸位置检测模块210。
在框504，IMM 112确定用于定位光标的参照系。更具体地，典型的鼠标类设备提供将光标相对于参照系进行定位的位置偏移信息。框504确定这一参照系。图6和7将提供用于确定该参照系的两种说明性技术。
在框508，IMM 112将光标放置于基于在框506确定的参照系的位置处。光标的放置因而反映了(例如，由诸位置检测模块210提供的)全局(绝对)测量和(例如，由鼠标类设备自己提供的)相对偏移测量两者的贡献。相对偏移测量一般比全局测量更精确和敏感。
光标的放置还可基于用户可定义的控制显示(CD)比率。CD比率是定义光标将响应于对应鼠标类设备的移动而在交互式表面104上前进多远的比例因子。在一种说明性技术中，IMM 112可以将辅助软键类输入机制显示在接近鼠标类输入设备(未示出)处，允许用户调整CD比率。例如，辅助输入机制可包括允许用户调整CD比率的滑动条机制或其他可调节控制机制。
图6示出用于确定在图5的过程中用来定位光标的参照系的第一技术。在该技术中，IMM 112确定鼠标类设备602的绝对位置并随后确定交互式表面104最靠近鼠标类设备602的位置的边缘604。IMM 112随后定义基于与最接近边缘606相关联的轴的参照系606。作为替换或补充，交互式表面104的任何其他固定特征可被用作一个或多个参照对象，如交互式表面104上的一个或多个参照线(未示出)
图7示出用于确定在图5的过程中用来定位光标的参照系的第二技术。在该技术中，IMM 112确定鼠标类设备602的绝对位置和方向。IMM 112随后定义对应于所确定的鼠标类设备自身的方向的参照系702。在这种情况下，随着用户在交互式表面104上移动鼠标类设备602，参照系动态地改变。
在图6和7中描述的两种技术是代表性的，IMM 112可以应用又一些附加技术或不同技术的组合来定位光标。
在以上示例中，过程500的目标是确定参照系，其中相对于该参照系可以定义光标的相对放置。IMM 112还可以应用在过程500中收集的信息来提供的鼠标类设备本身的绝对位置的测量。例如，IMM 112可以使用诸位置检测模块210或其他全局(即，表面范围)位置感测机制来确定鼠标类设备602的绝对位置。在鼠标类设备602移动时，IMM 112随后可以使用鼠标类设备602提供的相对位置测量来调整以上所确定的绝对位置。
只使用位置检测模块210来确定鼠标类设备602的绝对位置是可能的，但以上述方式使用测量的组合来确定绝对位置是有益的；这是因为，例如，鼠标类设备所提供的相对位置测量可能比诸位置检测模块210所做出的全局测量更敏感(并且可能具有更高分辨率)。类似好处也适用于图5中示出的场景，其中目标是确定鼠标类设备602相对于参照系的相对偏移。只使用全局测量来确定鼠标类设备602的移动是可能的，但使用全局测量和局部测量的组合是合乎需要的；这是因为鼠标类设备602所提供的局部测量可能比全局测量更敏感并且具有更高分辨率。
A.3.说明性图像获取机制(图8)
图8是示出用于形成放置于交互式表面104上的物品或其他种类的对象的数字副本的说明性过程的流程图(以及随附示例)。图8将在具体场景(在流程图操作的右侧示出)的上下文中解释，但可以明白，这一过程800通用于任何图像获取场景。
在框802，IMM 112检测用于生成物品的数字副本的指令。章节B将描述可以执行框802的代表性场合。例如，在用户激活与该物品相关联的界面对象时(例如，通过对界面对象执行拖曳运动)，IMM 112可以执行框802。
在框804，IMM 112接收整个交互式表面104的图像。图8将这一图像描绘成说明性“整个表面图像”806。整个表面图像806包括作为其一个组成部分的目标图像808。目标图像808对应于放置于交互式表面104上的物品。
在框810，IMM 112裁剪整个表面图像806，以使得除目标图像808之外的所有图像内容都被有效地丢弃。目标图像808提供随后可被以将在章节B中描述的方式投影回交互式表面104的物品的数字副本。IMM 112可以使用不同的技术来裁剪整个表面图像806。在一种技术中，IMM 112可以使用边缘检测来确定目标图像808的边界IMM 112随后可以使用裁剪来移除这些边界之外的所有图像内容。
A.4.说明性数字对象放置机制(图9)
图9是示出用于以数字对象不与交互式表面上的已有对象相冲突的方式来将数字对象放置于交互式表面104上的说明性过程900的流程图(以及随附示例)。在图9的仅是代表性的示例中，IMM 112可以寻求将LxM数字对象902放置于交互式表面104上，使得数字对象902不干扰已有对象集合904。例如，假定用户刚将新键盘设备906放置于交互式表面104上。IMM 112通过将数字对象902放置于交互式表面104上来进行响应。(在图9的具体场景中，显示对象902担当键盘类设备906的显示界面。)图9将在上述场景(涉及数字对象902)的具体上下文中解释，但将明白的是，这一过程900通用于任何对象放置场景。
在框908，IMM 112确定它希望放置在交互式表面104上的数字对象902的特性。数字对象902的特性可对应于数字对象902的尺寸，或更具体而言，对应于数字对象902的周界的形状。在图9的代表性示例中，IMM 112确定对象902具有LxM的尺寸。
在框910，IMM 112标识至少一个放置约束。每一放置约束与作为在放置数字对象902时要满足的约束的规则相对应。例如，可应用于上述场景的一个规则是数字对象902要放置于键盘设备906上方(相对于用户的位置)，并且优选地尽可能靠近键盘类设备906(或在键盘类设备906上方几英寸，等等，这取决于环境专用的放置因子)。在一个实现中，这些约束中的一个或多个被定义为数字对象902的放置需要满足的强制约束。作为替换或补充，这些约束中的一个或多个可被定义为数字对象902的放置在尽可能的程度上满足的偏好类约束。在又一实现中，IMM 112可以准许用户将每一约束附属上权重，权重确定数字对象902的放置的约束的相对重要性。IMM 112可以使用这些权重来确定放置数字对象902时的各考虑因素的优先次序，尤其是在所有约束不能被完全满足的情况下。
在框912，IMM 112生成交互式表面104的整个表面的掩膜(mask)(例如，掩膜914)。IMM 112可以用任何方式或各方式的组合来形成掩膜914，例如通过诸使用位置检测模块210来确定物理对象在界面表面104上的放置。如图9所示，掩膜914揭示预先存在的对象904在交互式表面104上的存在。这些对象904可对应于预先存在的物理对象和/或数字对象(注意，IMM 112具有关于数字对象的放置的先验知识，因为IMM 112是放置这些对象的代理)。作为替换或补充，框912可以使用高分辨率成像模块208来形成掩膜914。
在框916，IMM 112基于上述所有信息来确定数字对象902的放置，即：a)(在框908确定的)要放置的数字对象902的特性；b)(在框910确定的)(诸)放置约束；以及c)(在框912确定的)已有对象904在交互式表面104上的位置。IMM 112可以使用任何算法来确定对象902的放置。在一个代表性情况下，IMM 112使用积分图像技术来确定数字对象902在交互式表面104上的适当放置。IMM 112通过首先用已知方式形成积分图像表来应用积分图像技术。积分图像表可被用来以高效的方式调查多个放置可能性。
图9示出LxM显示对象902放置于交互式表面104上，使得它不与已有对象904中的任一个相重叠。此外，这一放置至少部分地满足以上标识的(诸)放置约束，例如因为显示对象902被放置得相对靠近用户的键盘类设备906。然而，(从诸放置约束的观点看)对象902的放置可能因邻近对象918的约束性存在而不是最优的。
A.5.用于使用光标作为接触点的说明性机制(图10)
接触点对应于用户可以参与交互式表面104以操纵呈现在交互式表面104上的数字对象或执行某一其他动作的点。在一种情况下，用户可以通过将手指(或其他身体部分，如整个手掌，等等)或物理定点工具(如指示笔等)放置于交互式表面104上或其附近来参与交互式表面104。这一类型的接触点被广泛地称为手指接触点。在另一情况下，用户可以使用由鼠标类输入设备控制的光标来作为模拟的手指接触点。即，光标可为将手指放在光标所定义的位置处的用户作为代理。与光标相关联的这一类型的接触点被称为光标接触点。在此，术语光标涵盖可由用户操纵的任何数字对象；在一种非限制性情况下，光标对应于箭头形状的数字对象。
图10是示出用于以触摸模式来操作鼠标类设备的说明性过程1000的流程图。在触摸模式中，由鼠标类设备控制的光标以上述方式模拟放置于交互式表面上的手指接触。当不以触摸模式运作时，鼠标类设备通过移动光标的位置而不执行任何补充的图像操纵功能来以传统方式运作。
在框1002，IMM 112确定用户是否激活了鼠标类设备的触摸模式。在一种仅是说明的情况下，用户可以通过点击具体分配的鼠标按钮或其他控件来激活这一模式。只要用户保持按下这一按钮，设备就以触摸模式操作。在用户释放该按钮时，触摸模式被解除激活。考虑以下示例：用户按下鼠标类设备的按钮，并随后在该按钮保持按下的情况下将光标从第一位置移动到第二位置。在第二位置，用户释放该按钮。这一操作在功能上等效于用户在交互式表面104上按下他或她的手指并将其从第一位置拖到第二位置。
在框1004，如果触摸模式被激活，则IMM 112以这一模式来操作鼠标类设备。
在框1006，用户可以在鼠标类设备的触摸模式内执行任何类型的图像操纵操作。例如，用户可以移动数字对象、旋转数字对象、改变数字对象的大小，等等。章节B提供在鼠标类设备以触摸模式操作时可以采取的各类动作的示例。
在框1008，IMM 112检测用户已经解除触摸模式激活。
在框1010，鼠标类设备转换成传统模式，其中它被用来以传统操作方式控制光标的移动。
B.系统和工具的说明性应用
图11-22提供描述用户如何使用在章节A中描述的系统和工具来参与交互式表面104的若干场景。这些场景是说明性的，上述系统和工具可被用来执行在该章节中未具体枚举的许多其他操作。
B.1.用于将数字对象与物理对象进行联系的机制(图11-14)
图11-14示出指示IMM 112可如何管理物理设备与数字对象之间的联系的各场景。在这一小节中阐述的各场景中，数字对象对应于显示界面。这些显示界面被用来呈现用户使用诸如键盘类设备等物理设备输入的信息。然而，在此描述的原理适用于任何类型的数字对象和任何类型的物理设备。
从图11开始，这一附图是示出用于在一设备放置于交互式表面104上时生成新数字对象的说明性过程1100的流程图(以及随附示例)。即，在这种情况下，用户将设备102放置于交互式表面104上；过程1100的目标是将数字对象1104显示在交互式表面104上。在这一说明性场景中，数字对象1104提供与设备1102相关联地使用的显示界面(如上所述)。
在框1106，IMM 112检测用户已将设备1102放置于交互式表面104上。IMM 112可以基于诸位置检测模块210和/或上述任何其他输入机制所提供的输入信息来作出这一判定。IMM 112可以通过注意到设备1102在其下侧包括指示性代码来区分设备102与物理物品(如物理文档)。作为补充或替换，IMM112可以基于轮廓分析来区分1102与物理物品(或手指接触点等)。
在框1108，IMM 112将数字对象1104显示在表面上设备1102的正上方。更具体地，以上(结合图9)描述的放置过程900可被用来确定放置数字对象1104的位置(以及方向)。在一种情况下，IMM 112可以在它检测到用户将设备1102放置到交互式表面104上之后立即显示数字对象1104。在另一情况下，IMM 112可以响应于检测到用户开始与设备1102进行交互来显示数字对象1104；例如，IMM 112可以在用户使用设备1102输入第一击键时显示数字对象1104。在确定呈现数字对象1104的定时的时候，还有其他因素能起作用。在一种情况下，IMM 112能在它检测到在指定的一段时间期间相对于设备1102不活动时移除(例如，关闭)数字对象1104。
在框1110，IMM 112检测用户已将设备1102从交互式表面104移除。
在框1112，响应于移除了设备1102，IMM 112将数字对象1104从交互式表面104移除。
图12是示出用于在一设备放置于交互式表面104上接近已有数字对象时使得该已有数字对象与该设备相联系的说明性过程1200的流程图(以及随附示例)。例如，假定交互式表面104已经包括数字对象1202。在一个特定说明性场景中，这一数字对象1202由一个或多个用户使用来与应用程序模块进行交互。新用户可能希望加入其他人并且也经由数字对象1202与应用程序模块进行交互。
在框1204，IMM 112检测新用户将设备1206(或其他类型的输入设备)放置在交互式表面104上接近已有数字对象1202。
在框1208，IMM 112检测是否满足一个或多个设备—对象联系考虑因素。这些条件确定新设备1206是否被准许形成与数字对象1202的关联。例如，一个考虑因素指示新用户是否将设备1206放置得距数字对象1202足够近以便保证设备1206与数字对象1202的自动关联。另一考虑因素指示用户是否被准许加入该任务并为该任务做贡献。这一考虑因素进而可取决于任何数量的环境专用因素，如所执行的任务的性质、用户的身份，等等。不对什么可构成设备—对象联系考虑因素加以限制。
在框1210，如果满足在框1208标识的(诸)考虑因素，则IMM 112形成设备1206与数字对象1202之间的关联。图12示出显示界面1202可以在带有视觉属性1212(如有色边界)的情况下呈现，以指示数字对象1202现在与设备1206相关联。IMM 112可以使用其他技术来表示设备—对象联系，即作为视觉属性1212的替换或补充。例如，IMM 112可以对把设备1206连接到数字对象1202的线(未示出)进行投影。(同一类型的设备—到—对象视觉相关机制可被应用于图11中示出的场景，但未示出。)
图13是示出用于在已有数字对象被移动到接近一设备时使得该已有数字对象与该设备相联系的说明性过程1300的流程图(以及随附示例)。即，图13示出作为图12中描述的场景的补充的场景。在图13，用户将已有数字对象1302移动到设备1304，而在图12中，用户将已有设备1206移动到数字对象1202。
在框1306，IMM 112检测用户(或某一其他代理)将已有数字对象1302放置于接近设备1304。
在框1308，IMM 112确定是否满足(诸)设备—对象联系考虑因素。这些考虑因素定义了将数字对象1302与设备1304相关联是否适当。示例性的这样的考虑事项在图12的框1208的讨论的上下文中描述。
在框1310，如果满足在框1308中定义的考虑因素，则IMM 112将数字对象1302与设备1304相关联。在一种情况下，IMM 112可以显示视觉属性1312(如有色边界)，以指示数字对象1302现在与设备1304相关联。
图14是示出用于将单个数字对象与两个设备相联系的说明性过程1400的流程图(以及随附示例)；这一过程还描绘了可如何通过将这两个设备拿到彼此附近来归并使用(由这两个相应设备控制的)两个相应数字对象而执行的操作。
例如，在一个场景中，假定第一用户正在使用第一设备1402和相关联的显示对象1404来与搜索应用程序模块进行交互。第二用户正在使用第二设备1406和相关联的数字对象1408来与同一搜索应用程序模块进行交互。在初始时间点，这些用户在相对远离彼此的位置处与交互式表面104进行交互；此外，这两个用户正在执行独立的搜索操作。接着假定用户移动它们的设备(1402，1406)相对靠近彼此，使得他们可以一起从事共同的搜索任务。例如，这两个用户可以对应于图3中示出的用户304和306。在这一场景中，IMM 112可被用来以下述方式将这些用户所执行的操作进行组合。
在框1410，IMM 112检测在交互式表面104上彼此邻近的两个设备(1402，1406)的放置。
在框1412，IMM 112确定是否满足一个或多个设备-设备联系考虑因素。这些考虑因素定义一个或多个规则，这些规则管控是否要将一个用户执行的操作与由另一用户执行的操作进行归并。示例性的这样的考虑因素在图12和13的讨论的上下文中描述。
在框1414，如果满足在框1412阐述的考虑因素，则IMM 112将由这两个用户执行的功能进行归并。取决于各环境专用因素和其他考虑因素，这一归并操作可以采取不同的形式。在图14中示出的仅是说明性的示例中，IMM 112将由设备(1402，1406)分开使用的数字对象(1404，1408)组合成单个数字对象1416。这两个用户被准许使用他们各自的设备(1402，1406)来参与联合显示对象1416。
此外，IMM 112可选地将由这两个用户独立地作出的搜索选择组合成联合搜索选择。例如，假定在这些用户将他们的设备(1402，1406)移动到靠近在一起之前，第一用户输入了搜索选择“西雅图(Seattle)”且第二用户输入了搜索选择“分套出售公寓(Condo)”。在移动靠近在一起时，IMM 112可以形成组合搜索选择，表示各独立的搜索选择的逻辑联合(如通过形成组合搜索选择“西雅图和分套出售公寓(Seattle AND Condo)”)。(在其他场景中，其他规则可以确定各单独的选择在逻辑上组合在一起的方式。)IMM 112可以将这一组合的搜索选择转发给适当的应用程序模块并随后在统一的显示界面1416上显示该应用程序模块所提供的结果，如图14中由指向附图标记“(联合搜索的输出)”的箭头用图形示出的。
重申，图14中开发的具体示例代表其中可以基于各种触发事件来归并数字对象和对应的操作的许多可能的场景。在另一示例中，两个用户可能在会议中记录了独立的笔记，使用独立的数字对象来显示他们的笔记。在移动靠近在一起时，IMM 112可以将这些用户记录的笔记归并成由共同的数字对象显示的共同文档。在这一场景中，IMM 112可选地向用户提供任何类型的标签，以指示各用户对该共同文档所作出的贡献。一般而言，所执行的归并操作的性质将部分地取决于用户所执行的功能的性质，并与一个或多个环境专用因素相结合。在一种情况下，IMM 112可以维护特权信息，该特权信息在逐用户的基础上管控IMM 112的对象组合和操作组合行为。例如，会议管理员可能希望禁止某些用户对联合任务做贡献，从而向封锁这些用户在过程1400中阐述的行为。
图14是在两个用户的说明性上下文中描述的。但上述原理可被应用于希望与共享数字对象进行交互的任何数量的用户。
B.2.用于操纵数字对象的机制(图15和16)
下一系列附图示出用于操纵数字对象的说明性技术。从图15开始，这一附图是示出用于使用不同的接触点场景来操纵数字对象的说明性过程1500的流程图(以及随附示例)。如上所述，接触点对应于用户参与(例如，进行接触)交互式表面104的表面的点。这一功能可以用不同的方式来执行。首先，用户可以通过对着交互式表面104按下他或她的手指(或其他身体部分)或物理工具来创建接触点；这一动作定义手指接触点。或者用户可以通过激活鼠标类设备的触摸模式来创建接触点，如图10的过程1000中描述的；这一动作定义光标接触点。
在框1502，IMM 112检测用户使用多个接触点参与了数字对象。
在框1504，IMM 112以用户所指示的方式来操纵数字对象(如通过移动数字对象、改变数字对象的方向、改变数字对象的大小，等等)。
图15呈现了解释可如何执行过程1500的三个(非穷尽性)代表性场景。在场景A中，用户使用两个手指接触点(1508，1500)参与数字对象1506。在这一仅是说明性的示例中，用户可以使用手指接触点来触摸数字对象1506的两个相对的角。用户随后可以通过在顺时针或逆时针方向上移动手指接触点(1508，1510)来旋转数字对象1506(可选地固定一个接触点作为枢轴)或通过彼此靠近或远离来移动手指接触点(1508，1510)以改变数字对象1506的大小等来操纵数字对象1506。
在场景B中，用户使用手指接触点1512和光标接触点1514来参与数字对象1506。用户可以使用这些接触点执行在场景A的上下文中描述的任何操纵。
在场景C中，用户使用两个光标接触点(1516，1518)参与数字对象1506。用户可以使用这些接触点执行在场景A的上下文中描述的任何操纵。场景C中示出的操纵的类型尤其适用于其中用户寻求操纵他或她用手不可及的对象的场景。例如，图3的用户302可以使用两个鼠标类设备(312，314)来控制两个相关联的光标(330，332)。通过以触摸模式来操作鼠标类设备(312，314)，即使数字副本328在物理上处于用户302可及的范围之外，用户也可以用上述方式来操纵数字副本328。
尽管并未示出，但用户还可以使用单个接触点来操纵数字对象。例如，用户可以使用单个手指接触点或单个光标接触点来将任何数字对象从交互式表面104上的第一位置移动到第二位置。
图16是示出用于通过将设备放置于数字对象的顶部，并象征性地使用该设备作为移动该数字对象或对该数字对象执行某一其他动作的手柄，来操纵该数字对象的说明性过程1600的流程图(以及随附示例)。
在框1602，IMM 112检测设备移动到数字对象上方。
在框1604，IMM 112使用该设备作为手柄来以用户所指示的方式操纵数字对象。
例如，考虑在过程1600的流程图框的右侧描绘的场景。在此，用户将鼠标类设备1606放置于显示在交互式表面104上的任何类型的数字对象1608的顶部。用户随后可以使用该鼠标类设备1606来以任何方式操纵数字对象1608，例如通过旋转数字对象1608、将数字对象1608滑动到另一位置，等等。在用户抬起鼠标类设备1606离开交互式表面104时，可以断开鼠标类设备1606与数字对象1608之间的关联。作为替换或补充，鼠标类设备1606的手柄类能力可通过按下和释放被分配给该功能的鼠标按钮来激活和解除激活。
B.3.用于创建并操纵数字对象副本的机制(图17-21)
下一系列流程图示出用于生成任何类型的物理物品的副本的各种技术，物理物品诸如但不限于有形(例如，“硬副本”)文档。这些流程图还示出用于与所生成的数字副本进行交互的技术。数字副本的生成和操纵在协作式环境中尤其有用。例如，如图3所示，用户310正在与物理物品326进行交互。用户310可以生成这一物理物品326的数字副本(例如，数字副本328和346)以分发给其他用户(例如，用户302、308)。这使得其他用户(302、308)容易地检查物理物品326所传达的信息，而例如无需各用户(302、308)挤在用户310周围检查原始物理物品326，并且无需各用户(302、308)在他们之间以传统的在时间上连续的方式传阅物理物品326。此外，任何用户对数字副本所采取的动作可以自动地使得对应动作在物理物品上执行，并且反之亦然。这还便于该环境的协作性质，例如通过提供任何用户可以向位于围绕交互式表面104的周界的不同位置处的一个或多个其他用户指出感兴趣的特征的方便机制。
从图17开始，这一附图是示出用于基于放置于交互式表面104上的物理物品1704来场景数字副本1702的说明性过程1700的流程图(以及随附示例)。
在框1706，IMM 112检测用户已将物理物品1704放置于交互式表面104上。这一检测操作可以基于诸位置检测模块210的输出或通过使用某一其他输入机制或诸输入机制的组合来执行。IMM 112可以使用轮廓分析来区分物理物品1704和手指接触点(以及其他对象)。IMM 112可以通过注意到物理物品1704上缺少将对象标识成输入设备的指示性标记来区分物理物品1704和输入设备。
在框1708，IMM 112将界面对象1710与物理物品1704相关联地呈现。界面对象1710是允许用户与物理物品1704进行交互的数字对象，这些交互例如制作物理物品1704的数字副本以及执行其他操作。在图17的仅是代表性的示例中，界面对象1710对应于在物理对象1704周围形成的光环或边界。可以使用任何其他类型的界面对象来实现过程1700的功能。例如，另一界面对象(未示出)可对应于从物理物品1704的一个或多个角伸出的一个或多个数字拉环。
在框1712，IMM 112检测用户以指示创建物理物品1704的数字副本的意图的方式来参与界面对象1710。在一种情况下，假定用户用手指触摸界面对象1710，并随后在维持手指按住交互式表面104的同时将手指拖离物理物品1704。IMM 112可以将这一运动解释成创建物理物品1704的数字副本的指令。这一运动类似于滑动一副纸牌的最顶部的牌的动作。同一移动可以使用光标接触点而非手指接触点来执行。此外，再次重申，其他界面对象和相关联的指示性移动可被用来指令IMM 112创建数字副本。IMM 112可以使用上述检测机制中的任何一个或多个(例如，使用诸位置检测模块210和/或诸高分辨率成像模块208等)来检测指示性移动。
在框1714，在检测到上述类型的指示性移动之后，IMM 112创建物理物品1704的数字副本1702。在一种情况下，IMM 112可以将数字副本1702存放在用户终止他或她的手指拖曳运动并从交互式表面104抬起他或她的手指的位置处。尽管并未示出，但IMM 112还可以允许用户指定管控复制操作的各种属性，例如，通过指定要产生的副本的数量、要使用的大小缩放比率、要使用的复制密度，等等。
不同的环境专用考虑因素可被用来确定IMM 112捕捉物理物品1704的图像的确切定时。在一种非限制性情况下，在用户将他或她的手指从交互式表面104移除时，例如在拖曳操作结束时，IMM 112捕捉物理物品1704的图像。这一定时可以降低IMM 112在拍摄物理物品1702的照片时捕捉用户身体的一部分的概率。
图18是示出用于呈现与放置于交互式表面104上的物理物品(例如，物理物品1804)相关联的菜单对象1802的说明性过程1800的流程图(以及随附示例)。更具体地，除了用作用于执行复制操作(在图17中描述)的工具之外，界面对象1710可被激活以执行其他操作，如呈现菜单对象1802。
在框1804，IMM 112标识指示用户希望参与界面对象1710以执行与创建物理物品1704的数字副本不同的用户动作。例如，在一种仅是说明性的情况下，用户可以用手指或用模拟手指接触点(由鼠标类设备控制)快速连续轻击界面对象1710两次。在图18的示例中，IMM 112将这一动作解释成激活菜单对象1802的请求。
在框1806，IMM 112将菜单对象1802呈现给用户。IMM 112可以在任何位置显示这一菜单对象1802，如在界面对象1710的外围。菜单对象1802可以提供用于对物理物品1704执行任何数量的操作的任何数量的选项，如打印物理物品1704的数字副本、保存物理物品1704的数字副本，等等。作为替换或补充，菜单对象1802可以用作允许用户调整管控复制操作(图17)的设置的工具。
图19是示出用于基于对数字副本1904的一部分的选择来突出显示物理物品1902的对应部分(或反之亦然)的说明性过程1900的流程图(以及随附示例)。
在框1906，IMM 112检测用户选择了数字副本1904的一部分1908。例如，用户可以使用手指、指示笔、光标或其他接触点来指向数字副本1904的特定部分1908。
在框1910，IMM 112可以向物理物品1902的一部分1914提供突出显示1912。部分1914对应于数字副本1904的所选部分1908。IMM 112可以通过将数字副本1904中的位置映射到物理物品1902中的对应位置来执行这一功能。IMM 112可以用任何方式来突出显示物理副本1902的部分1914，如通过投影部分1914周围的边界的图像、投影指出部分1914的箭头(诸如此类)、投影使部分1914变亮的光束，等等。
在框1916，IMM 112检测用户解除了对数字副本1904的部分1908的选择，例如通过将他或她的手指从部分1908移开。
在框1918，IMM 112可以从物理物品1902的对应部分1914移除突出显示1912。
尽管并未示出，但用户可以用上述方式选择物理物品1902的一部分，这提示IMM 112将突出显示添加到数字副本1904的对应部分。如以前一样，在用户解除了对物理物品1902的先前所选部分的选择时，IMM 112可以移除该突出显示。在这一场景中，输入功能108可包括具有检测用户在物理物品1902正上方采取的动作的能力的另一位置检测系统(未示出)。例如，输入功能108可包括位于交互式表面104上方的任何类型的远程传感机制。作为替换或补充，输入功能108可包括集成到交互式表面104自身(例如，在其内部)的触敏输入机制。
在其他情况下，IMM 112可以向用户给出在用户解除了对先前所选部分的选择之后保留应用于物理物品1902或数字副本1904的突出显示的选项。例如，并非以上述方式向数字副本1904添加暂时突出显示，用户可以向数字副本1904添加数字标记。这使得IMM 112向物理物品1902添加对应的数字标记。在用户完成了对数字副本1904的参与之后，应用于物理物品1902的数字标记可以保留(但向用户给出“擦除”应用于物理物品1904的数字标记的选项也是可能的)。
图20在以上标识的概念上展开；即，图20是示出用于基于对数字副本2008所做的数字标记2006来在物理物品2004上创建对应的数字标记2002的说明性过程2000的流程图(以及随附示例)。
在框2010，IMM 112检测用户已将数字标记2006放置于数字副本2008上。用户可以使用诸如手指、指示笔、光标等任何机制2012来创建这一数字标记2006。在图20的仅是说明性的场景中，用户使用手指圈出数字副本2008的特定部分1214。IMM 112可以使用上述检测机制中的任何一个或多个(例如，使用诸位置检测模块210和/或诸高分辨率成像模块208等)来检测数字标记2006的创建。
在框2016，IMM 112将对应的数字标记2002应用于物理物品2004的对应部分2018。与图9的情况不同，数字标记2002保留在物理物品2004上，但提供允许用户“擦除”这样的数字标记2002的机制也是可能的。
在图20中示出的过程2000可以逆向执行，例如通过检测用户对物理物品2004作出物理标记(或数字标记)，并随后作为响应，向数字副本2008添加对应的数字标记。在这一场景中，IMM 112可以通过形成反映物理物品在时刻t1(在添加物理标记之前)和时刻t2(在添加物理标记之后)之间的差异的差分图像来确定已经添加了物理标记。物理标记的数字对应物可以基于这一差分图像来获得。
图21是示出用于将标记2102应用于物理物品(未示出)的数字副本2104，然后生成包括作为物理标记2102的数字表示的数字标记2108的新数字副本的说明性过程2100的流程图(以及随附示例)。
在框2110，IMM 112检测用户已经将物理物品的数字副本2104移动到编辑区域2112上。在一个说明性情况下，编辑区域2112可以对应于交互式表面104的白板部分。或者，编辑区域2112可以对应于放置于交互式表面104的表面上的一张纸(诸如此类)。用户可以在这一编辑区域2112上绘制，例如使用笔、铅笔、记号笔等。编辑区域2112具有已定义的大小。在一种情况下，在数字副本2104被移动到编辑区域2112上时，IMM 112可以将数字副本2104“截齐”成编辑区域2112的大小，即通过修改数字副本2104的大小以使得它符合编辑区域2112的大小。一旦数字副本2104变得与编辑区域2112相关联，则数字副本2104可以保持“附连”到编辑区域2112。因此，当(并且如果当)编辑区域212在交互式表面104上移动时(例如通过移动与编辑区域2112相关联的白板或纸)，数字副本2104与它一起移动。这一机制提供在交互式表面104上移动数字副本的另一方式，例如通过象征性地使用编辑区域2112作为在其上移动数字副本2104的盘子。
在框2114，IMM 112检测用户在数字副本2104“上”创建了物理标记2102(例如，使用以上参考图20描述的检测技术)。物理标记2102在物理上被形成在编辑区域2112提供的底层基座上。在这一仅是说明性的情况下，用户使用工具2116圈出数字副本2014的部分2118。
在框2120，IMM 112生成寻求数字副本2104的新数字副本2106。新数字副本2106包括作为在数字副本2104的先前版本“上”绘制的物理标记2102的对应物的数字标记2108。在图21的示例中，用户已经将新数字副本2106移出编辑区域2112，这揭示了放置于编辑区域2112上的“裸”原始物理标记2102。
IMM 112可以用各种方式执行框2118的操作。根据一种技术，IMM 112可以拍摄数字副本2104(其上添加了标记2102)的另一照片，可能使用不同的曝光度来解决以下事实：IMM 112现在根本上正在拍摄图像(除物理标记2102之外)的照片而非原始物理文档的照片。在另一种技术中，IMM 112可以暂时关闭数字副本2104的投影，这将揭示裸物理标记2102。IMM 112可以捕捉物理标记2102的图像并随后将物理标记2102的图像与原始数字副本2104数字地合成以生成新数字副本2106。又一些技术可被用来生成新数字副本2106。
上述过程2100可以重复一次或多次。对于每一次迭代，用户可以用上述方式向数字对象提供附加注释。
更一般地，在B.3小节中描述的技术中的任何技术可以用任何方式组合在一起。
此外，在以上示例中，物理物品对应于物理文档，如纸质文档。但上述过程可应用于任何物理对象。例如，在另一情况下，物理对象对应于三维对象。在又一情况下，物理对象包括其上显示信息的屏幕。在又一情况下，物理对象包括(或包含)用户的人体解剖的一部分。例如，在图17的过程1700中，用户可能希望创建文档的数字副本，其中用户用身体指向文档中的特定段落。还有其他应用也是可能的。
B.4.用于捕捉动作的历史并执行其他表面管理功能的机制
图22是示出用于生成交互式表面104在不同的相应时刻的一系列表示并向用户显示关于这一系列的任何信息的说明性过程2200的流程图。
在框2202，IMM 112可以拍摄整个交互式表面104在时刻tn的照片。IMM112可以用不同的方式来形成这一照片，如通过在其上放置了物理对象和数字对象两者的情况下拍摄交互式表面104的单张照片。或者，IMM 112可以用在图21的解释的上下文中描述的方式来形成合成图像，例如通过关闭投影、拍摄物理物品在交互式表面104上的照片、并随后将照片与被投影到交互式表面104上的数字对象进行组合。
不同的事件可以触发该图像捕捉操作。在一种情况下，IMM 112周期性地捕捉交互式表面104的图像(例如，每n秒或每n分钟，等等)作为替换或补充，用户可以明确地指令IMM 112在各感兴趣的时刻捕捉图像。作为替换或补充，在IMM 112独立地检测到一些值得注意的事物正在交互式表面104上发生时，它可以自动捕捉图像，如在用户向交互式表面104添加新设备时、或当用户在交互式表面104上移动已有设备或数字对象时，等等。在重复时，框2202建立在不同的相应时刻拍摄的交互式表面的多个图像。IMM 112可以将这些图像存档在一个或多个合适的数据存储(未示出)中。
在框2204，用户可以指令IMM 112示出先前在框2202中记录的图像中的任一个。在一种情况下，用户可以请求IMM 112示出一个或多个所选图像。在另一情况下，用户可以请求IMM 112按照在所标识的时间跨度上捕捉所记录的图像系列的次序来显示这些图像。在后一场景中，IMM 112可以按照动画方式或伪(粗略)动画方式来呈现图像。
如上所述，过程2200可被用来形成整个交互式表面104的一系列表示。作为替换或补充，即使用户没有明确地请求形成交互式表面104的各部分，诸如放置于交互式表面104上的各单独对象(包括物理对象和/或数字对象)的一系列表示，过程2200也可被用来形成这些表示。例如，过程2200可被用来示出对物理文档等的单独副本作出的改变的发展。IMM 112可以使用例如图8的标记过程等来获得物理对象的表示。IMM 112具有对被投影到交互式表面104上的数字对象的立即访问。
IMM 112可以提供结合图22的过程2200使用的各种界面机制。例如，IMM122可以在交互式表面104上显示容器类数字对象(未示出)。该容器类数字对象作为到数字对象集合(与出现在交互式表面104上的各单独项相关联和/或整个交互式表面104的表示)的接口。用户可以使用一个或多个视图来将各数字对象组织到该容器类数字对象中。第一视图允许用户以网格格式或其他空间组织格式来安排数字对象。第二视图允许用户以翻书格式来安排数字对象，例如，作为对象的时间序列。在一种情况下，用户还可以经由容器类数字对象来操纵任何数字对象，如通过缩放该数字对象、旋转该数字对象等等。
IMM 112还可以包括允许用户“清理”交互式表面104的机制，例如通过从该交互式表面移除数字对象。在一种情况下，IMM 112可以提供允许用户从交互式表面104删除(例如，移除)所有数字对象的命令。作为补充或替换，IMM 112可以提供允许用户删除所标识的数字对象的命令。
C.代表性处理功能
图23阐明可被用于实现上述功能的任何方面的说明性电子数据处理功能2300(以下简称“处理功能”)。参考图1，例如，图23中示出的处理功能2300的类型可被用来实现交互式表面环境100的任何方面。在一种情况下，处理功能2300可对应于任何类型的计算设备。
处理功能2300可以包括诸如RAM 2302和ROM 2304等易失性和非易失性存储器以及一个或多个处理设备2306。处理功能2300还可选地包括各种媒体设备2308，诸如硬盘模块、光盘模块等。处理功能2300可在处理设备2306执行由存储器(例如RAM 2302、ROM 2304或其他)维护的指令时执行以上所标识的各种操作。更一般地，指令和其他信息可以存储在任何计算机可读介质2310上，计算机可读介质包括但不限于静态存储器存储设备、磁存储设备、光存储设备等。术语“计算机可读介质”还涵盖多个存储设备。术语“计算机可读介质”还涵盖例如经由电线、电缆、无线通信等从第一位置发送到第二位置的信号。
处理功能2300还包括用于(经由输入模块2314)从用户接收各种输入和用于(经由输出模块2316)向用户提供各种输出的输入/输出模块2312。图1和2描述各种类型的这样的输入模块2312和输出模块2314(例如，分别对应于输入功能108和内容投影功能106)。处理功能2300还可包括用于经由一个或多个通信管道2320与其他设备交换数据的一个或多个网络接口2318。一条或多条通信总线2322将上述组件通信地耦合在一起。
总而言之，本说明书已经在说明性挑战或问题的上下文中描述了各种概念。该说明方式不构成对其他人以此处所指定的方式理解和/或清楚表达这些挑战或问题的承认。
更一般地，尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (15)

1.一种用于参与交互式表面的方法(1100)，包括：
检测(1106)输入设备在所选位置处的放置以及在所述交互式表面上的方向，所述输入设备被配置成提供字母数字文本输入；以及
在所述交互式表面上显示(1108)数字对象，所述数字对象在位置上与所述输入设备相关联，
所述数字对象提供呈现用户使用所述输入设备输入的信息的视觉表示的显示界面。
2.如权利要求1所述的方法，其特征在于，还包括显示将所述输入设备与所述数字对象相关联的视觉属性。
3.如权利要求1所述的方法，其特征在于，所述数字对象包括第一数字对象，并且其中所述交互式表面还显示第二数字对象，所述方法还包括：
检测接近所述第二数字对象的任何输入设备的放置，或接近所述任何输入设备的所述第二数字对象的放置；以及
将所述任何输入设备与所述第二数字对象自动关联。
4.如权利要求1所述的方法，其特征在于，所述输入设备包括第一输入设备，所述方法还包括：
检测接近所述交互式表面上所述第一输入设备的第二输入设备的放置；以及
响应于所述检测，将所述第二输入设备与所述数字对象自动关联，使得所述第一输入设备与所述第二输入设备两者都与所述数字对象相关联。
5.如权利要求1所述的方法，其特征在于，所述输入设备包括第一输入设备并且所述数字对象包括第一数字对象，所述方法还包括：
检测在所述交互式表面上第二输入设备的放置，所述交互式表面显示第二数字对象，所述第二数字对象与所述第二输入设备在位置上相关联；
检测接近所述第一输入设备的所述第二输入设备的移动或接近所述第二输入设备的第一输入设备的移动；以及
响应于检测到所述移动，将所述第一数字对象提供的内容与所述第二数字对象提供的内容进行归并。
6.如权利要求1所述的方法，其特征在于，显示所述数字对象包括：
将所述数字对象放置于所述交互式表面上的这样一处位置：a)在被认为适当的程度上满足至少一个放置约束；以及b)减少所述数字对象与所述交互式表面上的其他已有对象之间的冲突。
7.一种用于存储计算机可读指令的计算机可读介质(2310)，所述计算机可读指令在由一个或多个处理设备执行时提供一种交互管理模块，所述计算机可读指令包括：
逻辑(502)，被配置成检测鼠标类设备在交互式表面上的用户放置；
逻辑(502)，被配置成确定所述鼠标类设备的绝对位置以及所述鼠标类设备的方向；
逻辑(504)，被配置成基于所述鼠标类设备的绝对位置和方向来定义参照系；以及
逻辑(506)，被配置成相对于所定义的参照系来将光标显示在所述交互式表面上。
8.如权利要求7所述的计算机可读介质，其特征在于，被配置成定义所述参照系的逻辑能够用于相对于以下各项来定义所述参照系：
所述交互式表面上的参照对象；或
所述鼠标类设备的方向。
9.如权利要求7所述的计算机可读介质，其特征在于，还包括被配置成显示将所述鼠标类设备与所述光标相关联的视觉属性的逻辑。
10.如权利要求7所述的计算机可读介质，其特征在于，还包括：
被配置成检测所述用户已经激活由所述鼠标类设备所提供的控件的逻辑；以及被配置成以触摸模式来操作所述鼠标类设备的逻辑，其中在所述触摸模式中，所述光标担当参与所述交互式表面的模拟接触点。
11.一种用于管理交互式表面(104)的交互式管理模块(112)，包括：
逻辑(1706)，被配置成检测在所述交互式表面(104)上的物品(1704)的放置；
逻辑(1708)，被配置成在所述交互式表面(104)上显示界面对象(1710)以与所述物品(1704)相关联地使用；
逻辑(1712)，被配置成检测用户对所述界面对象(1710)的副本相关激活；以及
逻辑(1714)，被配置成响应于所述激活，来生成所述物品(1704)的数字副本(1702)并在所述交互式表面(104)上在由所述用户标识的位置处显示所述物品(1704)的所述数字副本(1702)。
12.如权利要求11所述的交互式管理模块，其特征在于，所述用户的副本相关激活对应于所述用户通过拉所述界面对象来执行的拖曳运动。
13.如权利要求11所述的交互式管理模块，其特征在于，还包括：
被配置成检测所述用户对所述数字副本的特定数字部分的选择的逻辑；以及
被配置成突出显示或标记所述物品的作为所述数字副本的所述特定数字部分的对应物的物理部分的逻辑。
14.如权利要求11所述的交互式管理模块，其特征在于，还包括：
被配置成检测所述用户将所述数字副本移动到所述交互式表面的编辑区域的逻辑；
被配置成检测由所述用户应用于所述编辑区域内的数字副本的物理标记的逻辑；以及
被配置成生成所述物品的另一数字副本的逻辑，所述另一数字副本包括所述物理标记的数字表示。
15.如权利要求11所述的交互式管理模块，其特征在于，还包括被配置成记录所述交互式表面的至少一部分在不同的相应时间点的多个表示的逻辑，以及被配置成呈现关于所述多个表示的信息的逻辑。
CN200980139375.3A 2008-09-30 2009-08-21 结合交互式表面来使用物理对象 Active CN102165394B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/241,281 US8427424B2 (en) 2008-09-30 2008-09-30 Using physical objects in conjunction with an interactive surface
US12/241,281 2008-09-30
PCT/US2009/054607 WO2010039349A2 (en) 2008-09-30 2009-08-21 Using physical objects in conjunction with an interactive surface

Publications (2)

Publication Number Publication Date
CN102165394A true CN102165394A (zh) 2011-08-24
CN102165394B CN102165394B (zh) 2015-06-17

Family

ID=42056855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980139375.3A Active CN102165394B (zh) 2008-09-30 2009-08-21 结合交互式表面来使用物理对象

Country Status (5)

Country Link
US (3) US8427424B2 (zh)
EP (1) EP2332024B1 (zh)
JP (3) JP5611958B2 (zh)
CN (1) CN102165394B (zh)
WO (1) WO2010039349A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169920A (zh) * 2012-02-24 2014-11-26 剑桥软件公司 用于使用触摸及手势绘制化学结构的系统、方法及设备
CN105988568A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
CN106104455A (zh) * 2013-12-27 2016-11-09 索尼公司 显示控制装置、显示控制方法和程序
US9977876B2 (en) 2012-02-24 2018-05-22 Perkinelmer Informatics, Inc. Systems, methods, and apparatus for drawing chemical structures using touch and gestures
CN109313652A (zh) * 2016-06-24 2019-02-05 微软技术许可有限责任公司 全息对象的关系绘制
US10572545B2 (en) 2017-03-03 2020-02-25 Perkinelmer Informatics, Inc Systems and methods for searching and indexing documents comprising chemical information

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8866699B2 (en) * 2008-12-02 2014-10-21 Fuji Xerox Co., Ltd. Systems and methods for interacting with mobile devices using external displays
US8264455B2 (en) * 2009-02-03 2012-09-11 Microsoft Corporation Mapping of physical controls for surface computing
US10180746B1 (en) 2009-02-26 2019-01-15 Amazon Technologies, Inc. Hardware enabled interpolating sensor and display
US9740341B1 (en) 2009-02-26 2017-08-22 Amazon Technologies, Inc. Capacitive sensing with interpolating force-sensitive resistor array
US8334902B2 (en) * 2009-03-31 2012-12-18 Fuji Xerox Co., Ltd. System and method for facilitating the use of whiteboards
KR101593598B1 (ko) * 2009-04-03 2016-02-12 삼성전자주식회사 휴대단말에서 제스처를 이용한 기능 실행 방법
US9785272B1 (en) 2009-07-31 2017-10-10 Amazon Technologies, Inc. Touch distinction
US9740340B1 (en) 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
JP5421762B2 (ja) * 2009-12-22 2014-02-19 キヤノン株式会社 表示装置、その制御方法、表示システム
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5434767B2 (ja) * 2010-04-16 2014-03-05 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
US8400564B2 (en) * 2010-05-03 2013-03-19 Microsoft Corporation Image capture
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
US20120079606A1 (en) 2010-09-24 2012-03-29 Amazon Technologies, Inc. Rights and capability-inclusive content selection and delivery
JP5666239B2 (ja) * 2010-10-15 2015-02-12 シャープ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
GB2484551A (en) * 2010-10-15 2012-04-18 Promethean Ltd Input association for touch sensitive surface
JP5655515B2 (ja) * 2010-11-11 2015-01-21 ソニー株式会社 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム
US9612743B2 (en) * 2011-01-05 2017-04-04 Autodesk, Inc. Multi-touch integrated desktop environment
US9600090B2 (en) 2011-01-05 2017-03-21 Autodesk, Inc. Multi-touch integrated desktop environment
US9261987B2 (en) * 2011-01-12 2016-02-16 Smart Technologies Ulc Method of supporting multiple selections and interactive input system employing same
EP2663914A4 (en) * 2011-01-12 2014-08-06 Smart Technologies Ulc METHOD FOR SUPPORTING MULTIPLE SELECTIONS AND INTERACTIVE INPUT SYSTEM USING THE SAME
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9560314B2 (en) * 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US8928735B2 (en) 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
JP2013004001A (ja) * 2011-06-21 2013-01-07 Sony Corp 表示制御装置、表示制御方法、およびプログラム
WO2013008049A1 (en) * 2011-07-14 2013-01-17 Telefonaktiebolaget Lm Ericsson (Publ) Modifying a digital document responsive to user gestures relative to a physical document
JP2013041350A (ja) * 2011-08-12 2013-02-28 Panasonic Corp タッチテーブルシステム
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
JP5202712B2 (ja) * 2011-10-28 2013-06-05 株式会社東芝 表示装置、及び情報送信方法
JP5927845B2 (ja) * 2011-11-01 2016-06-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP5666545B2 (ja) * 2011-12-15 2015-02-12 株式会社東芝 情報処理装置、画像取得プログラム
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20130290867A1 (en) * 2012-04-27 2013-10-31 Litera Technologies, LLC Systems and Methods For Providing Dynamic and Interactive Viewing and Control of Applications
KR20130142824A (ko) * 2012-06-20 2013-12-30 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
KR20140034612A (ko) * 2012-09-12 2014-03-20 삼성전자주식회사 멀티 유저를 위한 디스플레이 장치 및 그 제어 방법
US9354721B2 (en) * 2012-09-28 2016-05-31 Apple Inc. Movement based image transformation
JP6014162B2 (ja) * 2012-11-08 2016-10-25 アルプス電気株式会社 入力装置
WO2014073346A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
US9146668B2 (en) * 2013-01-31 2015-09-29 Hewlett-Packard Development Company, L.P. Graphical element placement on a display surface
JP2014174931A (ja) * 2013-03-12 2014-09-22 Sharp Corp 描画装置
US8854361B1 (en) 2013-03-13 2014-10-07 Cambridgesoft Corporation Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information
US9846526B2 (en) * 2013-06-28 2017-12-19 Verizon and Redbox Digital Entertainment Services, LLC Multi-user collaboration tracking methods and systems
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
JP6189680B2 (ja) * 2013-08-23 2017-08-30 シャープ株式会社 インターフェイス装置、インターフェイス方法、インターフェイスプログラム、及び、そのプログラムを記憶したコンピュータ読取可能な記録媒体
JP6117053B2 (ja) * 2013-08-23 2017-04-19 シャープ株式会社 表示制御装置、表示制御方法及びプログラム
US20150089453A1 (en) * 2013-09-25 2015-03-26 Aquifi, Inc. Systems and Methods for Interacting with a Projected User Interface
JP6253945B2 (ja) * 2013-10-22 2017-12-27 シャープ株式会社 画像表示装置
US20150199941A1 (en) * 2014-01-15 2015-07-16 Nokia Corporation 3d touch sensor reader
JP6305073B2 (ja) * 2014-01-20 2018-04-04 キヤノン株式会社 制御装置、制御方法及びプログラム
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
US9304599B2 (en) 2014-03-21 2016-04-05 Dell Products L.P. Gesture controlled adaptive projected information handling system input and output devices
US20150268739A1 (en) * 2014-03-21 2015-09-24 Dell Products L.P. Projected Information Handling System Input Environment with Object Initiated Responses
US9965038B2 (en) * 2014-03-21 2018-05-08 Dell Products L.P. Context adaptable projected information handling system input environment
US10133355B2 (en) 2014-03-21 2018-11-20 Dell Products L.P. Interactive projected information handling system support input and output devices
US10732808B2 (en) * 2014-06-24 2020-08-04 Sony Corporation Information processing device, information processing method, and program
JP2016057760A (ja) * 2014-09-08 2016-04-21 カシオ計算機株式会社 表示装置、投影装置、表示方法及び表示プログラム
US10089291B2 (en) * 2015-02-27 2018-10-02 Microsoft Technology Licensing, Llc Ink stroke editing and manipulation
JP2016162132A (ja) * 2015-02-27 2016-09-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9753591B2 (en) * 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9720446B2 (en) * 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9791979B2 (en) 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US20170123622A1 (en) * 2015-10-28 2017-05-04 Microsoft Technology Licensing, Llc Computing device having user-input accessory
IL243422B (en) * 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10739993B2 (en) * 2017-01-19 2020-08-11 Microsoft Technology Licensing, Llc Simultaneous authentication system for multi-user collaboration
JP6522719B2 (ja) * 2017-11-28 2019-05-29 シャープ株式会社 画像表示方法
EP3669260A4 (en) * 2017-12-04 2021-03-24 Hewlett-Packard Development Company, L.P. PERIPHERAL DISPLAY DEVICES
US11460911B2 (en) * 2018-01-11 2022-10-04 Steelseries Aps Method and apparatus for virtualizing a computer accessory
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
JP6495519B2 (ja) * 2018-07-25 2019-04-03 シャープ株式会社 画像表示装置、表示制御プログラムおよび表示制御方法
JP6654722B2 (ja) * 2019-03-08 2020-02-26 シャープ株式会社 画像表示装置および画像表示方法
US11543931B2 (en) * 2021-01-27 2023-01-03 Ford Global Technologies, Llc Systems and methods for interacting with a tabletop model using a mobile device
US11893548B2 (en) * 2021-04-30 2024-02-06 People Center, Inc. Management of computing devices using employee records
US11785060B2 (en) * 2021-07-29 2023-10-10 Zoom Video Communications, Inc. Content-aware device selection for modifying content elements in digital collaboration spaces
US20230290090A1 (en) * 2022-03-10 2023-09-14 Streem, Llc Searchable object location information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001645A1 (en) * 2004-06-30 2006-01-05 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US20060294247A1 (en) * 2005-06-24 2006-12-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US20070247422A1 (en) * 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
US20080214233A1 (en) * 2007-03-01 2008-09-04 Microsoft Corporation Connecting mobile devices via interactive input medium
US20080229194A1 (en) * 2007-03-14 2008-09-18 Microsoft Corporation Virtual features of physical items

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402608A (en) 1980-10-02 1983-09-06 Solid Photography Inc. Room scanning system using multiple camera and projector sensors
US4786966A (en) 1986-07-10 1988-11-22 Varo, Inc. Head mounted video display and remote camera system
JPH0456993A (ja) * 1990-06-26 1992-02-24 Shimadzu Corp ウィンドウ生成装置
JPH04328627A (ja) 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> カーソル表示方法
JPH05289814A (ja) 1992-04-08 1993-11-05 Takaoka Electric Mfg Co Ltd マウス
US7188852B1 (en) 1992-06-05 2007-03-13 Fritschen Thomas M Bicycle with improved composite frame
DE4236091A1 (de) 1992-10-26 1994-04-28 Nsm Ag Projektionssystem für Unterhaltungs- und Spielgeräte
EP0622722B1 (en) * 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
JP3277645B2 (ja) * 1993-11-01 2002-04-22 株式会社日立製作所 ペン入力式情報処理装置
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5714997A (en) 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
JPH0946776A (ja) * 1995-07-26 1997-02-14 Sony Corp 遠隔指示装置および方法
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US6948794B2 (en) * 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
JP3746378B2 (ja) 1997-08-26 2006-02-15 シャープ株式会社 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
EP0961506B1 (en) 1998-05-20 2003-03-26 Texas Instruments France Autostereoscopic display
US6392637B2 (en) * 1998-08-13 2002-05-21 Dell Usa, L.P. Computer system having a configurable touchpad-mouse button combination
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2000322367A (ja) 1999-05-07 2000-11-24 Hitachi Ltd 代替装置によるユーザインタフェース変更方法及びその情報処理装置
JP2000354257A (ja) 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
US6542154B1 (en) 1999-08-07 2003-04-01 Hewlett-Packard Company Architectural extensions to 3D texturing units for accelerated volume rendering
GB9918704D0 (en) 1999-08-10 1999-10-13 White Peter M Device and method for eye to eye communication overa network
CA2381087A1 (en) 1999-08-10 2001-02-15 Peter Mcduffie White Communications system
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US7404147B2 (en) * 2000-04-24 2008-07-22 The Trustees Of Columbia University In The City Of New York System and method for dynamic space management of a display space
CA2306515A1 (en) 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP4284855B2 (ja) * 2000-10-25 2009-06-24 ソニー株式会社 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
DE10063089C1 (de) 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
US20020158873A1 (en) 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
GB2377147A (en) 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US6930681B2 (en) 2001-08-14 2005-08-16 Mitsubishi Electric Research Labs, Inc. System and method for registering multiple images with three-dimensional objects
JP3971907B2 (ja) * 2001-09-17 2007-09-05 アルプス電気株式会社 座標入力装置及び電子機器
US7468778B2 (en) 2002-03-15 2008-12-23 British Broadcasting Corp Virtual studio system
US7199793B2 (en) 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7190331B2 (en) 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US20090143141A1 (en) * 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US8905834B2 (en) * 2007-11-09 2014-12-09 Igt Transparent card display
US20040037450A1 (en) 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US7134080B2 (en) 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7242818B2 (en) 2003-01-17 2007-07-10 Mitsubishi Electric Research Laboratories, Inc. Position and orientation sensing with a projector
CA2464569A1 (en) 2003-04-16 2004-10-16 Universite De Montreal Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
US7126228B2 (en) 2003-04-23 2006-10-24 Micron Technology, Inc. Apparatus for processing semiconductor devices in a singulated form
JP4201656B2 (ja) 2003-07-07 2008-12-24 富士通コンポーネント株式会社 ポインティングデバイス制御方法および装置
US7164789B2 (en) 2003-08-11 2007-01-16 Palo Alto Research Center Incorporated Three-dimensional active vision with glyph address carpet
WO2005017739A1 (en) 2003-08-19 2005-02-24 Koninklijke Philips Electronics N.V. A visual content signal display apparatus and a method of displaying a visual content signal therefor
US7747067B2 (en) 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US20060100930A1 (en) * 2003-10-23 2006-05-11 Novak-Torre Jody L Method and system for advertising
US8050491B2 (en) 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
US7077529B2 (en) 2004-02-20 2006-07-18 L-3 Communications Corporation Masked image projection system and method
US7182465B2 (en) 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
JP4411105B2 (ja) 2004-03-03 2010-02-10 ユニ・チャーム株式会社 液体を表面に適用するための器具
US7609257B2 (en) * 2004-03-29 2009-10-27 Oculus Info Inc. System and method for applying link analysis tools for visualizing connected temporal and spatial information on a user interface
US7204428B2 (en) * 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
US20070132733A1 (en) * 2004-06-08 2007-06-14 Pranil Ram Computer Apparatus with added functionality
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
EP1784978B1 (de) 2004-08-30 2010-11-10 Bauhaus-Universität Weimar Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
US7961912B2 (en) 2004-10-14 2011-06-14 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US7703924B2 (en) 2004-10-25 2010-04-27 The Trustees Of Columbia University In The City Of New York Systems and methods for displaying three-dimensional images
TW200617748A (en) * 2004-11-23 2006-06-01 Mitac Technology Corp Integrated module used to control the displacement of the cursor displayed on a computer and the input of number keys
JP2006148730A (ja) 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp 会議システム及び会議情報提供方法
US7430312B2 (en) 2005-01-07 2008-09-30 Gesturetek, Inc. Creating 3D images of objects by illuminating with infrared patterns
US8162486B2 (en) 2005-01-15 2012-04-24 Lenovo (Singapore) Pte Ltd. Remote set-up and calibration of an interactive system
US7812815B2 (en) 2005-01-25 2010-10-12 The Broad of Trustees of the University of Illinois Compact haptic and augmented virtual reality system
US7260474B1 (en) * 2005-02-08 2007-08-21 Cellco Partnership GIS point-to-point routing for directions
GB0502891D0 (en) 2005-02-12 2005-03-16 Next Device Ltd User interfaces
US7639231B2 (en) * 2005-03-29 2009-12-29 Hewlett-Packard Development Company, L.P. Display of a user interface
US7479967B2 (en) 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
RU2008110056A (ru) 2005-08-15 2009-09-27 Конинклейке Филипс Электроникс Н.В. (Nl) Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем
US7843449B2 (en) 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
US20070124370A1 (en) * 2005-11-29 2007-05-31 Microsoft Corporation Interactive table based platform to facilitate collaborative activities
US20070126864A1 (en) 2005-12-05 2007-06-07 Kiran Bhat Synthesizing three-dimensional surround visual field
US8130330B2 (en) 2005-12-05 2012-03-06 Seiko Epson Corporation Immersive surround visual fields
US20070139386A1 (en) * 2005-12-16 2007-06-21 Xerox Corporation Touch screen user interface for digital reprographic device with pop-up menu display
US20080007567A1 (en) 2005-12-18 2008-01-10 Paul Clatworthy System and Method for Generating Advertising in 2D or 3D Frames and Scenes
JP2007226406A (ja) 2006-02-22 2007-09-06 Toshiba Corp 監視制御システム
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
CN101438579B (zh) 2006-03-31 2012-05-30 皇家飞利浦电子股份有限公司 基于附加内容帧的视频内容的自适应再现
US20070257891A1 (en) 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US7984995B2 (en) 2006-05-24 2011-07-26 Smart Technologies Ulc Method and apparatus for inhibiting a subject's eyes from being exposed to projected light
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP2008033844A (ja) * 2006-07-31 2008-02-14 Sharp Corp 表示装置、制御方法およびプログラム
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7942530B2 (en) 2006-10-31 2011-05-17 The Regents Of The University Of California Apparatus and method for self-calibrating multi-projector displays via plug and play projectors
JP2008112077A (ja) 2006-10-31 2008-05-15 Sony Corp 画像投影装置およびその制御方法
KR100891099B1 (ko) * 2007-01-25 2009-03-31 삼성전자주식회사 사용성을 향상시키는 터치 스크린 및 터치 스크린에서 사용성 향상을 위한 방법
US8994757B2 (en) 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US20080231634A1 (en) * 2007-03-22 2008-09-25 Honeywell International, Inc. Intuitive modification of visual output from a multi-function display
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
WO2008144370A1 (en) 2007-05-16 2008-11-27 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3d reconstruction
US20090027330A1 (en) * 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
US8488129B2 (en) 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8223192B2 (en) 2007-10-31 2012-07-17 Technion Research And Development Foundation Ltd. Free viewpoint video
US20090128783A1 (en) 2007-11-15 2009-05-21 Yueh-Hong Shih Ocular-protection projector device
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US20090149250A1 (en) 2007-12-07 2009-06-11 Sony Ericsson Mobile Communications Ab Dynamic gaming environment
KR101441584B1 (ko) 2008-01-02 2014-09-23 삼성전자 주식회사 투과형 영상표시장치 및 그 방법
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
WO2009117450A1 (en) 2008-03-18 2009-09-24 Invism, Inc. Enhanced immersive soundscapes production
JP5431312B2 (ja) 2008-05-21 2014-03-05 パナソニック株式会社 プロジェクタ
US20100037273A1 (en) 2008-08-07 2010-02-11 Brian Dressel Interactive video presentation
US8373657B2 (en) 2008-08-15 2013-02-12 Qualcomm Incorporated Enhanced multi-touch detection
JP5094663B2 (ja) 2008-09-24 2012-12-12 キヤノン株式会社 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
US20100073476A1 (en) 2008-09-24 2010-03-25 Industrial Technology Research Institute Systems and methods for measuring three-dimensional profile
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US8297757B2 (en) 2008-10-29 2012-10-30 Seiko Epson Corporation Projector and projector control method
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
EP2193825B1 (en) 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8570423B2 (en) 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
AU2010215135B2 (en) 2009-02-17 2016-05-12 Koninklijke Philips Electronics N.V. Combining 3D image and graphical data
US8199186B2 (en) 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8223196B2 (en) 2009-06-10 2012-07-17 Disney Enterprises, Inc. Projector systems and methods for producing digitally augmented, interactive cakes and other food products
US20100330843A1 (en) 2009-06-25 2010-12-30 Hong Gao Lamp socket power plug adapter
US20110025689A1 (en) 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
WO2011078883A1 (en) 2009-12-24 2011-06-30 Trumbull Ventures Llc Method and apparatus for photographing and projecting moving images in three dimensions
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8391590B2 (en) 2010-03-04 2013-03-05 Flashscan3D, Llc System and method for three-dimensional biometric data feature detection and recognition
US20110234481A1 (en) 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US20110263326A1 (en) 2010-04-26 2011-10-27 Wms Gaming, Inc. Projecting and controlling wagering games
US20110316845A1 (en) 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
US10036891B2 (en) 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9049423B2 (en) 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US20120157204A1 (en) 2010-12-20 2012-06-21 Lai Games Australia Pty Ltd. User-controlled projector-based games
US8913085B2 (en) 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8860688B2 (en) 2011-03-02 2014-10-14 Smart Technologies Ulc 3D interactive input system and method
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US20120223885A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US20120264510A1 (en) 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US8570372B2 (en) 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US20120293547A1 (en) 2011-05-20 2012-11-22 International Business Machines Corporation Management Of Access To And Life Cycles Of Virtual Signs
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9082214B2 (en) 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9137511B1 (en) 2011-12-15 2015-09-15 Rawles Llc 3D modeling with depth camera and surface normals
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
KR101385681B1 (ko) 2012-11-08 2014-04-15 삼성전자 주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
US20140247263A1 (en) 2013-03-04 2014-09-04 Microsoft Corporation Steerable display system
US20150049001A1 (en) 2013-08-19 2015-02-19 Qualcomm Incorporated Enabling remote screen sharing in optical see-through head mounted display with augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001645A1 (en) * 2004-06-30 2006-01-05 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US20060294247A1 (en) * 2005-06-24 2006-12-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US20070247422A1 (en) * 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
US20080214233A1 (en) * 2007-03-01 2008-09-04 Microsoft Corporation Connecting mobile devices via interactive input medium
US20080229194A1 (en) * 2007-03-14 2008-09-18 Microsoft Corporation Virtual features of physical items

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169920A (zh) * 2012-02-24 2014-11-26 剑桥软件公司 用于使用触摸及手势绘制化学结构的系统、方法及设备
US9977876B2 (en) 2012-02-24 2018-05-22 Perkinelmer Informatics, Inc. Systems, methods, and apparatus for drawing chemical structures using touch and gestures
US10790046B2 (en) 2012-02-24 2020-09-29 Perkinelmer Informatics, Inc. Systems, methods, and apparatus for drawing and editing chemical structures on a user interface via user gestures
US11430546B2 (en) 2012-02-24 2022-08-30 Perkinelmer Informatics, Inc. Systems, methods, and apparatus for drawing and editing chemical structures on a user interface via user gestures
CN106104455A (zh) * 2013-12-27 2016-11-09 索尼公司 显示控制装置、显示控制方法和程序
US11146771B2 (en) 2013-12-27 2021-10-12 Sony Corporation Display control device, display control method, and program
CN105988568A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
CN105988568B (zh) * 2015-02-12 2020-07-24 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
US10778928B2 (en) 2015-02-12 2020-09-15 Samsung Electronics Co., Ltd. Device and method for inputting note information into image of photographed object
CN109313652A (zh) * 2016-06-24 2019-02-05 微软技术许可有限责任公司 全息对象的关系绘制
CN109313652B (zh) * 2016-06-24 2021-09-17 微软技术许可有限责任公司 全息对象的关系绘制
US10572545B2 (en) 2017-03-03 2020-02-25 Perkinelmer Informatics, Inc Systems and methods for searching and indexing documents comprising chemical information

Also Published As

Publication number Publication date
JP6203685B2 (ja) 2017-09-27
US8427424B2 (en) 2013-04-23
JP5932903B2 (ja) 2016-06-08
EP2332024A2 (en) 2011-06-15
JP2012513047A (ja) 2012-06-07
EP2332024B1 (en) 2019-10-30
JP2014209385A (ja) 2014-11-06
CN102165394B (zh) 2015-06-17
WO2010039349A3 (en) 2010-05-27
WO2010039349A2 (en) 2010-04-08
US9372552B2 (en) 2016-06-21
EP2332024A4 (en) 2017-03-01
US20130229353A1 (en) 2013-09-05
US20170024370A1 (en) 2017-01-26
JP5611958B2 (ja) 2014-10-22
JP2014209384A (ja) 2014-11-06
US10346529B2 (en) 2019-07-09
US20100079369A1 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
CN102165394B (zh) 结合交互式表面来使用物理对象
El Ammari et al. Remote interactive collaboration in facilities management using BIM-based mixed reality
Akaoka et al. DisplayObjects: prototyping functional physical interfaces on 3d styrofoam, paper or cardboard models
US8209620B2 (en) System for storage and navigation of application states and interactions
US20100103178A1 (en) Spatially-aware projection pen
Waldner et al. Tangible tiles: design and evaluation of a tangible user interface in a collaborative tabletop setup
JP2010244526A (ja) 共同作業コンテンツを自動的に検知する方法、システムおよびコンピュータプログラム、コンテンツの経時変化を可視化する方法およびシステム
Vane Timeline design for visualising cultural heritage data
WO2020241331A1 (ja) 建築物の３次元データ管理方法及びこれを実現するモバイル端末
Klemmer et al. Integrating physical and digital interactions on walls for fluid design collaboration
Schubert et al. A (Collaborative) Design Platform for early design stages
JP2009086952A (ja) 情報処理システム及び情報処理プログラム
US20230290072A1 (en) System and method of object detection and interactive 3d models
Paelke et al. Designing multi-modal map-based interfaces for disaster management
EP1955132B1 (en) Multiple target detection and application state navigation system
KR20180071492A (ko) 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템
Wu et al. Photoscope: visualizing spatiotemporal coverage of photos for construction management
Klein A Gesture Control Framework Targeting High-Resolution Video Wall Displays
Golovchinsky et al. Beyond the drawing board: Toward more effective use of whiteboard content
JP2016033772A (ja) 情報表示装置およびプログラム
Craig et al. Smart Survey Tool: A Multi Device Platform for Museum Visitor Tracking and Tracking Data Visualization
Fuchigami et al. Virtual traditional craft simulation system in mixed reality environment
Hunter MemTable: contextual memory in group workspaces
Tahir et al. Interactive Slide Navigation: An Approach for Manipulating Slides with Augmented Reality Markers
KR20190013245A (ko) 근거리 지역 중심의 시간에 따른 정보 제공 포털앱 서비스

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150727

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.