CN102549527A - 用于便携式有形交互的系统 - Google Patents

用于便携式有形交互的系统 Download PDF

Info

Publication number
CN102549527A
CN102549527A CN2011800028196A CN201180002819A CN102549527A CN 102549527 A CN102549527 A CN 102549527A CN 2011800028196 A CN2011800028196 A CN 2011800028196A CN 201180002819 A CN201180002819 A CN 201180002819A CN 102549527 A CN102549527 A CN 102549527A
Authority
CN
China
Prior art keywords
display surface
target area
graph image
camera
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800028196A
Other languages
English (en)
Other versions
CN102549527B (zh
Inventor
D·艾弗拉哈米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN102549527A publication Critical patent/CN102549527A/zh
Application granted granted Critical
Publication of CN102549527B publication Critical patent/CN102549527B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00003—Types of board games
    • A63F3/00094—Ticktacktoe
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00643—Electric board games; Electric features of board games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/243—Detail of input, input devices with other kinds of input
    • A63F2009/2435—Detail of input, input devices with other kinds of input using a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明的实施例描述利用至少一个相机和显示器来创建对象与上下文知晓系统的系统。本发明的实施例可利用相机感测系统的环境并且使用识别逻辑或模块检测和识别系统上以及系统周围的对象。系统应用可进一步作用于感测数据并使用系统的显示器提供视觉反馈和交互元素作为与系统用户交互的手段。

Description

用于便携式有形交互的系统
技术领域
本发明的实施例一般涉及提供增强的计算机设备交互的设备和方法，更具体地涉及利用经扩充的移动计算机设备系统处理对象交互。
背景技术
移动计算机系统的不断增加的处理能力已形成对所述系统附近的物理对象的改良的理解和反应能力。系统用户的上下文还可用于提供丰富的交互体验。
创建具有跟踪对象、作用于这些对象、以及提供反馈的能力的系统会显著地增大移动计算机对终端用户的价值。这些年已提出和开发了桌面系统以提供许多这些优点；然而，这些系统通常是大型的，因而不是可移动的也不是个人的。诸如桌面系统之类的现有技术解决方案的局限性的原因之一是大型设备占据面积的需求；此类设备利用在桌面表面下的附加硬件以便处理表面上的、作为与系统的交互的活动。
因此，不存在用于为不需要附加显示能力(例如，附加屏幕、投影仪)的移动计算机系统提供增强的用户与对象交互的当前解决方案，其中增强用户与对象交互的机制不影响移动计算系统的移动特性。
附图简述
以下描述包括对附图的讨论，这些附图具有通过本发明的实施例的实现的示例的方式给出的例示。这些附图应被理解成作为示例，而不是作为限制。如此处所使用的，对一个或多个“实施例”的引用应被理解成描述本发明的至少一个实现中所包括的特定特征、结构、或特性。因此，此处出现的诸如“在一个实施例中”或“在替换实施例中”之类的短语描述本发明的各种实施例和实现，并且不一定全部指代同一实施例。然而，它们也不一定是相互排他的。
图1是本发明一实施例的框图。
图2是本发明一实施例的框图。
图3是本发明一实施例的流程图。
图4是利用本发明一实施例的应用的示图。
图5是利用本发明一实施例的应用的示图。
图6是利用本发明一实施例的应用的示图。
以下是对某些细节和实现的描述，包括对可描绘部分或全部下述实施例的附图的描述，以及对此处呈现的发明概念的其它潜在实施例或实现的讨论。以下提供了对本发明各实施例的概览，随后是参考附图的更详细的描述。
详细描述
本发明的实施例描述利用至少一个相机和显示屏来创建对象与上下文知晓系统的系统。更具体地，本发明的实施例利用相机和传感器来感测系统的环境并且使用识别逻辑或模块来检测和识别系统上以及系统周围的对象。所述识别逻辑或模块可进一步基于感测数据和它可能具有的关于系统用户的任何历史上下文或信息来推断用户的状态以及它们的直接环境。应用可进一步作用于感测数据并使用系统的显示屏提供视觉反馈和交互元素(诸如按钮、拨号盘、滑块)作为与系统用户交互的手段。
因此，本发明的实施例提供对象知晓移动桌面(table-top)系统。本发明的实施例可利用普遍存在的基于稳定表面的平台(例如，平板计算机或可转换平板)来获得移动的(与固定相反)功能。本发明的实施例可利用操作地耦合至平板计算机的相机/传感器以避免环境仪器(与安装在天花板的相机和投影仪相反)。这些相机/传感器的集成提供了自给自足的高度便携的但是身临其境且廉价的功能。本发明的实施例利用位于移动计算机(例如，平板计算机)的显示表面上的相机，因而实现对离开屏幕的对象的检测(利用位于显示表面下的相机或传感器不可能实现该检测)。所述相机可与移动设备集成，或使用可将相机定位成观看移动设备的显示表面的任何手段将相机紧固至移动设备。
与对象知晓有关的处理可经由逻辑或模块来执行。软件模块可仅在系统上运行或者替换地在联网的系统和后端服务器的组合上运行。所述逻辑/模块的功能是从传感器数据解析对象、用户和环境状态，并决定如何与用户交互(使用系统自身的显示器/激励器)。以上处理功能将包括：基本帧捕捉、修正和光照校正；图像分割和特征提取；感知代码以识别对象位置/状态和用户手/位置；用户作的手势；以及从对象和文档提取文本的光学字符识别(OCR)、手写和条形码识别。
图1是本发明一实施例的框图。系统100包括平板计算机110。平板计算机110用作包括显示表面120的移动计算机系统的示例，其中显示表面120可相对于支撑表面(例如桌面)平坦放置。应当理解，平板计算机110是利用本发明实施例的设备的一个示例，并且还应当理解，本发明的实施例不一定需要平板计算机的一些功能(例如，触摸屏显示器)。
系统100还可包括位于显示表面120上的相机130。在该实施例中，相机130经由臂140操作地耦合到平板计算机110，臂140可旋转地从平板计算机110延伸。
在一个实施例中，相机130被放置成捕捉目标区域150内的视觉数据。如图1所示，目标区域150包括显示表面120和该显示表面外的区域155。
平板计算机110还可执行生成要显示的图形图像160的应用。所述应用也可通过本领域已知的任何感知算法经由相机130标识目标区域内的对象170。所述对象可出现在目标区域150内(即，在显示表面120和区域155上)的任何地方。所述应用可处理对象170与由一应用所产生的图形图像160的交互。
在该示例中，对象170出现在显示表面120以外，但是在目标区域150的子区域155内。在平板计算机110上执行的应用可定向图形图像(箭头)160以标识对象170在目标区域150内的位置。在该实施例中，基于对象170和屏幕120的中心之间的角度生成图形图像160。
因此，本发明的实施例可利用计算设备的屏幕来传送对对象和用户状态的感知、向正在进行动作的用户提供反馈、以及向用户提供操纵物理对象或与屏幕上数字元素交互的选择。
图2是利用两个相机的本发明实施例的框图。系统200包括平板计算机210，平板计算机210包括显示表面220。系统200还包括相对于显示表面220直立放置的相机230和240。利用移动和超移动设备，屏幕可操纵区域(real estate)通常使其不可能容纳用户的手或手指而不阻碍屏幕上的数字内容。多个相机的使用提供大的交互空间，尽管平板计算机210所提供的屏幕区域有限。使系统200包括相机230和240的物理设计使得它能够对用户与平板周围表面上(即，目标区域235和245的组合)的对象的交互进行观看和响应。因此，系统200的输入空间(即，系统所看到的)比它的输出空间(限于屏幕220的边界)要显著地大。
为避免相机230和240意外识别在平板屏幕220上显示的虚拟元素，可将线性偏振滤光器应用于屏幕220和相机(大多数LCD屏幕是线性偏振的；然而在许多平板中，触敏元件使光漫射)。在一个实施例中，相机230和240的偏振滤光器可旋转以避免预计算滤光器旋转的需要(旋转滤光器至正确对齐仅需执行一次)，其中滤光器旋转是阻挡屏幕220的视图所需要的。
在使用之前，可校准系统200以便从相机230和240生成不同的相机视图并且传递正确的对象位置。在一个实施例中，系统校准由三个操作组成，每个操作需要执行一次。在第一操作中，由用户手动选择屏幕220的四个隅角，对每个相机执行一次。通过使用所选隅角，对每个相机计算单应性(homography)，该单应性稍后用于从相机视图到屏幕220的平面的转换。或者，可由系统自动删除屏幕隅角处的可视标记。单应性可被存储归档并且每当系统200启动时自动装载。
在第一校准操作之后，置于屏幕220上的对象可从相机230和240两者接收相同的坐标；然而，置于工作台表面260上(即，在任一目标区域235和245内)的对象将从这两个相机接收不同的坐标，因为平板屏幕的平面从表面260的平面升高。因此，在第二校准操作中，单个物理校准标记被放置在表面260上相机230和240之间的重叠区域265内(在该点处，系统200将观察到工作台上的两个标记)。因为系统200被告知在表面260上仅有一个标记，所以它计算应当应用于它所看到的两个对象以使它们的中心对准的校正偏移。该偏移被存储且随后应用于在平板210的前框(bezel)之外的对象的坐标。在第二校准操作之后，相机的重叠区(即，区域265)中的单个对象将具有重叠的坐标并且将仅被视觉系统正确地报告一次。
在第三操作中，建立视觉系统坐标和应用空间坐标之间的映射。来自先前操作的校准标记被放置在用户应用空间的四个隅角处。通过使用由视觉系统所返回的每个隅角处的标记的坐标，坐标转换被计算、存储并且稍后被系统的应用使用。
图3是本发明一实施例的流程图。此处示出的流程图提供各种过程动作的序列的示例。尽管以特定顺序或次序示出，但是这些动作的次序可被更改，除非另行指出。因此，所示实现应被理解成仅作为示例，并且所示过程可按不同次序来执行，且一些动作可被并行执行。另外，在本发明的多种实施例中可省略一个或多个动作；因而，并不是每个实现都需要全部动作。其它过程流程是可能的。
在300处，从至少一个相机设备检索帧。在一个实施例中，至少两个相机被用于提供较大的目标输入区域。在310处，对检索的帧执行背景扣除。在一个实施例中，高斯混合模型法被用于背景扣除，其对于每个相机具有专用模型。在320处，当应用背景扣除时，产生与原始相机帧相关联的背景/前景掩模。
在330处，通过使用系统设置时所标识的校准点，产生要被用于对象检测的一组仿真视图。在一个实施例中，产生三个仿真视图。第一个包括屏幕和前框视图，该视图包括平板屏幕和前框的修正视图并且有利于对放置在平板上的对象执行更精确的检测。第二个视图包括工作台视图，该工作台视图包括平板屏幕和周围表面的修正视图并且被计算使得平板屏幕占据修正视图的顶部象限之一(取决于使用左边还是右边的相机)。第三个视图包括屏幕视图，仅包括平板屏幕的修正视图。如果使用了背景扣除，则视图模块将扭曲与原始相机帧一起接收的背景/前景掩模使得它与仿真视图相匹配。
在一个实施例中，以上视图(原始、屏幕和前框、以及工作台)中的每一个的分辨率都是独立的并且可主要根据需要检测的对象的细节来改变。
在一个实施例中，系统包括与以上产生的视图之一相对应且负责基于视觉的对象识别的机器学习分类器的列表。在340处，将这些视图中的每一个传递到它们各自的分类器。可在具有或不具有背景扣除的情况下传递这些视图。在350处，每个分类器随后返回检测到的对象(如果有的话)的列表。
应当理解，因为不同视图可具有与平板屏幕有关的不同分辨率和坐标系统，所以在360处，在将对象传递到相机模块之前必须将每个对象的坐标转换成统一坐标系统。在一个实施例中，每个检测到的对象的坐标遵循平板的坐标系统，使得被放置在平板屏幕的左上方的对象将具有例如(0，0)的坐标，且被放置在平板屏幕的右下角的对象将具有例如(1280，800)的坐标。在该示例中，在该操作的结尾，在平板左边的对象将具有负的水平坐标，在平板前面的对象将具有大于800的垂直坐标，并且在平板右边的对象将具有大于1280的水平坐标。会聚在该单个坐标系统上允许做出关于对象是在屏幕上还是在屏幕外的直接判断，并且可适当地选择一个或多个可视化。在370处，随后可利用对象各自的关联坐标来更新对象的列表。
系统可处理在具有潜在冗余的不同视图上分类的不止一组对象；然而，每个对象必须至多一次地被报告给输出系统。因此，在380处，分析来自不同视图的列表并且移除在多个列表中出现的对象的复制品。复制品被确定为具有相同模板名称且边界框重叠多于例如75％的对象。在一个实施例中，当找到复制品时，相对于在工作台视图上分类的那些对象，系统优先选择在较高分辨率屏幕和前框视图上分类的对象。在385处，随后传递对象的单个列表用于感知处理。
与以上操作类似，在390处，合并从两个相机返回的对象。应当理解，与合并来自同一相机的不同视图的对象不同，由两个相机所检测的单个对象可能不具有视图之间的完美重叠。实际上，对于任何3D对象，可能不会这样。在本发明的一个实施例中，由两个相机所看到的对象的重叠区被用作对象的可能基底。对于重叠的对象，仅仅交叉区域可被报告给输出子系统以使对象的触摸点与表面接近且在适当位置提供反馈。
在395处，系统相机的视图内的对象被标识且传递到应用用于后续处理。因此，系统的输入空间(相机可以看到的)比它的输出空间(平板屏幕的范围)大许多。
利用上述增大的输入空间的应用可传送屏幕外的对象的存在，并且可将操纵器应用于用于传送对象离平板的距离的任何表示。
在一个实施例中，从平板屏幕的中心朝桌上对象的方向拉出箭头。箭头的厚度可用于指示和更新对象离平板的距离。例如，箭头厚度可随着对象距离的增大而减小。α(阿尔法)混合值也可用于指示对象离平板的距离。该可视化技术基于对象离屏幕的距离改变表示的α值。当对象触摸屏幕时，α值是100％。作为默认，视觉系统边缘处的对象的α值是20％。
在另一实施例中，可在屏幕上显示表示对象的图标。可计算图标的位置使得图标被放置在屏幕的边缘处、在连接对象的中心和屏幕的中心的虚线上。图标可被α-混合并被调整大小以指示对象离屏幕的距离。
在另一实施例中且类似于上述图标，可在屏幕的边缘处拉出指向对象的方向的箭头。例如，较薄较长的箭头可指示离平板屏幕较远的对象。箭头的其它部分可指示对象距离(例如，箭头的柄越长则对象越远)。
在另一实施例中，标注(与卡通泡泡类似)可指示目标区域内的对象，其包括指向屏幕外对象的尾部。标注还可包括标签和图标。标注可被进一步调整大小并被α-混合以指示对象离屏幕的距离。
图4是利用本发明一实施例的应用的示图。图4的应用示范了检测平板计算机400之上及其周围的对象以及利用平板屏幕410的能力。在该应用中，可使用物理令牌401-409在网格420上玩井字游戏。系统经由放置在屏幕上方的相机识别令牌在屏幕410上的401-409位置，以确定游戏板的状态并经由图像411-418从下方突出显示令牌(令牌409尚未放置在屏幕410上，因而在屏幕410上不具有相应的图像)。在一个实施例中，可利用上述的屏幕410外围的图标来标识和突出显示位于屏幕外的令牌。
在该实施例中，应用(即，井字游戏)从用户处接收命令来监视目标区域。例如，在网格420上放置游戏块之后，用户可点击屏幕410上显示的NEXT(下一步)按钮425来指示他们已经完成其轮次。此时，应用可观察目标区域来检查游戏板的状态以确保屏幕410上的对象遵循游戏(可能的违规，诸如移动已放置的块、移除对手的块、一个轮次放置两个或更多个块、一个轮回未能出牌、覆盖对手的块等)。可通过声音和屏幕410上显示的符号向用户通知违规(例如，蜂鸣声以及标记网格420上的非法移动的红色虚线)。
图5是利用本发明一实施例的应用的示图。图5的应用示出检测离开平板计算机500的屏幕510的对象作为用于应用的输入的能力。在该示例中，应用显示足球球门525和守门员530。用户可朝向虚拟屏幕上球门525物理地滚动(或踢)小的足球形对象540。当对象540击中平板500的底盘时，虚拟球545出现并沿着与入射的物理对象相同的轨迹飞向球门525。守门员530试图阻挡射门，遮护射手进攻的一侧。
该示例应用利用从地面升高的平板500，使得物理对象540可碰撞平板并随后或多或少地回到用户。物理世界中的速度和加速度可直接用于物理等式以将物理运动转换成虚拟球545在屏幕510上的虚拟运动。在一个实施例中，射门并不仅仅在两维中行进，而是在屏幕510上方的三维中行进，藉此具有一定大小的对象540相对于平板500上方的相机传达它离地面的高度。因此，有可能射门越过球门以及射到球门的左边或右边。
图5示出的本发明的实施例突出显示了本发明实施例的检测离开平板计算机500的对象、跟踪它们的速度和轨迹、以及在屏幕510上对它们做出反应的能力。
图6是利用本发明一实施例的应用的示图。图6的应用允许用户与物理对象(在该示例中是玩具斑马650)一起玩，并且使该应用对玩具在平板600上或在其周围的状态做出反应。
在该实施例中，通过将玩具的“头部”放置在所显示的对象上，玩具斑马650可食用屏幕610上显示的食物615，或者从屏幕610上显示的虚拟水池620中饮水(计时器可周期性地补充水池)。通过将玩具整个地放在屏幕610上沙地区域625内，该沙地区域为玩具斑马650提供场所以使用浴室。
该应用还可利用斑马玩具650的物理取向。具体地，斑马玩具650可以睡觉，因为该应用将在站立的斑马与躺下的斑马之间做出区分。例如，使斑马玩具650在平板500前面于其一侧躺下触发“梦”，其中野生斑马的自然视频在斑马头部上方平板屏幕610上的卡通泡泡内播放。如果斑马玩具650在梦中站立起来，则梦立即停止。目标区域内的姿势跟踪也可被跟踪以使得诸如抚摸之类的动作能够被识别和回报。该应用突出显示了本发明实施例的检测目标区域内的对象以及处理与平板计算机600之外或之上的屏幕610上的对象的交互的能力。
此处所述的以上被称为过程、服务器或工具的各种组件可以是执行所述功能的装置。此处所述的每个组件包括软件和硬件，或者软件和硬件的组合。这些组件可被实现为软件模块、硬件模块、专用硬件(例如，专用集成电路(ASIC)、数字信号处理器(DSP)等)、内置式控制器、硬接线电路等。软件内容(例如，数据、指令和配置)可经由制品来提供，制品包括提供表示可被执行的指令的内容的计算机存储可读介质。内容可导致计算机执行此处所述的各种功能/操作。计算机可读存储介质包括提供可由计算机(例如，计算设备、电子系统等)访问的信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备等)。内容可以是可直接执行的(“对象”或“可执行”形式)、源代码、或差异代码(“Δ”或“补丁”代码)。计算机可读存储介质还可包括可从其下载内容的存储器或数据库形式。计算机可读介质还可包括在销售或传输时其上存储有内容的设备或产品。因此，传输具有存储内容的设备或提供内容用于通过通信介质下载可被理解成提供具有此处所述的此类内容的制品。

Claims (22)

1.一种装置，包括：
显示表面；
相机，被放置成捕捉目标区域内的视觉数据，所述目标区域包括所述显示表面的至少一部分以及所述显示表面外部的区域；
处理器；以及
软件，所述软件经由所述处理器执行用以：
生成要在所述显示表面上显示的图形图像，
标识所述目标区域内的与所述显示表面分离的对象，以及
处理所述对象与所述图形图像的交互。
2.如权利要求1所述的装置，其特征在于，还包括第二相机，所述第二相机被放置成捕捉第二目标区域内的视觉数据，所述第二目标区域包括所述显示表面的至少一部分以及所述显示表面外部的第二区域。
3.如权利要求2所述的装置，其特征在于，所述显示表面和所述处理器被包括在平板计算机中，并且进一步其中各个相机经由相对于所述显示表面直立延伸的紧固件耦合到所述平板计算机。
4.如权利要求1所述的装置，其特征在于，所述软件还连续地监视所述目标区域以标识所述目标区域内的对象。
5.如权利要求1所述的装置，其特征在于，所述软件还接收监视所述目标区域的命令。
6.如权利要求1所述的装置，其特征在于，所述对象与所述图形图像的交互包括所述对象相对于所述图形图像的运动。
7.如权利要求1所述的装置，其特征在于，所述对象与所述图形图像的交互包括所述对象在所述目标区域内的相对于所述图形图像的位置。
8.如权利要求1所述的装置，其特征在于，所述软件还响应于标识在所述目标区域内且在所述显示表面外的对象而生成表示所述对象且要在所述显示表面上显示的第二图形图像。
9.如权利要求8所述的装置，其特征在于，所述软件至少部分地基于所述对象和所述显示表面之间的距离、角度和取向中的至少一个生成所述第二图形图像。
10.一种制品，包括提供指令的机器可读存储介质，所述指令如果被所述机器执行则将使所述机器执行操作，所述操作包括：
经由相机捕捉目标区域内的视觉数据，所述目标区域包括所述显示表面的至少一部分以及所述显示表面外部的区域；
生成图形图像；
在所述显示表面上显示所述图形图像；
标识所述目标区域内的与所述显示表面分离的对象；以及
处理所述对象与所述图形图像的交互。
11.如权利要求10所述的制品，其特征在于，所述操作还包括经由第二相机捕捉第二目标区域内的视觉数据，所述第二目标区域包括所述显示表面的至少一部分以及所述显示表面外部的第二区域。
12.如权利要求10所述的制品，其特征在于，所述显示表面被包括在平板计算机中，并且进一步其中各个相机经由相对于所述显示表面直立延伸的紧固件耦合到所述平板计算机。
13.如权利要求10所述的制品，其特征在于，所述操作还包括连续地监视所述目标区域以标识所述目标区域内的对象。
14.如权利要求13所述的制品，其特征在于，所述操作还包括接收监视所述目标区域的命令。
15.如权利要求10所述的制品，其特征在于，所述对象与所述图形图像的交互包括所述对象相对于所述图形图像的运动。
16.如权利要求10所述的制品，其特征在于，所述对象与所述图形图像的交互包括所述对象在所述目标区域内的相对于所述图形图像的位置。
17.如权利要求10所述的制品，其特征在于，所述操作还包括：
标识在所述目标区域内且在所述显示表面外的对象；以及
响应于标识在所述目标区域内且在所述显示表面外的对象
生成表示所述对象的第二图形图像，以及
在所述显示表面上显示所述第二图形图像。
18.如权利要求17所述的制品，其特征在于，生成所述第二图形图像至少部分地基于所述对象和所述显示表面之间的距离、角度和取向中的至少一个。
19.一种方法，包括：
经由相机捕捉目标区域内的视觉数据，所述目标区域包括所述显示表面的至少一部分以及所述显示表面外部的区域；
生成图形图像；
在所述显示表面上显示所述图形图像；
标识所述目标区域内的与所述监视器分离的对象；以及
处理所述对象与所述图形图像的交互。
20.如权利要求19所述的方法，其特征在于，还包括经由第二相机捕捉第二目标区域内的视觉数据，所述第二目标区域包括所述显示表面的至少一部分以及所述显示表面外部的第二区域。
21.如权利要求20所述的方法，其特征在于，所述显示表面被包括在平板计算机中，并且进一步其中各个相机经由相对于所述显示表面直立延伸的紧固件耦合到所述平板计算机。
22.如权利要求19所述的方法，其特征在于，还包括：
标识在所述目标区域内且在所述显示表面外的对象；以及
响应于标识在所述目标区域内且在所述显示表面外的对象
生成表示所述对象的第二图形图像，以及
在所述显示表面上显示所述第二图形图像，
其中，生成所述第二图形图像至少部分地基于所述对象和所述显示表面之间的距离、角度和取向中的至少一个。
CN201180002819.6A 2010-06-28 2011-06-16 用于便携式有形交互的系统 Expired - Fee Related CN102549527B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/824,448 US9262015B2 (en) 2010-06-28 2010-06-28 System for portable tangible interaction
US12/824,448 2010-06-28
PCT/US2011/040649 WO2012009094A2 (en) 2010-06-28 2011-06-16 A system for portable tangible interaction

Publications (2)

Publication Number Publication Date
CN102549527A true CN102549527A (zh) 2012-07-04
CN102549527B CN102549527B (zh) 2015-05-20

Family

ID=45352044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180002819.6A Expired - Fee Related CN102549527B (zh) 2010-06-28 2011-06-16 用于便携式有形交互的系统

Country Status (8)

Country Link
US (1) US9262015B2 (zh)
JP (1) JP5548311B2 (zh)
KR (1) KR101481880B1 (zh)
CN (1) CN102549527B (zh)
DE (1) DE112011102169T5 (zh)
GB (1) GB2495026B (zh)
TW (1) TWI550437B (zh)
WO (1) WO2012009094A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941990A (zh) * 2013-01-21 2014-07-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN106575354A (zh) * 2014-05-21 2017-04-19 汤杰宝游戏公司 有形界面对象的虚拟化

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194457A1 (en) * 2011-01-28 2012-08-02 Bruce Cannon Identifiable Object and a System for Identifying an Object by an Electronic Device
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US8512151B1 (en) * 2012-03-13 2013-08-20 Disney Enterprises, Inc. Integration of board games and touch screen devices
US8658473B2 (en) 2012-03-27 2014-02-25 General Electric Company Ultrathin buried die module and method of manufacturing thereof
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
JP5665140B2 (ja) * 2012-08-17 2015-02-04 Ｎｅｃソリューションイノベータ株式会社 入力装置、入力方法、及びプログラム
ITTO20120864A1 (it) * 2012-10-04 2014-04-05 St Microelectronics Srl Procedimento e sistema per riconoscimento di forme del tatto, apparecchiatura a schermo e prodotto informatico relativi
JP6286836B2 (ja) * 2013-03-04 2018-03-07 株式会社リコー 投影システム、投影装置、投影方法、及び投影プログラム
US20140267142A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Extending interactive inputs via sensor fusion
JP5968840B2 (ja) * 2013-07-31 2016-08-10 株式会社ベネッセコーポレーション 入力デバイスセット及び複合入力デバイスセット
JP6452103B2 (ja) * 2014-02-14 2019-01-16 キヤノン株式会社 画像表示装置及びその制御方法
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10664100B2 (en) * 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Misalignment detection
WO2016172506A1 (en) 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
JP6886236B2 (ja) * 2015-09-30 2021-06-16 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
US9904357B2 (en) * 2015-12-11 2018-02-27 Disney Enterprises, Inc. Launching virtual objects using a rail device
FR3061596B1 (fr) * 2016-12-30 2020-03-06 Societe Anonyme Des Eaux Minerales D'evian Et En Abrege "S.A.E.M.E" Procede de presentation d'une bouteille
WO2018080405A1 (en) * 2016-10-31 2018-05-03 Suwonpakprak Sasis Interactive display system and device
WO2019094003A1 (en) * 2017-11-08 2019-05-16 Hewlett-Packard Development Company, L.P. Determining locations of electro-optical pens
US11194464B1 (en) * 2017-11-30 2021-12-07 Amazon Technologies, Inc. Display control using objects
US10976906B2 (en) 2017-12-21 2021-04-13 Tangible Play, Inc. Detection and visualization of a formation of a tangible interface object
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
US20210006730A1 (en) * 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
USD937868S1 (en) 2020-05-21 2021-12-07 Tangible Play, Inc. Display screen or portion thereof with a transitional graphical user interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078996A2 (en) * 2005-01-21 2006-07-27 Gesturetek, Inc. Motion-based tracking
CN101305401A (zh) * 2005-11-14 2008-11-12 微软公司 用于游戏的立体视频
CN101303634A (zh) * 2007-05-09 2008-11-12 鸿富锦精密工业（深圳）有限公司 便携式电子设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5649706A (en) * 1994-09-21 1997-07-22 Treat, Jr.; Erwin C. Simulator and practice method
GB9521072D0 (en) * 1995-10-14 1995-12-20 Rank Xerox Ltd Calibration of an interactive desktop system
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6917301B2 (en) * 1999-05-04 2005-07-12 Intellimats, Llc Floor display system with variable image orientation
JP2002052246A (ja) * 2000-08-11 2002-02-19 Konami Co Ltd ゲーム機
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
TW543323B (en) 2000-10-03 2003-07-21 Jestertek Inc Multiple camera control system
JP2004523031A (ja) * 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3920067B2 (ja) * 2001-10-09 2007-05-30 株式会社イーアイティー 座標入力装置
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US20060063574A1 (en) 2003-07-30 2006-03-23 Richardson Todd E Sports simulation system
US9046962B2 (en) * 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP2008131174A (ja) 2006-11-17 2008-06-05 Fuji Xerox Co Ltd 画像処理システム及び画像処理プログラム
US8199117B2 (en) * 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8103109B2 (en) * 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US8581852B2 (en) * 2007-11-15 2013-11-12 Microsoft Corporation Fingertip detection for camera based multi-touch systems
US8368646B2 (en) * 2007-12-07 2013-02-05 Robert Welland User interface devices
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5214267B2 (ja) 2008-02-07 2013-06-19 株式会社 空間コム 映像演出システム及び映像演出方法
WO2009141913A1 (ja) * 2008-05-23 2009-11-26 ログイン株式会社 ゲーム装置
CN101872268A (zh) * 2009-04-21 2010-10-27 鸿富锦精密工业（深圳）有限公司 触控装置
CN101872270B (zh) * 2009-04-25 2013-09-18 鸿富锦精密工业（深圳）有限公司 触控装置
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
TWM380817U (en) * 2009-12-25 2010-05-21 Univ Southern Taiwan Tech Virtual fish-scooping game device
TW201138532A (en) * 2010-04-22 2011-11-01 Foxsemicon Integrated Tech Inc Electronic device
US8382295B1 (en) * 2010-06-30 2013-02-26 Amazon Technologies, Inc. Optical assembly for electronic devices
US9262068B2 (en) * 2012-05-31 2016-02-16 Opportunity Partners Inc. Interactive surface
US9044863B2 (en) * 2013-02-06 2015-06-02 Steelcase Inc. Polarized enhanced confidentiality in mobile camera applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078996A2 (en) * 2005-01-21 2006-07-27 Gesturetek, Inc. Motion-based tracking
CN101305401A (zh) * 2005-11-14 2008-11-12 微软公司 用于游戏的立体视频
CN101303634A (zh) * 2007-05-09 2008-11-12 鸿富锦精密工业（深圳）有限公司 便携式电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941990A (zh) * 2013-01-21 2014-07-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN103941990B (zh) * 2013-01-21 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN106575354A (zh) * 2014-05-21 2017-04-19 汤杰宝游戏公司 有形界面对象的虚拟化
US10515274B2 (en) 2014-05-21 2019-12-24 Tangible Play, Inc. Virtualization of tangible interface objects
US10977496B2 (en) 2014-05-21 2021-04-13 Tangible Play, Inc. Virtualization of tangible interface objects

Also Published As

Publication number Publication date
TW201214199A (en) 2012-04-01
TWI550437B (zh) 2016-09-21
US20110316767A1 (en) 2011-12-29
JP5548311B2 (ja) 2014-07-16
DE112011102169T5 (de) 2013-04-11
GB2495026B (en) 2017-12-13
CN102549527B (zh) 2015-05-20
WO2012009094A3 (en) 2012-04-12
KR20130042499A (ko) 2013-04-26
GB2495026A (en) 2013-03-27
US9262015B2 (en) 2016-02-16
GB201222634D0 (en) 2013-01-30
WO2012009094A2 (en) 2012-01-19
KR101481880B1 (ko) 2015-01-12
JP2013532337A (ja) 2013-08-15

Similar Documents

Publication Publication Date Title
CN102549527B (zh) 用于便携式有形交互的系统
Orchard et al. Converting static image datasets to spiking neuromorphic datasets using saccades
CN105308538B (zh) 基于所检测到的示意动作执行装置动作的系统和方法
US20130077820A1 (en) Machine learning gesture detection
CN102089738B (zh) 用于用户界面控制的相机姿态
US8549418B2 (en) Projected display to enhance computer device use
US7295220B2 (en) Interactive system and method
Avrahami et al. Portico: tangible interaction on and around a tablet
US8477099B2 (en) Portable data processing appartatus
CN103809737A (zh) 一种人机交互方法及装置
US20130044912A1 (en) Use of association of an object detected in an image to obtain information to display to a user
JP2017529635A5 (zh)
CN104461318A (zh) 基于增强现实技术的点读方法及系统
WO2005116805A1 (en) An interactive system and method
Chen et al. Using real-time acceleration data for exercise movement training with a decision tree approach
US10401947B2 (en) Method for simulating and controlling virtual sphere in a mobile device
CN107079139A (zh) 没有物理触发的增强现实
JPWO2018069985A1 (ja) 採点支援プログラム、採点支援装置および採点支援方法
CN106536004B (zh) 增强的游戏平台
US8371897B1 (en) Vision technology for interactive toys
Su et al. Virtual keyboard: A human-computer interaction device based on laser and image processing
US11169603B2 (en) Electronic apparatus and method for recognizing view angle of displayed screen thereof
Goussies et al. Learning to detect touches on cluttered tables
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
Candela et al. HumanTop: A multi-object tracking tabletop

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150520

Termination date: 20180616

CF01 Termination of patent right due to non-payment of annual fee