CN101147188A - 基于运动的跟踪 - Google Patents

基于运动的跟踪 Download PDF

Info

Publication number
CN101147188A
CN101147188A CNA2006800090302A CN200680009030A CN101147188A CN 101147188 A CN101147188 A CN 101147188A CN A2006800090302 A CNA2006800090302 A CN A2006800090302A CN 200680009030 A CN200680009030 A CN 200680009030A CN 101147188 A CN101147188 A CN 101147188A
Authority
CN
China
Prior art keywords
image
motion
captures
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800090302A
Other languages
English (en)
Other versions
CN101147188B (zh
Inventor
埃文·希尔德雷思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
GESTURETEK Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GESTURETEK Inc filed Critical GESTURETEK Inc
Publication of CN101147188A publication Critical patent/CN101147188A/zh
Application granted granted Critical
Publication of CN101147188B publication Critical patent/CN101147188B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Vehicle Body Suspensions (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

在一个实施例中，访问首先捕捉到的图像(见图1)。首先捕捉到的图像包括(1)在第一时间点产生的第一显示，以及(2)与第一显示互动的、并且不是第一显示的一部分的用户。访问其次捕捉到的图像。其次捕捉到的图像包括(1)在第二时间点产生的第二显示，以及(2)与第二显示互动的、并且不是第二显示的一部分的用户。对首先捕捉到的图像和其次捕捉到的图像执行比较。根据对首先捕捉到的图像和其次捕捉到的图像执行比较的结果，确定用户的运动。将用户的已经确定的运动与首先和其次捕捉到的图像中的一个或多个中的部分图像联系起来。

Description

基于运动的跟踪
技术领域
本公开部分地涉及图像处理，特别是涉及检测图像中的运动。
背景技术
各种各样的系统投影或显示用户期望至少与之间接互动的信息。例如，计算机经常在监视器上显示文档，和用户期望使用鼠标在显示的文档内定位光标与所显示的文档间接互动。这样的计算机还可以使用投影仪将文档投影到投影屏幕上，而不是在监视器上显示所述文档。作为另一个例子，触摸屏计算机允许用户通过在由图像本身指示的位置处触摸监视器，例如，触摸显示的图像中的特定要素以便选择该要素，更直接地与显示的图像执行互动。
发明内容
所披露一个的实施例通过检测用户的运动，和基于该用户的运动生成输入，允许用户直接与所显示的或投影的图像互动。例如，可以使用视频游戏生成和显示图像，并且，在用户想选择某个图标的情况下，用户可以指向该图像中的图标。所披露的系统检测用户的运动，将检测到的运动与图标的选择相关联，和将表示用户已经选择的图标的输入提供给所述应用程序。该系统使用相机检测用户的运动。
根据一个总体方面，访问首先捕捉到的图像。首先捕捉到的图像包括(1)在第一时间点产生的第一显示，以及(2)与第一显示互动的、并且不是第一显示的一部分的用户。访问其次捕捉到的图像，其次捕捉到的图像包括(1)在第二时间点产生的第二显示，以及(2)与第二显示互动的、并且不是第二显示的一部分的用户。比较首先捕捉到的图像和其次捕捉到的图像。根据对首先捕捉到的图像和其次捕捉到的图像的比较结果，确定用户的运动。将用户的已经确定的运动与首先和其次捕捉到的图像中的一个或多个中的部分图像相互联系。
上述总体方面的实施例可以包括以下特性中的一个或多个。例如，可以将确定的用户运动以及部分图像的表示提供给计算装置。附加或可选的，基于所确定的运动以及部分图像，可以确定用于一组指令的输入。
比较首先和其次捕捉到的图像可以包括对首先捕捉到的图像和其次捕捉到的图像执行绝对差操作或光流操作。比较首先和其次捕捉到的图像可以包括产生所述结果，和，所述结果可以是表示用户的运动和与第一和第二显示中一个或多个对象相关的运动的图像。可以对该结果执行几何变换操作。
基于比较首先捕捉到的图像和其次捕捉到的图像的结果确定用户的运动可以包括在该结果中使所述用户的运动和与第一和第二显示中的一个或多个对象相关的运动相互隔离。
可以访问表示与第一和第二显示中的一个或多个对象相关的运动的图像。在所述结果中，使用户的运动与和第一和第二显示中的一个或多个对象相关的运动相互隔离可以包括将所述结果与表示与第一和第二显示中的一个或多个对象相关的运动的图像进行比较。
访问表示与第一和第二显示中的一个或多个对象相关的运动的图像可以包括：访问与第一显示对应的第一显示图像；访问与第二显示对应的第二显示图像；和，生成表示与所述第一和第二显示中的一个或多个对象相关的运动的图像。通过对所述第一显示图像和所述第二显示图像执行绝对差操作，可以生成表示与第一和第二显示中的一个或多个对象相关的运动的图像。可选的，通过对第一显示图像和第二显示图像执行光流操作，可以生成表示与所述第一和第二显示中的一个或多个对象相关的运动的图像。
可以对表示与第一和第二显示中的一个或多个对象相关的运动的图像执行等待时间补偿运算。
按照另一个总体方面，系统包括捕捉的运动图像检测模块和比较模块。捕捉的运动图像检测模块被配置为，访问首先捕捉到的图像，其中，首先捕捉到的图像包括(1)依据由计算装置执行的指令组，在第一时间点产生的第一显示，以及(2)与第一显示互动的，并且不是第一显示的一部分的用户。捕捉的运动图像检测模块还被配置为，访问其次捕捉到的图像，其次捕捉到的图像包括(1)依据由计算装置执行的指令组，在第二时间点产生的第二显示，以及(2)与第二显示互动的、并且不是第二显示的一部分的用户。捕捉的运动图像检测模块还被配置为，通过对首先捕捉到的图像和其次捕捉到的图像执行比较，生成代表首先和其次捕捉到的图像之间的运动的图像。比较模块被配置为，根据对代表关于第一和第二显示中的一个或多个对象的运动的图像与代表第一与其次捕捉到的图像之间的运动的图像执行比较的结果，生成代表用户运动的图像。
上述总体方面的实施例可以包括以下特性的一个或多个。例如，系统可以包括显示图像运动检测模块，其被配置为访问所述第一显示图像，访问所述第二显示图像，和，通过对所述第一显示图像与所述第二显示图像进行比较生成代表与所述第一和第二显示中的一个或多个对象相关的运动的图像。
系统还可以包括相机，被配置为：(1)捕捉所述首先捕捉到的图像，并且将该首先捕捉到的图像提供给捕捉的运动图像检测模块，和，(2)捕捉所述其次捕捉到的图像，并且将该其次捕捉到的图像提供给捕捉的运动图像检测模块。另外或者可选的，系统可以包括显示图像的显示器以及计算装置，其被配置为执行一组指令，以产生第一和第二显示图像。
系统可以包括等待时间补偿模块，被配置为对代表关于第一和第二显示中的一个或多个对象的运动的图像进行等待时间补偿运算。系统还可以包括几何变换模块，被配置为对代表首先与其次捕捉到的图像之间的运动的图像执行几何变换操作。
即使这里仅用一个方式执行了以上描述，但是，可以以一个或多个方式实现各个方面、实施例和特性。例如，可以使用方法、装置、用于执行方法的装置或工具或处理设备、程序或其他指令组、包括程序或指令组的装置以及计算机可读介质中的一个或多个，实现各个方面、实施例和特性。例如，计算机可读介质可以包括指令、软件、图像和其他数据。
在附图和以下描述中，对一个或多个实施例的细节执行阐述。根据描述和附图，并且根据权利要求，将明白其他特性。
附图说明
图1A示出了第一交互系统。
图1B示出了第二交互系统。
图1C示出了第三交互系统。
图1D示出了第四交互系统。
图1E示出了第五交互系统。
图2为用于确定用户运动，并且将确定的运动用作对应用程序的输入的处理的例子的流程图。
图3为交互系统的结构的框图。
图4A示出了第一显示图像。
图4B示出了第二显示图像。
图4C示出了图4A-4B的第一和第二显示图像的合成图像。
图4D示出了与图4A-4B的第一和第二显示图像对应的第一显示图像运动图。
图4E示出了与图4A-4B的第一和第二显示图像对应的第二显示图像运动图。
图5A示出了首先捕捉到的图像。
图5B示出了其次捕捉到的图像。
图5C示出了图5A-5B的首先和其次捕捉到的图像的合成图像。
图5D示出了与图5A-5B的首先和其次捕捉到的图像对应的首先捕捉到的图像运动图。
图5E示出了与图5A-5B的捕捉图像对应的其次捕捉到的图像运动图。
图6A示出了第一用户运动图。
图6B示出了第二用户运动图。
图7为交互系统的另一个结构的框图。
具体实施方式
在一个具体实施例中，视频游戏应用程序生成多个图像，和，计算机系统该投影图像给用户。用户通过进入投影的图像前面和好像他们就是虚拟现实显示一样与投影的图像互动来玩游戏。例如，用户可以对着作为对象被包括在投影图像中的目标摇摆。在这个例子中，实施例对用户的摇摆执行检测，确定用户正在对着目标摇摆，并且将表示用户对着目标摇摆的输入提供给视频游戏应用程序。然后，视频游戏应用程序响应于接收到用户对着目标摇摆的输入，生成适当的图像以进行投影。
当用户摇摆时，该实施例还能够通过使用相机捕捉包括投影图像以及用户的一序列图像检测用户的摇摆。该实施例还访问没有用户的一系列投影图像。该实施例确定在每个序列图像中的运动，并且比较该序列图像中已经确定的运动，以便将用户的运动隔离(也称为“分段”)。该实施例使用其目标位置的知识确定用户的运动确实试图对着目标摇摆，并且将这个确定作为输入提供给视频游戏应用程序。
因为投影图像必须相对于周围光线级别足够亮以便使人或相机感觉到，所以，照明条件的变化会影响投影图像的显示质量。反之，投影图像的外观对比度(apparent contrast)可能太低，以至不能感觉到。相机可能具有比人眼低的动态范围。因此，为了使相机捕捉包括投影图像的图像，需要投影图像的亮度比为了人能够感觉到而必须的亮度亮。例如，为了使相机捕捉包括投影图像的图像，需要投影图像比周围光线的级别(例如，阳光或顶光)亮，其中，周围光线的级别会(例如，随着太阳在一天之内下落)改变。将图像投影得与周围光线的级别一样亮，或者比周围光线的级别亮可能是不切实际的，并且/或者是昂贵的。
但是，局部照明条件的变化明显不影响或降低实施例检测用户运动的能力。这至少部分是由于这样的事实，即实施例是通过将用户运动与投影图像中的运动隔离来确定用户运动的。局部照明条件的变化可以使投影图像的显示质量下降，并且可以削弱相机捕捉投影图像的能力。但是，由于用户反射足够多的光线，因此，局部照明条件的变化一般不会明显影响相机捕捉用户运动的能力。因此，即使捕捉的序列图像不包括投影图像中的运动，捕捉的序列图像仍然包括用户的运动。
此外，在本实施例中，相机以一采样速率捕捉图像，使得照明条件在连续帧之间的任何变化都可以忽略。照明条件的变化一般发生在几分钟或者几小时内，而相机的采样速率可以是，例如，每秒钟三十张图像。因此，本实施例通常在连续帧中捕捉到相似的照明条件，和，这些帧之间的运动确定通常不会使照明方面的变化与运动混淆。局部照明条件的变化对本实施例检测用户运动的能力没有明显影响，或者不会使本实施例检测用户运动的能力明显降低的事实，允许本实施例当局部照明条件变化时，继续检测用户的运动。
图1A-1E示出了不同的交互系统100、120、130、140和150的例子。图1A示出了包括将图像显示在显示屏幕104上(称为“显示图像”)的显示装置(例如，投影仪102和显示屏幕104)的系统100。相机110可以按照采样速率、例如每秒钟30张图像、捕捉图像。可以由驻留在计算装置106上的应用程序生成显示图像，或者，可以由外部应用程序生成显示图像。在本讨论中，将显示图像说成“被显示”。但是，很清楚，图像也可以被投影。还应该清楚，其他实施例不必对图像执行投影。例如，可以使用液晶显示屏。
用户108与显示屏幕104上的显示图像执行互动。相机110捕捉包括用户108和显示在显示屏幕104上的显示图像。计算装置106对由相机110捕捉的图像执行处理，将用户108的运动与显示器中的运动隔离(即，分段)，并且确定用户108的运动。用户108的确定的运动被用作生成显示图像的应用程序的输入。
交互系统100的部件可以按照很多不同配置布置，导致例如图1A-1E的不同系统。参照图1A，显示屏幕104位于用户108前面，而投影仪102和相机110位于用户108后面。因此，用户108位于投影仪102与显示屏幕104之间。因此，用户108会遮挡或部分遮挡由投影仪102在显示屏幕104上投影的显示图像。
参照图1B，系统120具有位于用户108之上的投影仪102、位于用户108前面的显示屏幕104以及位于用户108后面的相机110。这样的配置可以减少或消除显示图像中被用户104遮挡的部分。
参照图1C，系统130具有位于用户108之上的投影仪102和相机110，而显示屏幕104位于用户108下面。如图1C所示，例如，显示屏幕可以是地面。
参照图1D，系统140具有位于用户108之上的投影仪102和相机110，以及位于桌面112上的显示屏幕104。用户108仍然会遮挡显示图像的有限的、一般减少到最小的部分。
参照图1E，系统150具有位于桌子114里面的投影仪102。投影仪102对显示图像执行投影，使得显示图像被反射装置116(例如，反射镜)反射，并且显示在显示屏幕104上。显示屏幕104位于桌子114的桌面上，并且，相机110位于用户108之上。用户108不遮挡显示图像。可以使计算装置106可选地位于桌子114里面。
可以考虑其他配置。可以有许多变化，其中，相机可以被放置在这样一个位置，以使得该相机能够捕捉至少包括显示屏幕104以及与显示在显示屏幕104上的显示图像互动的用户108的一部分的图像。
如图1A-1E所示，显示装置包括投影仪102和显示屏幕104。但是，显示装置也可以包括、例如、等离子显示器、液晶显示器(LCD)、阴极射线管(CRT)显示器或者自动立体显示器。
参照图2，处理200可以用于确定用户108的运动，并且用于将确定的用户108的运动用作对应用程序的输入。处理200可以使用包括系统100的各种系统实施。尽管可以使用其他系统，但为表述清楚起见，结合系统100描述处理200。在对处理200的实施例执行描述的过程中使用系统100，意图不是对处理200执行限制。
处理200包括访问首先捕捉到的图像(202)和访问其次捕捉到的图像(204)。可以用相机110对至少一部分显示屏幕104的图像以及至少一部分与显示屏幕104互动的用户108的图像执行捕捉。捕捉的图像可以存储在图像缓冲器中，并且可以从图像缓冲器访问捕捉的图像。
然后，对首先捕捉到的图像与其次捕捉到的图像执行比较(206)。根据对首先捕捉到的图像与其次捕捉到的图像执行比较的结果，确定用户108的运动(208)。然后，使确定的用户运动与首先和其次捕捉到的图像中的一个或多个的一部分相关(210)。以下在对图3执行描述的过程中，对处理200的实施例的操作执行更充分的描述。
参照图3，其示出了系统的结构300。虽然可以使用其他系统，但为表述清楚起见，结合系统100来描述结构300。在描述结构300的该实施例中使用系统100并不试图限制结构300。
结构300包括应用程序302，应用程序302生成显示图像304，和将显示图像304提供给计算装置106的显示图像运动检测模块306，以及提供给显示装置310。显示图像304可以包括动画对象。换句话说，显示图像304中的对象的位置可以随时间变化，由此创建动画效果(例如，运动)。例如，连续显示图像304中的对象的位置之间的差异，定义了显示图像304中的运动。如参照图4A-4E更充分说明的，显示图像运动检测模块306对显示图像304执行比较，并且产生用于识别显示图像304中的运动的显示图像运动图308。
同时，显示装置310显示(例如，投影)显示图像304。投影的显示图像311被显示在显示屏幕104(没有示出)上，和，用户108(没有示出)与显示图像304互动。在本实施例中，用户108通过运动与显示图像304互动。例如，用户108可以将手伸向或者触摸显示图像304中的对象。
相机110捕捉包括投影的显示图像311和用户108的图像311。相机110将捕捉的图像314提供给计算装置106的捕捉的运动图像检测模块316。相机110可以将捕捉图像314直接提供给捕捉的运动图像检测模块316。可选的，捕捉的图象314可以被存储在图像缓冲器中，捕捉的运动图像检测模块316可以从该图像缓冲器访问捕捉的图像314。用户108在捕捉的图像314中的位置随时间变化。例如，连续捕捉图像314中的用户108的位置之间的差异定义了用户108的运动。如参照图5A-5E更充分说明的，捕捉的运动图像检测模块316对捕捉图像314执行比较，并且产生用于识别捕捉图像314中的运动的捕捉的运动图像图318。由于事实上捕捉图像314包括用户108和显示图像304，因此在捕捉的运动图像图318中识别的运动包括用户108的运动和显示图像304中的运动。
在某些实施例中，同步模块312可以被用于使显示图像304的显示与相机110捕捉图像同步。某些显示装置310(例如，包括数字光处理(digitallight processing，DLP)的显示装置)可以顺序地显示所述显示图像304的红、绿、蓝分量。当人眼不能检测出所述显示图像304的红、绿、蓝分量的顺序显示时，相机110可以捕捉红、绿、蓝分量的可变部分。因此，在连续捕捉的图像314内的捕捉的显示图像304的红、绿、蓝分量可能不同，从而导致捕捉的运动图像检测模块316检测出捕捉图像314中的这样的运动，它不属于显示图像304中的运动，但它是由显示装置310所创建的运动。因此，同步模块312可以被用于保证相机110在每张捕捉图像314中捕捉红、绿、蓝分量的一致部分。
在某些实施例中，为了生成运动图，显示图像运动检测模块306和捕捉的运动图像检测模块316对两个图像执行比较运算，例如，绝对差操作。对于灰度图像，通过计算两个图像中的每个像素的值的差的幅值(例如，绝对值)，确定运动。或者，对于彩色图像，通过对用于两个图像中的每个像素的每个彩色通道(例如，红、绿、蓝)的值的差的幅值求和，确定运动图。通过对两个图像执行绝对差操作生成的运动图对在图像的区域内出现的运动执行识别。例如，图像的灰度序列的区域中的运动将产生很大的绝对差，很大的绝对差将在运动图中作为一个亮点出现。
在其他实施例中，为了生成运动图，例如，显示图像运动检测模块306和捕捉的运动图像检测模块316对两个图像执行光流操作。通常，光流算法对图像内的运动(例如，已经在图像内改变位置的对象)执行辨别，并且构成代表图像内被辨别的运动的速度的矢量(例如，方向/方位和幅值)。因此，光流算法不仅确定在图像内出现运动，而且确定图像内的运动的方向和幅值。因此，通过对两个图像执行光流操作生成的运动图对图像中的运动的出现、方位以及幅值执行识别。
运动检测模块306和316还可以执行滤波运算。例如，可以将滤波用于通过对两个图像执行绝对差操作而生成的运动图。在某些实施例中，运动检测模块306和316使用均值核心滤波器滤波所述运动图。均值核心滤波器根据运动图中的个别像素的周围像素的值，确定该个别像素的值。例如，如果使用3×3均值核心滤波器，则个别像素的值等于这个个别像素与其周围8个相邻像素的值的和或者平均值。用均值核心滤波器对运动图执行过滤，使运动区域的边缘光滑，还降低了运动图中的噪声(例如，额外的运动区域)。
另外，或者，运动检测模块306和316可以对运动图执行膨胀和侵蚀滤波运算。膨胀和侵蚀滤波运算也根据个别像素的周围像素的值，确定这个个别像素的值。在膨胀运算中，滤波窗口经过个别像素以及这个个别像素周围的一组像素，并且使这个个别像素的值等于过滤窗口内具有最大值的像素的值。在侵蚀运算中，滤波窗口经过个别像素以及这个个别像素周围的一组像素，并且使这个个别像素的值等于滤波窗口内具有最小值的像素的值。
运动检测模块306和316还可以对运动图执行分类运算。例如，运动检测模块306和316可以对运动图执行阈值运算。在阈值运算中，如果个别像素的值大于预定值，则给这个个别像素赋予表示“真”的值，并且，如果个别像素的值小于预定值，则给该个别像素赋予表示“假”的值。被赋予真值的像素可以代表被分类为代表运动的像素，而被赋予假值的像素可以代表被分类为不代表运动的像素。与此相反，被赋予真值的像素可以代表被分类为不代表运动的像素，而被赋予假值的像素可以代表被分类为代表运动的像素。
比较模块320通过将具体的显示图像运动图308与对应的捕捉的运动图像图318执行比较，确定用户108的运动。在显示图像运动图308和捕捉的运动图像图318中都出现的运动被归于显示器中的运动，而只出现在捕捉的运动图像图318中的运动被归于用户108的运动。因此，比较模块320通过对显示图像运动图308与捕捉的运动图像图318执行比较，并且将用户108的运动与显示器中运动隔离(即分段)，创建用户运动图322，用于识别可以单独(或主要)归于用户108的运动。
在运动检测模块306和316执行绝对差操作的实施例中，代表显示图像运动图308和捕捉的运动图像图318两者中的运动的像素属于显示器中的运动。因此，这样的像素不被分类为代表用户运动图322中的运动。相反，只代表捕捉的运动图像图318中的运动的像素被归于用户108的运动，因此，这些像素被赋予代表用户运动图322中的运动的值。
在运动检测模块306和316执行光流操作的实施例中，捕捉的运动图像图318中的、明显不同于显示图像运动图308中的运动的运动被归于用户108的运动，并且被保留在用户运动图322中。例如，(1)如果幅值方面的差异超过幅值阈值；或者，(2)如果方位(例如方向)方面的差异超过方位阈值，则认为捕捉的运动图像图318中的运动明显不同于显示图像运动图308中的运动。因此，在这样的实施例中，甚至可以在也表现出显示器中的运动的区域内检测出用户108的运动。
存在用于将用户108的运动与显示器中的运动隔离的其他机制。例如，可以从捕捉图像314中减去对应的显示图像304，从而生成用户图像。然后，可以根据连续的用户图像，生成用户运动图。
已经确定的用户108的运动(例如，如在用户运动图322中代表的)被用作对应用程序302的用户输入。例如，应用程序302可以接收用户运动图322，并且根据用户运动图322，确定用户108对着显示图像304中的目标摇摆。响应于对用户108对着目标摇摆的确定，应用程序302生成适当的显示图像304，并且将这个显示图像提供给显示图像检测模块306和显示装置310。
可以用图4A-4E、5A-5E和6A-6E中示出的图，对用于确定用户108的运动的图像处理技术执行描述。例如，这样的图像处理技术可以由图3中示出的结构300执行。因此，为表述清楚起见，尽管可以用其他结构和系统执行相同的图像处理技术，但是，在图3中示出的结构300的情况下，对图4A-4E、5A-5E和6A-6E中示出的图执行描述。对图4A-4E、5A-5E和6A-6E中的图执行讨论时参照图3中示出的结构300，意图不是对用于执行结合图4A-4E、5A-5E和6A-6E中示出的图描述的图像处理技术的结构和系统执行限制。
作为对图4A-4E的简要介绍，图4A-4B示出了序列显示图像。图4C示出了在图4A-4B中示出的序列显示图像的合成图像，而图4D-4E示出用于识别图4A-4B中示出的序列显示图像中的运动的显示图像运动图。
作为对图5A-5E的简要介绍，图5A-5B示出了序列捕捉图像。图5C示出了在图5A-5B中示出的序列捕捉图像的合成图像，而图5D-5E示出用于识别图5A-5B中示出的序列捕捉图像中的运动的捕捉的运动图像图。
作为对图6A-6B的简要介绍，图6A-6B示出了与图4D-4E的显示图像运动图和图5D-5E的捕捉的运动图像图对应的用户运动图。
图4A示出了第一显示图像304(a)，图5A示出了包括第一显示图像304(a)以及与显示器互动的用户108的对应的首先捕捉到的图像314(a)。应用程序302在时刻t-1生成第一显示图像304(a)，并且将第一显示图像304(a)提供给显示图像运动检测模块306和显示装置310。如图4A所示，第一显示图像304(a)包括球402。显示装置310将第一显示图像304(a)显示在显示屏幕104上，并且，用户108与显示器互动。相机110捕捉包括第一显示图像304(a)以及与显示器互动的用户108的首先捕捉到的图像314(a)。因此，首先捕捉到的图像314(a)包括用户108以及第一显示图像304(a)的球402。
图4B示出了第二显示图像304(b)，图5B示出了对应的、包括第二显示图像304(b)以及与显示器互动的用户108的其次捕捉到的图像314(b)。应用程序302在时刻t生成第二显示图像304(b)，并且将第二显示图像304(b)提供给显示图像运动检测模块306和显示装置310。如图4B所示，第二显示图像304(b)包括与第一显示图像304(a)相同的球402。但是，相对于球402在第一显示图像304(a)中的位置，球402在第二显示图像304(b)中的位置靠左。为了说明球402在第一显示图像304(a)和第二显示图像304(b)中的不同位置，图4C示出了第一显示图像304(a)和第二显示图像304(b)的合成图像403。出现在图4C中的合成图像403不是由结构300或者结构300的任何部件生成的。相反它只是出于说明的目的而提出的，为的是示出球402在第一显示图像304(a)和第二显示图像304(b)中的不同位置。虚线圆402(a)代表球402在第一显示图像304(a)中的位置，而虚线圆402(b)代表球402在第二显示图像304(b)中的位置。
显示装置310在显示屏幕104上显示第二显示图像304(b)，并且，用户108与显示器执行互动。相机110对包括第二显示图像304(b)以及与显示器互动的用户108的其次捕捉到的图像314(b)执行捕捉。因此，其次捕捉到的图像314(b)包括用户108和第二显示图像304(b)的球402。如图5B所示，相对于用户108在首先捕捉到的图像314(a)中的位置，用户108在其次捕捉到的图像314(b)中的位置靠右，而相对于球402在首先捕捉到的图像314(a)中的位置，球402在其次捕捉到的图像314(b)中的位置靠左。为了说明用户108和球402在首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中的不同位置，图5C示出了首先捕捉到的图像314(a)和其次捕捉到的图像314(b)的合成图像501。出现在图5C中的合成图像501不是由结构300或者结构300的任何部件生成的。相反，它只是出于说明的目的而提出的，为的是示出用户108和球402在首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中的不同位置。虚线的用户轮廓108(a)代表用户108在首先捕捉到的图像314(a)中的位置，虚线的用户轮廓108(b)代表用户108在其次捕捉到的图像314(b)中的位置。虚线圆402(c)代表球402在首先捕捉到的图像314(a)中的位置，而虚线圆402(d)代表球402在其次捕捉到的图像314(b)中的位置。
第二显示图像304(b)与第一显示图像304(a)之间的差异创建了显示器中的动画外观(即，运动)。球402在第一显示图像304(a)中的位置与球402在第二显示图像304(b)中的位置之间的差异代表球在时刻t-1与时刻t之间的运动。更一般地说，第一显示图像304(a)与第二显示图像304(b)之间的差异代表在时刻t-1与时刻t之间的、在显示器中的运动。
将第一显示图像304(a)和第二显示图像304(b)提供给显示图像运动检测模块306，以确定显示图像304(a)和304(b)中的运动。显示图像运动检测模块306将第一显示图像304(a)与第二显示图像304(b)执行比较，并且创建用于对两个图像304(a)和304(b)中的运动执行识别的显示图像运动图308。图4D示出了通过对第一显示图像304(a)和第二显示图像304(b)执行绝对差操作而生成的显示图像运动图308(a)的例子。由图4D可见，通过对第一显示图像304(a)和第二显示图像304(b)执行绝对差操作而生成的显示图像运动图308(a)识别出，在显示图像304(a)和304(b)的区域内存在运动404。
图4E示出了通过对第一显示图像304(a)和第二显示图像304(b)执行光流操作而生成的显示图像运动图308(b)的例子。由图4E可见，通过对第一显示图像304(a)和第二显示图像304(b)执行光流操作而生成的显示图像运动图308(b)，使用矢量406识别出在显示图像304(a)和304(b)内的运动的存在、方向和幅值。
如以上讨论的，相对于用户108在首先捕捉到的图像314(a)中的位置，用户108在其次捕捉到的图像314(b)中的位置靠右。在用户108的位置方面的差异归于用户与显示器的互动。例如，好象执行模拟(例如，虚拟)排球比赛一样，为了对球402执行击球，用户108靠近球402。用户108在首先捕捉到的图像314(a)中的位置与用户108在其次捕捉到的图像314(b)中的位置之间的差异代表用户108在时刻t-1与时刻t之间的运动。
将首先捕捉到的图像314(a)和其次捕捉到的图像314(b)提供给捕捉图像检测模块316。捕捉图像检测模块316对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)执行比较，并且创建用于对两个图像314(a)和314(b)中的运动执行识别的捕捉的运动图像图318。图5D示出了通过对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)执行绝对差操作而生成的捕捉的运动图像图318(a)的例子。由图5D可见，捕捉的运动图像图318(a)识别出归于用户的运动500以及显示器中的运动502。图5E示出了通过对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)执行光流操作而生成的捕捉的运动图像图318(b)的例子。由图5E可见，捕捉的运动图像图318(b)使用矢量识别出归于用户的运动504以及显示器中的运动506。用于生成捕捉的运动图像图318(b)的光流算法可以辨别出首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中共有的对象(例如，用户108和球402)，并且，对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中共有的对象的位置执行比较，以便生成用于识别图像314(a)和314(b)中的运动的矢量。
比较模块320将显示图像运动图308与捕捉的运动图像图318执行比较，生成用户运动图322。图6A示出了与显示图像运动图308(a)和捕捉的运动图像图318(a)对应的用户运动图322(a)的例子。由图6A可见，用户运动图322(a)识别出只(或者主要)归于用户的运动500。图6B示出了与显示图像运动图308(b)和捕捉的运动图像图318(b)对应的用户运动图322(b)的例子。由图6B可见，用户运动图322(b)识别出来只(或主要)归于用户的运动504。
参照图7，示出了系统的结构700。除了以下指出的区别以外，结构700与结合图3描述的结构300大致相同。
在某些实施例中，捕捉的运动图像图318中的特征的位置与显示图像运动图308中的对应特征的位置可能有偏差，例如，这是由于相机110相对显示屏幕104旋转，并且投影仪102与相机110彼此不同轴(例如，如图1A所示，相机110在投影仪102之上，因此投影仪102与相机110不共轴)，或者，由于用于生成捕捉的运动图像图318的捕捉图像314的分辨率与用于生成显示图像运动图308的显示图像304的分辨率不同。因此，在某些实施例中，计算装置106包括几何变换模块702，用于将捕捉的运动图像图318中的数据变换(例如，变形、旋转、缩放、位移)为变换捕捉的运动图像图704，使得变换捕捉的运动图像图704中的特征与显示图像运动图308中的对应特征对准。因此，几何变换操作对颠倒安装的相机110执行补偿，对与投影仪102不同轴安装的相机110执行补偿，或者，对被投影到反射镜116上的显示图像执行补偿，其中，反射镜116将显示图像反射到显示屏幕104上。例如，几何变换操作可以包括：对像素执行移动或重新布置；对捕捉的运动图像图318的尺寸执行缩放；对运动值执行内插；和/或，对运动值执行外插。
可以将校准处理用于确定显示图像与包括显示图像的捕捉图像的坐标之间的几何映射。然后，可以将几何映射用于确定将捕捉的运动图像图318中的特征与显示图像运动图308中的对应特征对准所需要的几何变换操作。
校准处理可以包括在显示屏幕104上显示已知图案，例如，点栅格或棋盘。相机110捕捉包括图案的图像，并且，计算捕捉图像内的图案的位置。然后，针对捕捉图像内的每个像素，可以使用捕捉图像内的要素的，相对于显示图像内的对应要素的位置，对捕捉图像的坐标与显示图像的坐标之间的几何映射执行定义。
另外，或者，校准处理可以包括在显示图案或者部分图案之前，短时显示空白图像。捕捉的运动图像检测模块316可以通过检测捕捉图像内的变化(例如，运动)来检测图案。
如上所述，几何变换模块702对捕捉的运动图像图318执行几何变换操作。但是，在另一个实施例中，在捕捉图像314被提供给捕捉的运动图像检测模块316之前，几何变换模块702对捕捉图像314执行几何变换操作。
将显示图像304从应用程序302发送到显示装置310的处理、对显示图像执行显示的处理、用相机110捕捉图像的处理以及对捕捉图像执行处理的处理一般导致等待时间(即，延迟)。因此，相机在时刻t捕捉的图像包括稍早生成的显示图像。因此，在某些实施例中，计算装置106包括等待时间补偿模块706，时间补偿模块706执行等待时间补偿运算，以保证比较模块320将等待时间补偿显示图像运动图708与时间上彼此对应的变换捕捉的运动图像图704执行比较。
在某些实施例中，等待时间补偿模块706将显示图像运动图308存储在缓冲器中一段时间，这个时间与将等待时间补偿显示图像运动图708提供给比较模块320之前的等待时间相等。因此，等待时间补偿显示图像运动图708与对应的变换捕捉的运动图像图704几乎同时达到比较模块320。在另一个实施例中，等待时间补偿模块706将显示图像304存储在缓冲器中一段时间，这个时间与将显示图像提供给显示图像运动检测模块306之前的等待时间相等。
另外，或者，可以将等待时间补偿模块706用于对显示装置310的帧速率与相机110的采样速率之间的差异执行补偿。例如，显示装置310的帧速率可能比相机110的采样速率(例如，曝光时间)大。因此，单个捕捉图像可能包括对多个显示图像304的曝光。为了对显示装置310的帧速率与相机110的采样速率之间的这种差异执行补偿，等待时间补偿模块706可以将多个连续的显示图像运动图308组合成单个等待时间补偿显示图像运动图708。将被组合以产生单个等待时间补偿显示图像运动图708的显示图像运动图308的数量选择为与在相机110的一个采样周期(例如，曝光)期间显示的显示图象的数量匹配。
可以使用逻辑“OR”运算，对使用绝对差操作生成的显示图像运动图308执行组合。换句话说，如果被组合以生成等待时间补偿显示图像运动图708的多个显示图像运动图308中的任何一个中的像素被定义为代表运动，则等待时间补偿显示图像运动图708中的对应像素将被定义为代表运动。
或者，可以通过如下处理，对使用光流操作生成的显示图像运动图308执行组合，即，给等待时间补偿显示图像运动图708中的每个像素赋予一个运动范围，使得用于该像素的这个运动范围包括被组合以生成等待时间补偿显示图像运动图708的多个显示图像运动图308中对应像素的运动。
可以将校准处理用于确定显示图像被发送到显示装置310的时刻与对应图像被相机110捕捉到的时刻之间的等待时间。校准处理可以包括将空白显示图像显示一段时间，然后，显示包括图案的显示图像。对包括图案的显示图像被发送到显示装置310的时刻执行记录，并且将该时刻与在对应的捕捉图像中检测到图案的时刻执行比较，从而确定等待时间。
在某些实施例中，应用程序302将显示图像运动图308直接提供给计算装置106。在这样的实施例中，不需要显示图像运动检测模块306。此外，尽管图3和图7将应用程序302示出为在计算装置106以外，但是，在某些实施例中，应用程序302驻留在计算装置106内，并且在其上运行。如这些实施例阐明的，这里描述的功能可以在不同模块和不同装置中执行。因此，随着功能被从一个装置转移到另一个装置，装置之间的接口会改变。
在某些实施例中，在已经生成用户运动图322之后，将用户运动图322作为输入提供给生成显示图像304的应用程序302。应用程序302使用用户运动图322检测用户108的互动。
例如，如果在与用于一个或多个连续帧的对象的已知位置对应的区域中检测到用户108的运动，则应用程序322可以确定用户108“触摸”显示图象304中的对象。举例来说，用户108也许能够通过“触摸”按钮来选择按钮(例如，使按钮“开”或“关”)。应该理解，用户108不必为了应用程序302确定用户108正在“触摸”显示图像304中的对象而与显示屏幕104执行物理触摸。尽管用户108可以与显示屏幕104执行物理触摸，但是，当用户108的一部分身体在显示在显示屏幕104上的对象之上或附近摇摆或停留时，应用程序302也可以确定用户108正在“触摸”显示图像304中的对象。
此外，应用程序302可以通过确定与显示图像304中的对象对应的区域的、被分类为包含用户108的运动的部分的面积，确定用户108在该区域中的运动量。因此，应用程序302可以区分用户108的不同类型的运动(例如，灵活的运动与慎重的运动)，并且，使用用户108的不同类型的运动，对对象的位置和/或行为执行控制。还应该清楚，实施例可以将不在显示图像中的感兴趣的区域附近出现的用户运动忽略。
或者，当应用程序302接收到光流用户运动图322时，应用程序302可以根据某个区域内的运动矢量的平均幅值或最大幅值，确定该区域中的运动量。因此，应用程序322可以使用用户108的运动的速度，控制对象的位置和/或行为。例如，如果对象在被用户108触摸之前具有初始速度，则应用程序302可以改变对象被用户108触摸之后的速度，使得对象的合成速度综合反映对象的初始速度与对象受用户108影响的速度。
应用程序302还可以允许用户108使用运动对显示图像304中的对象的外观执行变换。例如，应用程序可以允许用户“摩擦”显示屏幕104，从而显露新的对象，代替原始对象。
实施例可以以各种其他方式确定用户运动。例如，可以在确定运动之前，从捕捉图像314中“减去”显示图像304。相似地，其他实施例可以重新排列执行描述过的功能的顺序。
计算装置106可以是计算机或其他类型的处理设备。例如，计算装置106可以是运行微软视窗操作系统的个人计算机(PC)。此外，或者，计算装置106可以包括具有数字信号处理(DSP)芯片和/或可编程像素着色器(programmable pixel-shader)的视频图形卡。此外，计算装置106可以是单独的部件，或者，计算装置106可以被并入显示装置310。将计算装置106并入显示装置310可以使在对显示图像执行发送、显示、捕捉以及处理的过程中的、一般固有的延迟减小。
如果应用程序302驻留在计算装置106上，则应用程序可以使用ActiveX对象形式的Macromedia Flash。计算装置106可以将Windows Device Context与显示图像缓冲器联系起来，并且，计算装置106可以将Device Context提供给Macromedia Flash ActiveX对象，使得Macromedia Flash将图像提供到显示图像缓冲器中。
或者，应用程序302可以在计算装置106以外。当应用程序302在计算装置106以外时，视频信号(例如，视频图形阵列(video graphics array，VGA))可以被发送到显示装置310和视频捕捉装置(例如，VGA帧接收器)。视频捕捉装置可以生成显示图像的表示，并且将显示图像的表示存储在显示图像缓冲器中。
实施例可以包括一个或多个被配置为执行一个或多个处理的装置。例如，装置可以包括分立的或集成的硬件、固件和软件。例如，装置可以包括一般称为处理设备的处理器，例如，处理器包括微处理器、集成电路或者可编程逻辑器件。
装置还可以包括一个或多个计算机可读介质，计算机可读介质具有用于执行一个或多个处理的指令。例如，计算机可读介质可以包括存储装置，如硬盘、光盘、随机存取存储器(RAM)、只读存储器(ROM)。例如，计算机可读介质还可以包括对指令执行编码或发送的、经过格式化的电磁波。例如，指令可以在硬件、固件、软件中，并且可以在电磁波中。例如，可以在操作系统、独立的应用程序或者二者的组合中找到指令。因此，处理器可以被特性化为，例如，既是被配置为执行处理的装置，又是包括具有用于执行处理的指令的计算机可读介质的装置。
已经对若干实施例执行了描述。然而，应该理解，可以执行各种修改。例如，为了产生其他实施例，可以对不同实施例的要素执行组合、补充、修改或去除。因此，其他实施例在以下的权利要求的范围内。

Claims (18)

1.一种方法，包括：
访问首先捕捉到的图像，所述首先捕捉到的图像包括(1)由计算装置所执行的一组指令在第一时间点产生的第一显示，以及(2)与所述第一显示互动的、并且不是所述第一显示的一部分的用户；
访问其次捕捉到的图像，所述其次捕捉到的图像包括(1)由该组该计算装置所执行的指令在第二时间点产生的第二显示，以及(2)与所述第二显示交互的、并且不是所述第二显示的一部分的所述用户；
对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较；
基于对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较的结果，确定所述用户的运动；和
使所述用户的已经确定的运动与所述首先和其次捕捉到的图像中的一个或多个的部分图像相联系。
2.如权利要求1所述的方法，还包括，将所述用户的已经确定的运动以及所述部分图像的表示提供给所述计算装置。
3.如权利要求1所述的方法，还包括，基于所述已经确定的运动以及所述部分图像，确定用于该组指令的输入。
4.如权利要求1所述的方法，其中，对所述首先和其次捕捉到的图像执行比较的步骤包括对所述首先捕捉到的图像和所述其次捕捉到的图像执行绝对差操作。
5.如权利要求1所述的方法，其中，对所述首先和其次捕捉到的图像执行比较的步骤包括对所述首先捕捉到的图像和所述其次捕捉到的图像执行光流操作。
6.如权利要求1所述的方法，其中，对所述首先和其次捕捉到的图像执行比较的步骤包括产生所述结果，和所述结果是表示所述用户的运动以及与所述第一和第二显示中的一个或多个对象相关的运动的图像。
7.如权利要求6所述的方法，还包括对所述结果执行几何变换操作。
8.如权利要求6所述的方法，其中，基于对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较的结果确定所述用户的运动的步骤包括，在所述结果中，将所述用户的运动和与所述第一和第二显示中的一个或多个对象相关的运动相互隔离。
9.如权利要求8所述的方法，还包括：
访问表示与所述第一和第二显示中的一个或多个对象相关的运动的图像，和其中，在所述结果中，使所述用户的运动和与所述第一和第二显示中的一个或多个对象相关的运动相互隔离的步骤包括将所述结果与表示和所述第一和第二显示中的一个或多个对象相关的运动的所述图像执行比较。
10.如权利要求9所述的方法，其中，访问表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像的步骤包括：
访问与所述第一显示对应的第一显示图像；
访问与所述第二显示对应的第二显示图像；和
通过对所述第一显示图像和所述第二显示图像执行绝对差操作，生成表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像。
11.如权利要求9所述的方法，其中，访问表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像的步骤包括：
访问与所述第一显示对应的第一显示图像；
访问与所述第二显示对应的第二显示图像；和
通过对所述第一显示图像和所述第二显示图像执行光流操作，生成表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像。
12.如权利要求9所述的方法，还包括，对表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像执行等待时间补偿运算。
13.一种系统，包括：
捕捉到的图像运动检测模块，被配置为：
访问首先捕捉到的图像，所述首先捕捉到的图像包括(1)由计算装置所执行的一组指令在第一时间点产生的第一显示，以及(2)与所述第一显示互动的、并且不是所述第一显示的一部分的用户；
访问其次捕捉到的图像，所述其次捕捉到的图像包括(1)由所述计算装置执行的该组指令在第二时间点产生的第二显示，以及(2)与所述第二显示互动的、并且不是所述第二显示的一部分的所述用户；
通过比较所述首先捕捉到的图像和所述其次捕捉到的图像，生成代表所述首先和其次捕捉到的图像之间的运动的图像；以及
比较模块，被配置为基于对代表与所述第一和第二显示中的一个或多个对象相关的运动的图像与代表所述首先和其次捕捉到的图像之间的运动的所述图像执行比较的结果生成代表所述用户的运动的图像。
14.如权利要求13所述的系统，还包括显示图像运动检测模块，被配置为：
访问所述第一显示图像；
访问所述第二显示图像；和
通过对所述第一显示图像与所述第二显示图像执行比较，生成代表与所述第一和第二显示中的一个或多个对象相关的运动的所述图像。
15.如权利要求14所述的系统，还包括：
相机，被配置为，(1)捕捉所述首先捕捉到的图像，并且将所述首先捕捉到的图像提供给所述捕捉的运动图像检测模块，并且，(2)捕捉所述其次捕捉到的图像，并且将所述其次捕捉到的图像提供给所述捕捉的运动图像检测模块；
显示器，用于显示图像；以及
计算装置，被配置为执行一组指令，以产生所述第一和第二显示图像。
16.如权利要求14所述的系统，还包括等待时间补偿模块，被配置为对代表与所述第一和第二显示中的一个或多个对象相关的运动的所述图像执行等待时间补偿运算。
17.如权利要求13所述的系统，还包括几何变换模块，被配置为对代表所述首先和其次捕捉到的图像之间的运动的所述图像执行几何变换操作。
18.一种装置，包括计算机可读介质，该计算机可读介质包括当由处理设备执行时导致至少以下结果的指令：
访问首先捕捉到的图像，所述首先捕捉到的图像包括(1)由计算装置执行的一组指令在第一时间点产生的第一显示，以及(2)与所述第一显示互动的、并且不是所述第一显示的一部分的用户；
访问其次捕捉到的图像，所述其次捕捉到的图像包括(1)由所述计算装置执行的该组指令在第二时间点产生的第二显示，以及(2)与所述第二显示互动的、并且不是所述第二显示的一部分的所述用户；
对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较；
基于对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较的结果，确定所述用户的运动；并且
使所述用户的已经确定的运动与所述首先和其次捕捉到的图像中的一个或多个中的部分图像相互联系。
CN2006800090302A 2005-01-21 2006-01-23 图像处理中基于运动的跟踪的方法和系统 Expired - Fee Related CN101147188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US64507405P 2005-01-21 2005-01-21
US60/645,074 2005-01-21
PCT/US2006/002200 WO2006078996A2 (en) 2005-01-21 2006-01-23 Motion-based tracking

Publications (2)

Publication Number Publication Date
CN101147188A true CN101147188A (zh) 2008-03-19
CN101147188B CN101147188B (zh) 2010-09-29

Family

ID=36692969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800090302A Expired - Fee Related CN101147188B (zh) 2005-01-21 2006-01-23 图像处理中基于运动的跟踪的方法和系统

Country Status (6)

Country Link
US (2) US8144118B2 (zh)
EP (2) EP1851749B1 (zh)
JP (1) JP4689684B2 (zh)
CN (1) CN101147188B (zh)
AT (1) ATE551675T1 (zh)
WO (1) WO2006078996A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867755A (zh) * 2009-04-14 2010-10-20 索尼公司 信息处理设备、信息处理方法和程序
CN102129151A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业（深圳）有限公司 前投影控制系统及方法
CN102163077A (zh) * 2010-02-16 2011-08-24 微软公司 使用碰撞体来捕捉屏幕对象
CN102822862A (zh) * 2010-04-01 2012-12-12 高通股份有限公司 计算装置接口
CN107203292A (zh) * 2016-03-17 2017-09-26 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144118B2 (en) 2005-01-21 2012-03-27 Qualcomm Incorporated Motion-based tracking
ES2569411T3 (es) 2006-05-19 2016-05-10 The Queen's Medical Center Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
JP2010515170A (ja) 2006-12-29 2010-05-06 ジェスチャー テック，インコーポレイテッド 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作
WO2008137708A1 (en) * 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
US9177368B2 (en) * 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US20120044141A1 (en) * 2008-05-23 2012-02-23 Hiromu Ueshima Input system, input method, computer program, and recording medium
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
GB2466497B (en) 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
US20100182334A1 (en) * 2009-01-22 2010-07-22 Global Graphics Software Limited Method and system for improved display of sampled data differences
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5318646B2 (ja) * 2009-04-17 2013-10-16 ルネサスエレクトロニクス株式会社 差分画像生成装置、差分画像生成方法、及びプログラム
US8727875B2 (en) * 2009-07-27 2014-05-20 Obscura Digital, Inc. Automated enhancements for billiards and the like
US8992315B2 (en) * 2009-07-27 2015-03-31 Obscura Digital, Inc. Automated enhancements for billiards and the like
GB0920754D0 (en) * 2009-11-27 2010-01-13 Compurants Ltd Inamo big book 1
JP2011203823A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9262015B2 (en) 2010-06-28 2016-02-16 Intel Corporation System for portable tangible interaction
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
JP2012064201A (ja) * 2010-08-19 2012-03-29 Semiconductor Energy Lab Co Ltd 入出力装置及び入出力装置の駆動方法
KR101714050B1 (ko) * 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
FR2967804B1 (fr) * 2010-11-19 2013-01-04 Total Immersion Procede et dispositif de detection et de suivi d'objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d'interagir avec un systeme informatique
US20120169586A1 (en) * 2011-01-03 2012-07-05 Carrier Corporation Virtual interface
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
EP2474950B1 (en) 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
WO2012094349A2 (en) 2011-01-05 2012-07-12 Orbotix, Inc. Self-propelled device with actively engaged drive system
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
JP2012215963A (ja) * 2011-03-31 2012-11-08 Hitachi Consumer Electronics Co Ltd 映像表示装置
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
JP5799627B2 (ja) * 2011-07-15 2015-10-28 セイコーエプソン株式会社 位置検出装置、位置検出システムおよび入力機能付き表示システム
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
GB2496429B (en) * 2011-11-11 2018-02-21 Sony Corp A method and apparatus and program
WO2013090554A1 (en) * 2011-12-15 2013-06-20 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
EP2650754A3 (en) * 2012-03-15 2014-09-24 Omron Corporation Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
CN104428791A (zh) 2012-05-14 2015-03-18 澳宝提克斯公司 通过检测图像中的圆形物体操作计算装置
US9292758B2 (en) 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US20140003674A1 (en) * 2012-06-27 2014-01-02 Christopher D. Coley Skin-Based User Recognition
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US9197870B1 (en) * 2012-09-12 2015-11-24 Amazon Technologies, Inc. Automatic projection focusing
JP2014059803A (ja) * 2012-09-19 2014-04-03 Alps Electric Co Ltd 入力装置
CN104871127B (zh) * 2012-12-21 2018-04-10 巴科股份有限公司 显示器间的差分等待时间的自动化测量
US20150331491A1 (en) * 2012-12-27 2015-11-19 Thomas Licensing System and method for gesture based touchscreen control of displays
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US8977060B2 (en) * 2013-05-16 2015-03-10 Microsoft Technology Licensing, Llc Motion stabilization and detection of articulated objects
DE102013211904A1 (de) * 2013-06-24 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von Gesten im Strahlbereich eines Projektors
US9011246B1 (en) * 2013-11-18 2015-04-21 Scott Kier Systems and methods for immersive backgrounds
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
JP2015200960A (ja) * 2014-04-04 2015-11-12 株式会社リコー 情報システム、情報処理方法、及びプログラム
US9616350B2 (en) * 2014-05-21 2017-04-11 Universal City Studios Llc Enhanced interactivity in an amusement park environment using passive tracking elements
US9547370B2 (en) * 2014-05-27 2017-01-17 Fuji Xerox Co., Ltd. Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems
US9330306B2 (en) * 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
PT107791A (pt) * 2014-07-21 2016-01-21 Ricardo José Carrondo Paulino Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN106034029A (zh) 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 基于图片验证码的验证方法和装置
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP3391638A4 (en) * 2015-12-16 2019-08-14 Martineau, Pierre R. METHOD AND DEVICE FOR REMANENT IMAGE CONTROL
US10181195B2 (en) * 2015-12-28 2019-01-15 Facebook, Inc. Systems and methods for determining optical flow
US10401145B2 (en) 2016-06-13 2019-09-03 Carl Zeiss Industrielle Messtechnik Gmbh Method for calibrating an optical arrangement
CN111249691B (zh) * 2018-11-30 2021-11-23 百度在线网络技术（北京）有限公司 一种基于形体识别的运动员训练方法和系统
DE102019119138B4 (de) * 2019-07-15 2022-01-20 Deutsche Post Ag Bestimmen einer Verteil- und/oder Sortierinformation zum automatisierten Verteilen und/oder Sortieren einer Sendung
US10976818B2 (en) 2019-08-21 2021-04-13 Universal City Studios Llc Interactive attraction system and method for object and user association
GB2610018B (en) * 2021-06-04 2023-09-13 Canon Kk Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
USRE38420E1 (en) 1992-08-12 2004-02-10 British Broadcasting Corporation Derivation of studio camera position and motion from the camera image
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5435554A (en) 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
US5436639A (en) * 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
JP3727954B2 (ja) 1993-11-10 2005-12-21 キヤノン株式会社 撮像装置
DE4415167A1 (de) 1994-04-29 1995-11-02 Siemens Ag Telekommunikationsanordnung zum Übertragen von Bildern
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JPH08179888A (ja) 1994-12-21 1996-07-12 Hitachi Ltd 大画面ディスプレイ用入力装置
US5710833A (en) 1995-04-20 1998-01-20 Massachusetts Institute Of Technology Detection, recognition and coding of complex objects using probabilistic eigenspace analysis
EP0823683B1 (en) * 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US5986675A (en) 1996-05-24 1999-11-16 Microsoft Corporation System and method for animating an object in three-dimensional space using a two-dimensional input device
US6072469A (en) * 1996-06-20 2000-06-06 Chen; Mei-Yun Cursor positioning device for computer system
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3876942B2 (ja) 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6072496A (en) 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
US6628819B1 (en) 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
US6201554B1 (en) 1999-01-12 2001-03-13 Ericsson Inc. Device control apparatus for hand-held data processing device
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US6275214B1 (en) 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
EP1239312A4 (en) * 1999-09-27 2005-09-21 Sumitomo Electric Industries OPTICAL FIBER WITH DISTRIBUTION MANAGEMENT, METHOD FOR MANUFACTURING THE SAME, OPTICAL COMMUNICATION SYSTEM USE AND OPTICAL FIBER BASE MATERIAL
US7187412B1 (en) 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6535114B1 (en) 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
US6624833B1 (en) 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
JP4059620B2 (ja) 2000-09-20 2008-03-12 株式会社リコー 座標検出方法、座標入力／検出装置及び記憶媒体
US20020153188A1 (en) 2000-12-08 2002-10-24 Brandt Kenneth A. Selectable control parameters on a power machine with four-wheel steering
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
EP1428108B1 (en) * 2001-05-14 2013-02-13 Koninklijke Philips Electronics N.V. Device for interacting with real-time streams of content
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7061628B2 (en) 2001-06-27 2006-06-13 Southwest Research Institute Non-contact apparatus and method for measuring surface profile
JP3849481B2 (ja) * 2001-10-03 2006-11-22 ソニー株式会社 信号処理方法と信号処理装置及び信号処理プログラム
WO2003036557A1 (en) * 2001-10-22 2003-05-01 Intel Zao Method and apparatus for background segmentation based on motion localization
US20030098841A1 (en) 2001-11-26 2003-05-29 Jessica Broussard Powered, remotely controllable computer display device
KR100415313B1 (ko) * 2001-12-24 2004-01-16 한국전자통신연구원 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP4230999B2 (ja) * 2002-11-05 2009-02-25 ディズニー エンタープライゼス インコーポレイテッド ビデオ作動インタラクティブ環境
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US7162075B2 (en) 2003-03-10 2007-01-09 Cranial Technologies, Inc. Three-dimensional image capture system
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7333133B2 (en) 2003-03-31 2008-02-19 Spatial Integrated Systems, Inc. Recursive least squares approach to calculate motion parameters for a moving camera
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
IL157877A0 (en) 2003-09-11 2004-03-28 Imagine It S Happening Ltd Color edge based 3d scanner
US20050075975A1 (en) 2003-10-02 2005-04-07 Rosner Warren M. Allocating funds for payment of transactional account statements
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN1902930B (zh) 2003-10-24 2010-12-15 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
US7312819B2 (en) 2003-11-24 2007-12-25 Microsoft Corporation Robust camera motion analysis for home video
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
KR100594971B1 (ko) 2004-01-09 2006-06-30 삼성전자주식회사 지자기 센서를 이용한 입력장치 및 이를 이용한 입력신호생성방법
WO2005067389A2 (en) 2004-01-15 2005-07-28 Technion Research & Development Foundation Ltd. Three-dimensional video scanner
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム
US7259758B2 (en) * 2004-06-21 2007-08-21 Microsoft Corporation System and method for reducing latency in display of computer-generated graphics
US7466308B2 (en) * 2004-06-28 2008-12-16 Microsoft Corporation Disposing identifying codes on a user's hand to provide input to an interactive display application
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
US8144118B2 (en) 2005-01-21 2012-03-27 Qualcomm Incorporated Motion-based tracking
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867755A (zh) * 2009-04-14 2010-10-20 索尼公司 信息处理设备、信息处理方法和程序
US8325234B2 (en) 2009-04-14 2012-12-04 Sony Corporation Information processing apparatus, information processing method, and program for storing an image shot by a camera and projected by a projector
CN101867755B (zh) * 2009-04-14 2015-07-22 索尼公司 信息处理设备、信息处理方法
CN102129151A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业（深圳）有限公司 前投影控制系统及方法
CN102163077A (zh) * 2010-02-16 2011-08-24 微软公司 使用碰撞体来捕捉屏幕对象
CN102822862A (zh) * 2010-04-01 2012-12-12 高通股份有限公司 计算装置接口
CN102822862B (zh) * 2010-04-01 2016-03-30 高通股份有限公司 计算装置接口
CN107203292A (zh) * 2016-03-17 2017-09-26 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序

Also Published As

Publication number Publication date
EP2458554A1 (en) 2012-05-30
US8717288B2 (en) 2014-05-06
WO2006078996A3 (en) 2007-04-19
JP4689684B2 (ja) 2011-05-25
US20060192782A1 (en) 2006-08-31
EP2458554B1 (en) 2015-04-29
CN101147188B (zh) 2010-09-29
EP1851749B1 (en) 2012-03-28
WO2006078996A2 (en) 2006-07-27
EP1851749A2 (en) 2007-11-07
EP1851749A4 (en) 2011-03-02
US20120154272A1 (en) 2012-06-21
ATE551675T1 (de) 2012-04-15
US8144118B2 (en) 2012-03-27
JP2008529135A (ja) 2008-07-31

Similar Documents

Publication Publication Date Title
CN101147188B (zh) 图像处理中基于运动的跟踪的方法和系统
US8081822B1 (en) System and method for sensing a feature of an object in an interactive video display
US10990189B2 (en) Processing of gesture-based user interaction using volumetric zones
US11670043B2 (en) Image processing apparatus, image processing method, and storage medium
US10016679B2 (en) Multiple frame distributed rendering of interactive content
Von Hardenberg et al. Bare-hand human-computer interaction
US8411149B2 (en) Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US6771277B2 (en) Image processor, image processing method, recording medium, computer program and semiconductor device
US7170492B2 (en) Interactive video display system
US20060139314A1 (en) Interactive video display system
CN104471511B (zh) 识别指点手势的装置、用户接口和方法
US20170032577A1 (en) Real-time virtual reflection
US9274606B2 (en) NUI video conference controls
US20150070263A1 (en) Dynamic Displays Based On User Interaction States
EP2104905A2 (en) Manipulation of virtual objects using enhanced interactive system
US20110306420A1 (en) Image generation system, image generation method, and information storage medium
JP2005500590A (ja) カメラビュー内の制御可能なディスプレイの可視点のロバスト決定方法
Sueishi et al. Lumipen 2: Dynamic projection mapping with mirror-based robust high-speed tracking against illumination changes
CN113613742A (zh) 提供计算机生成环境的系统和方法
Marner et al. Exploring interactivity and augmented reality in theater: A case study of Half Real
EP4291971A1 (en) Adaptable personal user interfaces in cross-application virtual reality settings
Xu et al. Tennis space: an interactive and immersive environment for tennis simulation
CN115607957A (zh) 游戏控制方法、装置、存储介质及电子设备
CN114733196A (zh) 游戏场景控制方法、游戏场景控制装置、介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: QUALCOMM INC.

Free format text: FORMER NAME: GESTURE TEK INC.

CP03 Change of name, title or address

Address after: American California

Patentee after: Qualcomm Inc.

Address before: American New York

Patentee before: Gesturetek Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929

Termination date: 20210123