CN101147188B - 图像处理中基于运动的跟踪的方法和系统 - Google Patents
图像处理中基于运动的跟踪的方法和系统 Download PDFInfo
- Publication number
- CN101147188B CN101147188B CN2006800090302A CN200680009030A CN101147188B CN 101147188 B CN101147188 B CN 101147188B CN 2006800090302 A CN2006800090302 A CN 2006800090302A CN 200680009030 A CN200680009030 A CN 200680009030A CN 101147188 B CN101147188 B CN 101147188B
- Authority
- CN
- China
- Prior art keywords
- image
- motion
- captures
- display
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1018—Calibration; Key and button assignment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
Abstract
在一个实施例中,访问首先捕捉到的图像(见图1)。首先捕捉到的图像包括(1)在第一时间点产生的第一显示,以及(2)与第一显示互动的、并且不是第一显示的一部分的用户。访问其次捕捉到的图像。其次捕捉到的图像包括(1)在第二时间点产生的第二显示,以及(2)与第二显示互动的、并且不是第二显示的一部分的用户。对首先捕捉到的图像和其次捕捉到的图像执行比较。根据对首先捕捉到的图像和其次捕捉到的图像执行比较的结果,确定用户的运动。将用户的已经确定的运动与首先和其次捕捉到的图像中的一个或多个中的部分图像联系起来。
Description
技术领域
本公开部分地涉及图像处理,特别是涉及检测图像中的运动。
各种各样的系统投影或显示用户期望至少与之间接互动的信息。例如,计算机经常在监视器上显示文档,和用户期望使用鼠标在显示的文档内定位光标与所显示的文档间接互动。这样的计算机还可以使用投影仪将文档投影到投影屏幕上,而不是在监视器上显示所述文档。作为另一个例子,触摸屏计算机允许用户通过在由图像本身指示的位置处触摸监视器,例如,触摸显示的图像中的特定要素以便选择该要素,更直接地与显示的图像执行互动。
所披露一个的实施例通过检测用户的运动,和基于该用户的运动生成输入,允许用户直接与所显示的或投影的图像互动。例如,可以使用视频游戏生成和显示图像,并且,在用户想选择某个图标的情况下,用户可以指向该图像中的图标。所披露的系统检测用户的运动,将检测到的运动与图标的选择相关联,和将表示用户已经选择的图标的输入提供给所述应用程序。该系统使用相机检测用户的运动。
根据一个总体方面,访问首先捕捉到的图像。首先捕捉到的图像包括(1)在第一时间点产生的第一显示,以及(2)与第一显示互动的、并且不是第一显示的一部分的用户。访问其次捕捉到的图像,其次捕捉到的图像包括(1)在第二时间点产生的第二显示,以及(2)与第二显示互动的、并且不是第二显示的一部分的用户。比较首先捕捉到的图像和其次捕捉到的图像。根据对首先捕捉到的图像和其次捕捉到的图像的比较结果,确定用户的运动。将用户的已经确定的运动与首先和其次捕捉到的图像中的一个或多个中的部分图像相互联系。
上述总体方面的实施例可以包括以下特性中的一个或多个。例如,可以
比较首先和其次捕捉到的图像可以包括对首先捕捉到的图像和其次捕捉到的图像执行绝对差操作或光流操作。比较首先和其次捕捉到的图像可以包括产生所述结果,和,所述结果可以是表示用户的运动和与第一和第二显示中一个或多个对象相关的运动的图像。可以对该结果执行几何变换操作。
基于比较首先捕捉到的图像和其次捕捉到的图像的结果确定用户的运动可以包括在该结果中使所述用户的运动和与第一和第二显示中的一个或多个对象相关的运动相互隔离。
可以访问表示与第一和第二显示中的一个或多个对象相关的运动的图像。在所述结果中,使用户的运动与和第一和第二显示中的一个或多个对象相关的运动相互隔离可以包括将所述结果与表示与第一和第二显示中的一个或多个对象相关的运动的图像进行比较。
访问表示与第一和第二显示中的一个或多个对象相关的运动的图像可以包括:访问与第一显示对应的第一显示图像;访问与第二显示对应的第二显示图像;和,生成表示与所述第一和第二显示中的一个或多个对象相关的运动的图像。通过对所述第一显示图像和所述第二显示图像执行绝对差操作,可以生成表示与第一和第二显示中的一个或多个对象相关的运动的图像。可选的,通过对第一显示图像和第二显示图像执行光流操作,可以生成表示与所述第一和第二显示中的一个或多个对象相关的运动的图像。
可以对表示与第一和第二显示中的一个或多个对象相关的运动的图像执行等待时间补偿运算。
按照另一个总体方面,系统包括捕捉的运动图像检测模块和比较模块。捕捉的运动图像检测模块被配置为,访问首先捕捉到的图像,其中,首先捕捉到的图像包括(1)依据由计算装置执行的指令组,在第一时间点产生的第一显示,以及(2)与第一显示互动的,并且不是第一显示的一部分的用户。捕捉的运动图像检测模块还被配置为,访问其次捕捉到的图像,其次捕捉到的图像包括(1)依据由计算装置执行的指令组,在第二时间点产生的第二显示,以及(2)与第二显示互动的、并且不是第二显示的一部分的用户。捕捉的运动图像检测模块还被配置为,通过对首先捕捉到的图像和其次捕捉到的图像执行比较,生成代表首先和其次捕捉到的图像之间的运动的图像。比较模块被配置为,根据对代表关于第一和第二显示中的一个或多个对象的运动的图像与代表第一与其次捕捉到的图像之间的运动的图像执行比较的结果,生成代表用户运动的图像。
上述总体方面的实施例可以包括以下特性的一个或多个。例如,系统可以包括显示图像运动检测模块,其被配置为访问所述第一显示图像,访问所述第二显示图像,和,通过对所述第一显示图像与所述第二显示图像进行比较生成代表与所述第一和第二显示中的一个或多个对象相关的运动的图像。
系统还可以包括相机,被配置为:(1)捕捉所述首先捕捉到的图像,并且将该首先捕捉到的图像提供给捕捉的运动图像检测模块,和,(2)捕捉所述其次捕捉到的图像,并且将该其次捕捉到的图像提供给捕捉的运动图像检测模块。另外或者可选的,系统可以包括显示图像的显示器以及计算装置,其被配置为执行一组指令,以产生第一和第二显示图像。
系统可以包括等待时间补偿模块,被配置为对代表关于第一和第二显示中的一个或多个对象的运动的图像进行等待时间补偿运算。系统还可以包括几何变换模块,被配置为对代表首先与其次捕捉到的图像之间的运动的图像执行几何变换操作。
即使这里仅用一个方式执行了以上描述,但是,可以以一个或多个方式实现各个方面、实施例和特性。例如,可以使用方法、装置、用于执行方法的装置或工具或处理设备、程序或其他指令组、包括程序或指令组的装置以及计算机可读介质中的一个或多个,实现各个方面、实施例和特性。例如,计算机可读介质可以包括指令、软件、图像和其他数据。
在附图和以下描述中,对一个或多个实施例的细节执行阐述。根据描述和附图,并且根据权利要求,将明白其他特性。
附图说明
图1A示出了第一交互系统。
图1B示出了第二交互系统。
图1C示出了第三交互系统。
图1D示出了第四交互系统。
图1E示出了第五交互系统。
图2为用于确定用户运动,并且将确定的运动用作对应用程序的输入的处理的例子的流程图。
图3为交互系统的结构的框图。
图4A示出了第一显示图像。
图4B示出了第二显示图像。
图4C示出了图4A-4B的第一和第二显示图像的合成图像。
图4D示出了与图4A-4B的第一和第二显示图像对应的第一显示图像运动图。
图4E示出了与图4A-4B的第一和第二显示图像对应的第二显示图像运动图。
图5A示出了首先捕捉到的图像。
图5B示出了其次捕捉到的图像。
图5C示出了图5A-5B的首先和其次捕捉到的图像的合成图像。
图5D示出了与图5A-5B的首先和其次捕捉到的图像对应的首先捕捉到的图像运动图。
图5E示出了与图5A-5B的捕捉图像对应的其次捕捉到的图像运动图。
图6A示出了第一用户运动图。
图6B示出了第二用户运动图。
图7为交互系统的另一个结构的框图。
具体实施方式
在一个具体实施例中,视频游戏应用程序生成多个图像,和,计算机系统该投影图像给用户。用户通过进入投影的图像前面和好像他们就是虚拟现实显示一样与投影的图像互动来玩游戏。例如,用户可以对着作为对象被包括在投影图像中的目标摇摆。在这个例子中,实施例对用户的摇摆执行检测,确定用户正在对着目标摇摆,并且将表示用户对着目标摇摆的输入提供给视频游戏应用程序。然后,视频游戏应用程序响应于接收到用户对着目标摇摆的输入,生成适当的图像以进行投影。
当用户摇摆时,该实施例还能够通过使用相机捕捉包括投影图像以及用户的一序列图像检测用户的摇摆。该实施例还访问没有用户的一系列投影图像。该实施例确定在每个序列图像中的运动,并且比较该序列图像中已经确定的运动,以便将用户的运动隔离(也称为“分段”)。该实施例使用其目标位置的知识确定用户的运动确实试图对着目标摇摆,并且将这个确定作为输入提供给视频游戏应用程序。
因为投影图像必须相对于周围光线级别足够亮以便使人或相机感觉到,所以,照明条件的变化会影响投影图像的显示质量。反之,投影图像的外观对比度(apparent contrast)可能太低,以至不能感觉到。相机可能具有比人眼低的动态范围。因此,为了使相机捕捉包括投影图像的图像,需要投影图像的亮度比为了人能够感觉到而必须的亮度亮。例如,为了使相机捕捉包括投影图像的图像,需要投影图像比周围光线的级别(例如,阳光或顶光)亮,其中,周围光线的级别会(例如,随着太阳在一天之内下落)改变。将图像投影得与周围光线的级别一样亮,或者比周围光线的级别亮可能是不切实际的,并且/或者是昂贵的。
但是,局部照明条件的变化明显不影响或降低实施例检测用户运动的能力。这至少部分是由于这样的事实,即实施例是通过将用户运动与投影图像中的运动隔离来确定用户运动的。局部照明条件的变化可以使投影图像的显示质量下降,并且可以削弱相机捕捉投影图像的能力。但是,由于用户反射足够多的光线,因此,局部照明条件的变化一般不会明显影响相机捕捉用户运动的能力。因此,即使捕捉的序列图像不包括投影图像中的运动,捕捉的序列图像仍然包括用户的运动。
此外,在本实施例中,相机以一采样速率捕捉图像,使得照明条件在连续帧之间的任何变化都可以忽略。照明条件的变化一般发生在几分钟或者几小时内,而相机的采样速率可以是,例如,每秒钟三十张图像。因此,本实施例通常在连续帧中捕捉到相似的照明条件,和,这些帧之间的运动确定通常不会使照明方面的变化与运动混淆。局部照明条件的变化对本实施例检测用户运动的能力没有明显影响,或者不会使本实施例检测用户运动的能力明显降低的事实,允许本实施例当局部照明条件变化时,继续检测用户的运动。
图1A-1E示出了不同的交互系统100、120、130、140和150的例子。图1A示出了包括将图像显示在显示屏幕104上(称为“显示图像”)的显示装置(例如,投影仪102和显示屏幕104)的系统100。相机110可以按照采样速率、例如每秒钟30张图像、捕捉图像。可以由驻留在计算装置106上的应用程序生成显示图像,或者,可以由外部应用程序生成显示图像。在本讨论中,将显示图像说成“被显示”。但是,很清楚,图像也可以被投影。还应该清楚,其他实施例不必对图像执行投影。例如,可以使用液晶显示屏。
用户108与显示屏幕104上的显示图像执行互动。相机110捕捉包括用户108和显示在显示屏幕104上的显示图像。计算装置106对由相机110捕捉的图像执行处理,将用户108的运动与显示器中的运动隔离(即,分段),并且确定用户108的运动。用户108的确定的运动被用作生成显示图像的应用程序的输入。
交互系统100的部件可以按照很多不同配置布置,导致例如图1A-1E的不同系统。参照图1A,显示屏幕104位于用户108前面,而投影仪102和相机110位于用户108后面。因此,用户108位于投影仪102与显示屏幕104之间。因此,用户108会遮挡或部分遮挡由投影仪102在显示屏幕104上投影的显示图像。
参照图1B,系统120具有位于用户108之上的投影仪102、位于用户108前面的显示屏幕104以及位于用户108后面的相机110。这样的配置可以减少或消除显示图像中被用户104遮挡的部分。
参照图1C,系统130具有位于用户108之上的投影仪102和相机110,而显示屏幕104位于用户108下面。如图1C所示,例如,显示屏幕可以是地面。
参照图1D,系统140具有位于用户108之上的投影仪102和相机110,以及位于桌面112上的显示屏幕104。用户108仍然会遮挡显示图像的有限的、一般减少到最小的部分。
参照图1E,系统150具有位于桌子114里面的投影仪102。投影仪102对显示图像执行投影,使得显示图像被反射装置116(例如,反射镜)反射,并且显示在显示屏幕104上。显示屏幕104位于桌子114的桌面上,并且,相机110位于用户108之上。用户108不遮挡显示图像。可以使计算装置106可选地位于桌子114里面。
可以考虑其他配置。可以有许多变化,其中,相机可以被放置在这样一个位置,以使得该相机能够捕捉至少包括显示屏幕104以及与显示在显示屏幕104上的显示图像互动的用户108的一部分的图像。
如图1A-1E所示,显示装置包括投影仪102和显示屏幕104。但是,显示装置也可以包括、例如、等离子显示器、液晶显示器(LCD)、阴极射线管(CRT)显示器或者自动立体显示器。
参照图2,处理200可以用于确定用户108的运动,并且用于将确定的用户108的运动用作对应用程序的输入。处理200可以使用包括系统100的各种系统实施。尽管可以使用其他系统,但为表述清楚起见,结合系统100描述处理200。在对处理200的实施例执行描述的过程中使用系统100,意图不是对处理200执行限制。
处理200包括访问首先捕捉到的图像(202)和访问其次捕捉到的图像(204)。可以用相机110对至少一部分显示屏幕104的图像以及至少一部分与显示屏幕104互动的用户108的图像执行捕捉。捕捉的图像可以存储在图像缓冲器中,并且可以从图像缓冲器访问捕捉的图像。
然后,对首先捕捉到的图像与其次捕捉到的图像执行比较(206)。根据对首先捕捉到的图像与其次捕捉到的图像执行比较的结果,确定用户108的运动(208)。然后,使确定的用户运动与首先和其次捕捉到的图像中的一个或多个的一部分相关(210)。以下在对图3执行描述的过程中,对处理200的实施例的操作执行更充分的描述。
参照图3,其示出了系统的结构300。虽然可以使用其他系统,但为表述清楚起见,结合系统100来描述结构300。在描述结构300的该实施例中使用系统100并不试图限制结构300。
结构300包括应用程序302,应用程序302生成显示图像304,和将显示图像304提供给计算装置106的显示图像运动检测模块306,以及提供给显示装置310。显示图像304可以包括动画对象。换句话说,显示图像304中的对象的位置可以随时间变化,由此创建动画效果(例如,运动)。例如,连续显示图像304中的对象的位置之间的差异,定义了显示图像304中的运动。如参照图4A-4E更充分说明的,显示图像运动检测模块306对显示图像304执行比较,并且产生用于识别显示图像304中的运动的显示图像运动图308。
同时,显示装置310显示(例如,投影)显示图像304。投影的显示图像311被显示在显示屏幕104(没有示出)上,和,用户108(没有示出)与显示图像304互动。在本实施例中,用户108通过运动与显示图像304互动。例如,用户108可以将手伸向或者触摸显示图像304中的对象。
相机110捕捉包括投影的显示图像311和用户108的图像311。相机110将捕捉的图像314提供给计算装置106的捕捉的运动图像检测模块316。相机110可以将捕捉图像314直接提供给捕捉的运动图像检测模块316。可选的,捕捉的图象314可以被存储在图像缓冲器中,捕捉的运动图像检测模块316可以从该图像缓冲器访问捕捉的图像314。用户108在捕捉的图像314中的位置随时间变化。例如,连续捕捉图像314中的用户108的位置之间的差异定义了用户108的运动。如参照图5A-5E更充分说明的,捕捉的运动图像检测模块316对捕捉图像314执行比较,并且产生用于识别捕捉图像314中的运动的捕捉的运动图像图318。由于事实上捕捉图像314包括用户108和显示图像304,因此在捕捉的运动图像图318中识别的运动包括用户108的运动和显示图像304中的运动。
在某些实施例中,同步模块312可以被用于使显示图像304的显示与相机110捕捉图像同步。某些显示装置310(例如,包括数字光处理(digitallight processing,DLP)的显示装置)可以顺序地显示所述显示图像304的红、绿、蓝分量。当人眼不能检测出所述显示图像304的红、绿、蓝分量的顺序显示时,相机110可以捕捉红、绿、蓝分量的可变部分。因此,在连续捕捉的图像314内的捕捉的显示图像304的红、绿、蓝分量可能不同,从而导致捕捉的运动图像检测模块316检测出捕捉图像314中的这样的运动,它不属于显示图像304中的运动,但它是由显示装置310所创建的运动。因此,同步模块312可以被用于保证相机110在每张捕捉图像314中捕捉红、绿、蓝分量的一致部分。
在某些实施例中,为了生成运动图,显示图像运动检测模块306和捕捉的运动图像检测模块316对两个图像执行比较运算,例如,绝对差操作。对于灰度图像,通过计算两个图像中的每个像素的值的差的幅值(例如,绝对值),确定运动。或者,对于彩色图像,通过对用于两个图像中的每个像素的每个彩色通道(例如,红、绿、蓝)的值的差的幅值求和,确定运动图。通过对两个图像执行绝对差操作生成的运动图对在图像的区域内出现的运动执行识别。例如,图像的灰度序列的区域中的运动将产生很大的绝对差,很大的绝对差将在运动图中作为一个亮点出现。
在其他实施例中,为了生成运动图,例如,显示图像运动检测模块306和捕捉的运动图像检测模块316对两个图像执行光流操作。通常,光流算法对图像内的运动(例如,已经在图像内改变位置的对象)执行辨别,并且构成代表图像内被辨别的运动的速度的矢量(例如,方向/方位和幅值)。因此,光流算法不仅确定在图像内出现运动,而且确定图像内的运动的方向和幅值。因此,通过对两个图像执行光流操作生成的运动图对图像中的运动的出现、方位以及幅值执行识别。
运动检测模块306和316还可以执行滤波运算。例如,可以将滤波用于通过对两个图像执行绝对差操作而生成的运动图。在某些实施例中,运动检测模块306和316使用均值核心滤波器滤波所述运动图。均值核心滤波器根据运动图中的个别像素的周围像素的值,确定该个别像素的值。例如,如果使用3×3均值核心滤波器,则个别像素的值等于这个个别像素与其周围8个相邻像素的值的和或者平均值。用均值核心滤波器对运动图执行过滤,使运动区域的边缘光滑,还降低了运动图中的噪声(例如,额外的运动区域)。
另外,或者,运动检测模块306和316可以对运动图执行膨胀和侵蚀滤波运算。膨胀和侵蚀滤波运算也根据个别像素的周围像素的值,确定这个个别像素的值。在膨胀运算中,滤波窗口经过个别像素以及这个个别像素周围的一组像素,并且使这个个别像素的值等于过滤窗口内具有最大值的像素的值。在侵蚀运算中,滤波窗口经过个别像素以及这个个别像素周围的一组像素,并且使这个个别像素的值等于滤波窗口内具有最小值的像素的值。
运动检测模块306和316还可以对运动图执行分类运算。例如,运动检测模块306和316可以对运动图执行阈值运算。在阈值运算中,如果个别像素的值大于预定值,则给这个个别像素赋予表示“真”的值,并且,如果个别像素的值小于预定值,则给该个别像素赋予表示“假”的值。被赋予真值的像素可以代表被分类为代表运动的像素,而被赋予假值的像素可以代表被分类为不代表运动的像素。与此相反,被赋予真值的像素可以代表被分类为不代表运动的像素,而被赋予假值的像素可以代表被分类为代表运动的像素。
比较模块320通过将具体的显示图像运动图308与对应的捕捉的运动图像图318执行比较,确定用户108的运动。在显示图像运动图308和捕捉的运动图像图318中都出现的运动被归于显示器中的运动,而只出现在捕捉的运动图像图318中的运动被归于用户108的运动。因此,比较模块320通过对显示图像运动图308与捕捉的运动图像图318执行比较,并且将用户108的运动与显示器中运动隔离(即分段),创建用户运动图322,用于识别可以单独(或主要)归于用户108的运动。
在运动检测模块306和316执行绝对差操作的实施例中,代表显示图像运动图308和捕捉的运动图像图318两者中的运动的像素属于显示器中的运动。因此,这样的像素不被分类为代表用户运动图322中的运动。相反,只代表捕捉的运动图像图318中的运动的像素被归于用户108的运动,因此,这些像素被赋予代表用户运动图322中的运动的值。
在运动检测模块306和316执行光流操作的实施例中,捕捉的运动图像图318中的、明显不同于显示图像运动图308中的运动的运动被归于用户108的运动,并且被保留在用户运动图322中。例如,(1)如果幅值方面的差异超过幅值阈值;或者,(2)如果方位(例如方向)方面的差异超过方位阈值,则认为捕捉的运动图像图318中的运动明显不同于显示图像运动图308中的运动。因此,在这样的实施例中,甚至可以在也表现出显示器中的运动的区域内检测出用户108的运动。
存在用于将用户108的运动与显示器中的运动隔离的其他机制。例如,可以从捕捉图像314中减去对应的显示图像304,从而生成用户图像。然后,可以根据连续的用户图像,生成用户运动图。
已经确定的用户108的运动(例如,如在用户运动图322中代表的)被用作对应用程序302的用户输入。例如,应用程序302可以接收用户运动图322,并且根据用户运动图322,确定用户108对着显示图像304中的目标摇摆。响应于对用户108对着目标摇摆的确定,应用程序302生成适当的显示图像304,并且将这个显示图像提供给显示图像检测模块306和显示装置310。
可以用图4A-4E、5A-5E和6A-6E中示出的图,对用于确定用户108的运动的图像处理技术执行描述。例如,这样的图像处理技术可以由图3中示出的结构300执行。因此,为表述清楚起见,尽管可以用其他结构和系统执行相同的图像处理技术,但是,在图3中示出的结构300的情况下,对图4A-4E、5A-5E和6A-6E中示出的图执行描述。对图4A-4E、5A-5E和6A-6E中的图执行讨论时参照图3中示出的结构300,意图不是对用于执行结合图4A-4E、5A-5E和6A-6E中示出的图描述的图像处理技术的结构和系统执行限制。
作为对图4A-4E的简要介绍,图4A-4B示出了序列显示图像。图4C示出了在图4A-4B中示出的序列显示图像的合成图像,而图4D-4E示出用于识别图4A-4B中示出的序列显示图像中的运动的显示图像运动图。
作为对图5A-5E的简要介绍,图5A-5B示出了序列捕捉图像。图5C示出了在图5A-5B中示出的序列捕捉图像的合成图像,而图5D-5E示出用于识别图5A-5B中示出的序列捕捉图像中的运动的捕捉的运动图像图。
作为对图6A-6B的简要介绍,图6A-6B示出了与图4D-4E的显示图像运动图和图5D-5E的捕捉的运动图像图对应的用户运动图。
图4A示出了第一显示图像304(a),图5A示出了包括第一显示图像304(a)以及与显示器互动的用户108的对应的首先捕捉到的图像314(a)。应用程序302在时刻t-1生成第一显示图像304(a),并且将第一显示图像304(a)提供给显示图像运动检测模块306和显示装置310。如图4A所示,第一显示图像304(a)包括球402。显示装置310将第一显示图像304(a)显示在显示屏幕104上,并且,用户108与显示器互动。相机110捕捉包括第一显示图像304(a)以及与显示器互动的用户108的首先捕捉到的图像314(a)。因此,首先捕捉到的图像314(a)包括用户108以及第一显示图像304(a)的球402。
图4B示出了第二显示图像304(b),图5B示出了对应的、包括第二显示图像304(b)以及与显示器互动的用户108的其次捕捉到的图像314(b)。应用程序302在时刻t生成第二显示图像304(b),并且将第二显示图像304(b)提供给显示图像运动检测模块306和显示装置310。如图4B所示,第二显示图像304(b)包括与第一显示图像304(a)相同的球402。但是,相对于球402在第一显示图像304(a)中的位置,球402在第二显示图像304(b)中的位置靠左。为了说明球402在第一显示图像304(a)和第二显示图像304(b)中的不同位置,图4C示出了第一显示图像304(a)和第二显示图像304(b)的合成图像403。出现在图4C中的合成图像403不是由结构300或者结构300的任何部件生成的。相反它只是出于说明的目的而提出的,为的是示出球402在第一显示图像304(a)和第二显示图像304(b)中的不同位置。虚线圆402(a)代表球402在第一显示图像304(a)中的位置,而虚线圆402(b)代表球402在第二显示图像304(b)中的位置。
显示装置310在显示屏幕104上显示第二显示图像304(b),并且,用户108与显示器执行互动。相机110对包括第二显示图像304(b)以及与显示器互动的用户108的其次捕捉到的图像314(b)执行捕捉。因此,其次捕捉到的图像314(b)包括用户108和第二显示图像304(b)的球402。如图5B所示,相对于用户108在首先捕捉到的图像314(a)中的位置,用户108在其次捕捉到的图像314(b)中的位置靠右,而相对于球402在首先捕捉到的图像314(a)中的位置,球402在其次捕捉到的图像314(b)中的位置靠左。为了说明用户108和球402在首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中的不同位置,图5C示出了首先捕捉到的图像314(a)和其次捕捉到的图像314(b)的合成图像501。出现在图5C中的合成图像501不是由结构300或者结构300的任何部件生成的。相反,它只是出于说明的目的而提出的,为的是示出用户108和球402在首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中的不同位置。虚线的用户轮廓108(a)代表用户108在首先捕捉到的图像314(a)中的位置,虚线的用户轮廓108(b)代表用户108在其次捕捉到的图像314(b)中的位置。虚线圆402(c)代表球402在首先捕捉到的图像314(a)中的位置,而虚线圆402(d)代表球402在其次捕捉到的图像314(b)中的位置。
第二显示图像304(b)与第一显示图像304(a)之间的差异创建了显示器中的动画外观(即,运动)。球402在第一显示图像304(a)中的位置与球402在第二显示图像304(b)中的位置之间的差异代表球在时刻t-1与时刻t之间的运动。更一般地说,第一显示图像304(a)与第二显示图像304(b)之间的差异代表在时刻t-1与时刻t之间的、在显示器中的运动。
将第一显示图像304(a)和第二显示图像304(b)提供给显示图像运动检测模块306,以确定显示图像304(a)和304(b)中的运动。显示图像运动检测模块306将第一显示图像304(a)与第二显示图像304(b)执行比较,并且创建用于对两个图像304(a)和304(b)中的运动执行识别的显示图像运动图308。图4D示出了通过对第一显示图像304(a)和第二显示图像304(b)执行绝对差操作而生成的显示图像运动图308(a)的例子。由图4D可见,通过对第一显示图像304(a)和第二显示图像304(b)执行绝对差操作而生成的显示图像运动图308(a)识别出,在显示图像304(a)和304(b)的区域内存在运动404。
图4E示出了通过对第一显示图像304(a)和第二显示图像304(b)执行光流操作而生成的显示图像运动图308(b)的例子。由图4E可见,通过对第一显示图像304(a)和第二显示图像304(b)执行光流操作而生成的显示图像运动图308(b),使用矢量406识别出在显示图像304(a)和304(b)内的运动的存在、方向和幅值。
如以上讨论的,相对于用户108在首先捕捉到的图像314(a)中的位置,用户108在其次捕捉到的图像314(b)中的位置靠右。在用户108的位置方面的差异归于用户与显示器的互动。例如,好象执行模拟(例如,虚拟)排球比赛一样,为了对球402执行击球,用户108靠近球402。用户108在首先捕捉到的图像314(a)中的位置与用户108在其次捕捉到的图像314(b)中的位置之间的差异代表用户108在时刻t-1与时刻t之间的运动。
将首先捕捉到的图像314(a)和其次捕捉到的图像314(b)提供给捕捉图像检测模块316。捕捉图像检测模块316对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)执行比较,并且创建用于对两个图像314(a)和314(b)中的运动执行识别的捕捉的运动图像图318。图5D示出了通过对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)执行绝对差操作而生成的捕捉的运动图像图318(a)的例子。由图5D可见,捕捉的运动图像图318(a)识别出归于用户的运动500以及显示器中的运动502。图5E示出了通过对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)执行光流操作而生成的捕捉的运动图像图318(b)的例子。由图5E可见,捕捉的运动图像图318(b)使用矢量识别出归于用户的运动504以及显示器中的运动506。用于生成捕捉的运动图像图318(b)的光流算法可以辨别出首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中共有的对象(例如,用户108和球402),并且,对首先捕捉到的图像314(a)和其次捕捉到的图像314(b)中共有的对象的位置执行比较,以便生成用于识别图像314(a)和314(b)中的运动的矢量。
比较模块320将显示图像运动图308与捕捉的运动图像图318执行比较,生成用户运动图322。图6A示出了与显示图像运动图308(a)和捕捉的运动图像图318(a)对应的用户运动图322(a)的例子。由图6A可见,用户运动图322(a)识别出只(或者主要)归于用户的运动500。图6B示出了与显示图像运动图308(b)和捕捉的运动图像图318(b)对应的用户运动图322(b)的例子。由图6B可见,用户运动图322(b)识别出来只(或主要)归于用户的运动504。
参照图7,示出了系统的结构700。除了以下指出的区别以外,结构700与结合图3描述的结构300大致相同。
在某些实施例中,捕捉的运动图像图318中的特征的位置与显示图像运动图308中的对应特征的位置可能有偏差,例如,这是由于相机110相对显示屏幕104旋转,并且投影仪102与相机110彼此不同轴(例如,如图1A所示,相机110在投影仪102之上,因此投影仪102与相机110不共轴),或者,由于用于生成捕捉的运动图像图318的捕捉图像314的分辨率与用于生成显示图像运动图308的显示图像304的分辨率不同。因此,在某些实施例中,计算装置106包括几何变换模块702,用于将捕捉的运动图像图318中的数据变换(例如,变形、旋转、缩放、位移)为变换捕捉的运动图像图704,使得变换捕捉的运动图像图704中的特征与显示图像运动图308中的对应特征对准。因此,几何变换操作对颠倒安装的相机110执行补偿,对与投影仪102不同轴安装的相机110执行补偿,或者,对被投影到反射镜116上的显示图像执行补偿,其中,反射镜116将显示图像反射到显示屏幕104上。例如,几何变换操作可以包括:对像素执行移动或重新布置;对捕捉的运动图像图318的尺寸执行缩放;对运动值执行内插;和/或,对运动值执行外插。
可以将校准处理用于确定显示图像与包括显示图像的捕捉图像的坐标之间的几何映射。然后,可以将几何映射用于确定将捕捉的运动图像图318中的特征与显示图像运动图308中的对应特征对准所需要的几何变换操作。
校准处理可以包括在显示屏幕104上显示已知图案,例如,点栅格或棋盘。相机110捕捉包括图案的图像,并且,计算捕捉图像内的图案的位置。然后,针对捕捉图像内的每个像素,可以使用捕捉图像内的要素的,相对于显示图像内的对应要素的位置,对捕捉图像的坐标与显示图像的坐标之间的几何映射执行定义。
另外,或者,校准处理可以包括在显示图案或者部分图案之前,短时显示空白图像。捕捉的运动图像检测模块316可以通过检测捕捉图像内的变化(例如,运动)来检测图案。
如上所述,几何变换模块702对捕捉的运动图像图318执行几何变换操作。但是,在另一个实施例中,在捕捉图像314被提供给捕捉的运动图像检测模块316之前,几何变换模块702对捕捉图像314执行几何变换操作。
将显示图像304从应用程序302发送到显示装置310的处理、对显示图像执行显示的处理、用相机110捕捉图像的处理以及对捕捉图像执行处理的处理一般导致等待时间(即,延迟)。因此,相机在时刻t捕捉的图像包括稍早生成的显示图像。因此,在某些实施例中,计算装置106包括等待时间补偿模块706,时间补偿模块706执行等待时间补偿运算,以保证比较模块320将等待时间补偿显示图像运动图708与时间上彼此对应的变换捕捉的运动图像图704执行比较。
在某些实施例中,等待时间补偿模块706将显示图像运动图308存储在缓冲器中一段时间,这个时间与将等待时间补偿显示图像运动图708提供给比较模块320之前的等待时间相等。因此,等待时间补偿显示图像运动图708与对应的变换捕捉的运动图像图704几乎同时达到比较模块320。在另一个实施例中,等待时间补偿模块706将显示图像304存储在缓冲器中一段时间,这个时间与将显示图像提供给显示图像运动检测模块306之前的等待时间相等。
另外,或者,可以将等待时间补偿模块706用于对显示装置310的帧速率与相机110的采样速率之间的差异执行补偿。例如,显示装置310的帧速率可能比相机110的采样速率(例如,曝光时间)大。因此,单个捕捉图像可能包括对多个显示图像304的曝光。为了对显示装置310的帧速率与相机110的采样速率之间的这种差异执行补偿,等待时间补偿模块706可以将多个连续的显示图像运动图308组合成单个等待时间补偿显示图像运动图708。将被组合以产生单个等待时间补偿显示图像运动图708的显示图像运动图308的数量选择为与在相机110的一个采样周期(例如,曝光)期间显示的显示图象的数量匹配。
可以使用逻辑“0R”运算,对使用绝对差操作生成的显示图像运动图308执行组合。换句话说,如果被组合以生成等待时间补偿显示图像运动图708的多个显示图像运动图308中的任何一个中的像素被定义为代表运动,则等待时间补偿显示图像运动图708中的对应像素将被定义为代表运动。
或者,可以通过如下处理,对使用光流操作生成的显示图像运动图308执行组合,即,给等待时间补偿显示图像运动图708中的每个像素赋予一个运动范围,使得用于该像素的这个运动范围包括被组合以生成等待时间补偿显示图像运动图708的多个显示图像运动图308中对应像素的运动。
可以将校准处理用于确定显示图像被发送到显示装置310的时刻与对应图像被相机110捕捉到的时刻之间的等待时间。校准处理可以包括将空白显示图像显示一段时间,然后,显示包括图案的显示图像。对包括图案的显示图像被发送到显示装置310的时刻执行记录,并且将该时刻与在对应的捕捉图像中检测到图案的时刻执行比较,从而确定等待时间。
在某些实施例中,应用程序302将显示图像运动图308直接提供给计算装置106。在这样的实施例中,不需要显示图像运动检测模块306。此外,尽管图3和图7将应用程序302示出为在计算装置106以外,但是,在某些实施例中,应用程序302驻留在计算装置106内,并且在其上运行。如这些实施例阐明的,这里描述的功能可以在不同模块和不同装置中执行。因此,随着功能被从一个装置转移到另一个装置,装置之间的接口会改变。
在某些实施例中,在已经生成用户运动图322之后,将用户运动图322作为输入提供给生成显示图像304的应用程序302。应用程序302使用用户运动图322检测用户108的互动。
例如,如果在与用于一个或多个连续帧的对象的已知位置对应的区域中检测到用户108的运动,则应用程序322可以确定用户108“触摸”显示图象304中的对象。举例来说,用户108也许能够通过“触摸”按钮来选择按钮(例如,使按钮“开”或“关”)。应该理解,用户108不必为了应用程序302确定用户108正在“触摸”显示图像304中的对象而与显示屏幕104执行物理触摸。尽管用户108可以与显示屏幕104执行物理触摸,但是,当用户108的一部分身体在显示在显示屏幕104上的对象之上或附近摇摆或停留时,应用程序302也可以确定用户108正在“触摸”显示图像304中的对象。
此外,应用程序302可以通过确定与显示图像304中的对象对应的区域的、被分类为包含用户108的运动的部分的面积,确定用户108在该区域中的运动量。因此,应用程序302可以区分用户108的不同类型的运动(例如,灵活的运动与慎重的运动),并且,使用用户108的不同类型的运动,对对象的位置和/或行为执行控制。还应该清楚,实施例可以将不在显示图像中的感兴趣的区域附近出现的用户运动忽略。
或者,当应用程序302接收到光流用户运动图322时,应用程序302可以根据某个区域内的运动矢量的平均幅值或最大幅值,确定该区域中的运动量。因此,应用程序322可以使用用户108的运动的速度,控制对象的位置和/或行为。例如,如果对象在被用户108触摸之前具有初始速度,则应用程序302可以改变对象被用户108触摸之后的速度,使得对象的合成速度综合反映对象的初始速度与对象受用户108影响的速度。
应用程序302还可以允许用户108使用运动对显示图像304中的对象的外观执行变换。例如,应用程序可以允许用户“摩擦”显示屏幕104,从而显露新的对象,代替原始对象。
实施例可以以各种其他方式确定用户运动。例如,可以在确定运动之前,从捕捉图像314中“减去”显示图像304。相似地,其他实施例可以重新排列执行描述过的功能的顺序。
计算装置106可以是计算机或其他类型的处理设备。例如,计算装置106可以是运行微软视窗操作系统的个人计算机(PC)。此外,或者,计算装置106可以包括具有数字信号处理(DSP)芯片和/或可编程像素着色器(programmab1e pixel-shader)的视频图形卡。此外,计算装置106可以是单独的部件,或者,计算装置106可以被并入显示装置310。将计算装置106并入显示装置310可以使在对显示图像执行发送、显示、捕捉以及处理的过程中的、一般固有的延迟减小。
如果应用程序302驻留在计算装置106上,则应用程序可以使用ActiveX对象形式的Macromedia Flash。计算装置106可以将Windows Device Context与显示图像缓冲器联系起来,并且,计算装置106可以将Device Context提供给Macromedia F1ash ActiveX对象,使得Macromedia Flash将图像提供到显示图像缓冲器中。
或者,应用程序302可以在计算装置106以外。当应用程序302在计算装置106以外时,视频信号(例如,视频图形阵列(Video graphics array,VGA))可以被发送到显示装置310和视频捕捉装置(例如,VGA帧接收器)。视频捕捉装置可以生成显示图像的表示,并且将显示图像的表示存储在显示图像缓冲器中。
实施例可以包括一个或多个被配置为执行一个或多个处理的装置。例如,装置可以包括分立的或集成的硬件、固件和软件。例如,装置可以包括一般称为处理设备的处理器,例如,处理器包括微处理器、集成电路或者可编程逻辑器件。
装置还可以包括一个或多个计算机可读介质,计算机可读介质具有用于执行一个或多个处理的指令。例如,计算机可读介质可以包括存储装置,如硬盘、光盘、随机存取存储器(RAM)、只读存储器(ROM)。例如,计算机可读介质还可以包括对指令执行编码或发送的、经过格式化的电磁波。例如,指令可以在硬件、固件、软件中,并且可以在电磁波中。例如,可以在操作系统、独立的应用程序或者二者的组合中找到指令。因此,处理器可以被特性化为,例如,既是被配置为执行处理的装置,又是包括具有用于执行处理的指令的计算机可读介质的装置。
已经对若干实施例执行了描述。然而,应该理解,可以执行各种修改。例如,为了产生其他实施例,可以对不同实施例的要素执行组合、补充、修改或去除。因此,其他实施例在以下的权利要求的范围内。
Claims (17)
1.一种用于检测图像中的运动的方法,包括:
访问首先捕捉到的图像,所述首先捕捉到的图像包括(1)由计算装置所执行的一组指令在第一时间点产生的第一显示,以及(2)与所述第一显示互动的、并且不是所述第一显示的一部分的用户;
访问其次捕捉到的图像,所述其次捕捉到的图像包括(1)由该组该计算装置所执行的指令在第二时间点产生的第二显示,以及(2)与所述第二显示交互的、并且不是所述第二显示的一部分的所述用户;
对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较;
基于对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较的结果,确定所述用户的运动;和
使所述用户的已经确定的运动与所述首先和其次捕捉到的图像中的一个或多个的部分图像相联系,
其中所述第一显示和第二显示是指显示包括一个或多个对象的图像。
2.如权利要求1所述的方法,还包括,将所述用户的已经确定的运动以及所述部分图像的表示提供给所述计算装置。
3.如权利要求1所述的方法,还包括,基于所述已经确定的运动以及所述部分图像,确定用于该组指令的输入。
4.如权利要求1所述的方法,其中,对所述首先和其次捕捉到的图像执行比较的步骤包括对所述首先捕捉到的图像和所述其次捕捉到的图像执行绝对差操作。
5.如权利要求1所述的方法,其中,对所述首先和其次捕捉到的图像执行比较的步骤包括对所述首先捕捉到的图像和所述其次捕捉到的图像执行光流操作。
6.如权利要求1所述的方法,其中,对所述首先和其次捕捉到的图像执行比较的步骤包括产生所述结果,所述结果是表示所述用户的运动以及与所述第一和第二显示中的一个或多个对象相关的运动的图像。
7.如权利要求6所述的方法,还包括对所述结果执行几何变换操作。
8.如权利要求6所述的方法,其中,基于对所述首先捕捉到的图像和所述其次捕捉到的图像执行比较的结果确定所述用户的运动的步骤包括,在所述结果中,将所述用户的运动和与所述第一和第二显示中的一个或多个对象相关的运动相互隔离。
9.如权利要求8所述的方法,还包括:
访问表示与所述第一和第二显示中的一个或多个对象相关的运动的图像,其中,在所述结果中,使所述用户的运动和与所述第一和第二显示中的一个或多个对象相关的运动相互隔离的步骤包括将所述结果与表示和所述第一和第二显示中的一个或多个对象相关的运动的所述图像执行比较。
10.如权利要求9所述的方法,其中,访问表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像的步骤包括:
访问与所述第一显示对应的第一显示图像;
访问与所述第二显示对应的第二显示图像;和
通过对所述第一显示图像和所述第二显示图像执行绝对差操作,生成表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像。
11.如权利要求9所述的方法,其中,访问表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像的步骤包括:
访问与所述第一显示对应的第一显示图像;
访问与所述第二显示对应的第二显示图像;和
通过对所述第一显示图像和所述第二显示图像执行光流操作,生成表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像。
12.如权利要求9所述的方法,还包括,对表示与所述第一和第二显示中的一个或多个对象相关的运动的所述图像执行等待时间补偿运算。
13.一种用于检测图像中的运动的系统,包括:
捕捉到的图像运动检测模块,被配置为:
访问首先捕捉到的图像,所述首先捕捉到的图像包括(1)由计算装置所执行的一组指令在第一时间点产生的第一显示,以及(2)与所述第一显示互动的、并且不是所述第一显示的一部分的用户;
访问其次捕捉到的图像,所述其次捕捉到的图像包括(1)由所述计算装置执行的该组指令在第二时间点产生的第二显示,以及(2)与所述第二显示互动的、并且不是所述第二显示的一部分的所述用户;
通过比较所述首先捕捉到的图像和所述其次捕捉到的图像,生成代表所述首先和其次捕捉到的图像之间的运动的图像,
其中所述第一显示和第二显示是指显示包括一个或多个对象的图像;以及
比较模块,被配置为基于对代表与所述第一和第二显示中的一个或多个对象相关的运动的图像与代表所述首先和其次捕捉到的图像之间的运动的所述图像执行比较的结果生成代表所述用户的运动的图像。
14.如权利要求13所述的系统,还包括显示图像运动检测模块,被配置为:
访问所述第一显示图像;
访问所述第二显示图像;和
通过对所述第一显示图像与所述第二显示图像执行比较,生成代表与所述第一和第二显示中的一个或多个对象相关的运动的所述图像。
15.如权利要求14所述的系统,还包括:
相机,被配置为,(1)捕捉所述首先捕捉到的图像,并且将所述首先捕捉到的图像提供给所述捕捉的运动图像检测模块,并且,(2)捕捉所述其次捕捉到的图像,并且将所述其次捕捉到的图像提供给所述捕捉的运动图像检测模块;
显示器,用于显示图像;以及
计算装置,被配置为执行一组指令,以产生所述第一和第二显示图像。
16.如权利要求14所述的系统,还包括等待时间补偿模块,被配置为对代表与所述第一和第二显示中的一个或多个对象相关的运动的所述图像执行等待时间补偿运算。
17.如权利要求13所述的系统,还包括几何变换模块,被配置为对代表所述首先和其次捕捉到的图像之间的运动的所述图像执行几何变换操作。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US64507405P | 2005-01-21 | 2005-01-21 | |
US60/645,074 | 2005-01-21 | ||
PCT/US2006/002200 WO2006078996A2 (en) | 2005-01-21 | 2006-01-23 | Motion-based tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101147188A CN101147188A (zh) | 2008-03-19 |
CN101147188B true CN101147188B (zh) | 2010-09-29 |
Family
ID=36692969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800090302A Expired - Fee Related CN101147188B (zh) | 2005-01-21 | 2006-01-23 | 图像处理中基于运动的跟踪的方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8144118B2 (zh) |
EP (2) | EP1851749B1 (zh) |
JP (1) | JP4689684B2 (zh) |
CN (1) | CN101147188B (zh) |
AT (1) | ATE551675T1 (zh) |
WO (1) | WO2006078996A2 (zh) |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8144118B2 (en) | 2005-01-21 | 2012-03-27 | Qualcomm Incorporated | Motion-based tracking |
ES2569411T3 (es) | 2006-05-19 | 2016-05-10 | The Queen's Medical Center | Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia |
GB2438449C (en) | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
JP2010515170A (ja) | 2006-12-29 | 2010-05-06 | ジェスチャー テック,インコーポレイテッド | 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作 |
WO2008137708A1 (en) * | 2007-05-04 | 2008-11-13 | Gesturetek, Inc. | Camera-based user input for compact devices |
US9177368B2 (en) * | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
US20120044141A1 (en) * | 2008-05-23 | 2012-02-23 | Hiromu Ueshima | Input system, input method, computer program, and recording medium |
CN101650520A (zh) * | 2008-08-15 | 2010-02-17 | 索尼爱立信移动通讯有限公司 | 移动电话的可视激光触摸板和方法 |
GB2466497B (en) | 2008-12-24 | 2011-09-14 | Light Blue Optics Ltd | Touch sensitive holographic displays |
US20100182334A1 (en) * | 2009-01-22 | 2010-07-22 | Global Graphics Software Limited | Method and system for improved display of sampled data differences |
US8624962B2 (en) * | 2009-02-02 | 2014-01-07 | Ydreams—Informatica, S.A. Ydreams | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
JP5347673B2 (ja) * | 2009-04-14 | 2013-11-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5318646B2 (ja) * | 2009-04-17 | 2013-10-16 | ルネサスエレクトロニクス株式会社 | 差分画像生成装置、差分画像生成方法、及びプログラム |
US8727875B2 (en) * | 2009-07-27 | 2014-05-20 | Obscura Digital, Inc. | Automated enhancements for billiards and the like |
US8992315B2 (en) * | 2009-07-27 | 2015-03-31 | Obscura Digital, Inc. | Automated enhancements for billiards and the like |
GB0920754D0 (en) * | 2009-11-27 | 2010-01-13 | Compurants Ltd | Inamo big book 1 |
CN102129151A (zh) * | 2010-01-20 | 2011-07-20 | 鸿富锦精密工业(深圳)有限公司 | 前投影控制系统及方法 |
US20110199302A1 (en) * | 2010-02-16 | 2011-08-18 | Microsoft Corporation | Capturing screen objects using a collision volume |
JP2011203823A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8818027B2 (en) * | 2010-04-01 | 2014-08-26 | Qualcomm Incorporated | Computing device interface |
US9262015B2 (en) | 2010-06-28 | 2016-02-16 | Intel Corporation | System for portable tangible interaction |
US20110317871A1 (en) * | 2010-06-29 | 2011-12-29 | Microsoft Corporation | Skeletal joint recognition and tracking system |
JP2012064201A (ja) * | 2010-08-19 | 2012-03-29 | Semiconductor Energy Lab Co Ltd | 入出力装置及び入出力装置の駆動方法 |
KR101714050B1 (ko) * | 2010-11-01 | 2017-03-08 | 삼성전자주식회사 | 휴대단말기의 데이터 표시장치 및 방법 |
FR2967804B1 (fr) * | 2010-11-19 | 2013-01-04 | Total Immersion | Procede et dispositif de detection et de suivi d'objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d'interagir avec un systeme informatique |
US20120169586A1 (en) * | 2011-01-03 | 2012-07-05 | Carrier Corporation | Virtual interface |
US10281915B2 (en) | 2011-01-05 | 2019-05-07 | Sphero, Inc. | Multi-purposed self-propelled device |
US9218316B2 (en) | 2011-01-05 | 2015-12-22 | Sphero, Inc. | Remotely controlling a self-propelled device in a virtualized environment |
EP2474950B1 (en) | 2011-01-05 | 2013-08-21 | Softkinetic Software | Natural gesture based user interface methods and systems |
US9090214B2 (en) | 2011-01-05 | 2015-07-28 | Orbotix, Inc. | Magnetically coupled accessory for a self-propelled device |
WO2012094349A2 (en) | 2011-01-05 | 2012-07-12 | Orbotix, Inc. | Self-propelled device with actively engaged drive system |
US9429940B2 (en) | 2011-01-05 | 2016-08-30 | Sphero, Inc. | Self propelled device with magnetic coupling |
JP2012215963A (ja) * | 2011-03-31 | 2012-11-08 | Hitachi Consumer Electronics Co Ltd | 映像表示装置 |
US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
JP5799627B2 (ja) * | 2011-07-15 | 2015-10-28 | セイコーエプソン株式会社 | 位置検出装置、位置検出システムおよび入力機能付き表示システム |
US9606209B2 (en) | 2011-08-26 | 2017-03-28 | Kineticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
GB2496429B (en) * | 2011-11-11 | 2018-02-21 | Sony Corp | A method and apparatus and program |
WO2013090554A1 (en) * | 2011-12-15 | 2013-06-20 | Jintronix, Inc. | Method and system for evaluating a patient during a rehabilitation exercise |
EP2650754A3 (en) * | 2012-03-15 | 2014-09-24 | Omron Corporation | Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium |
US9827487B2 (en) | 2012-05-14 | 2017-11-28 | Sphero, Inc. | Interactive augmented reality using a self-propelled device |
CN104428791A (zh) | 2012-05-14 | 2015-03-18 | 澳宝提克斯公司 | 通过检测图像中的圆形物体操作计算装置 |
US9292758B2 (en) | 2012-05-14 | 2016-03-22 | Sphero, Inc. | Augmentation of elements in data content |
US20140003674A1 (en) * | 2012-06-27 | 2014-01-02 | Christopher D. Coley | Skin-Based User Recognition |
US10056791B2 (en) | 2012-07-13 | 2018-08-21 | Sphero, Inc. | Self-optimizing power transfer |
US9197870B1 (en) * | 2012-09-12 | 2015-11-24 | Amazon Technologies, Inc. | Automatic projection focusing |
JP2014059803A (ja) * | 2012-09-19 | 2014-04-03 | Alps Electric Co Ltd | 入力装置 |
CN104871127B (zh) * | 2012-12-21 | 2018-04-10 | 巴科股份有限公司 | 显示器间的差分等待时间的自动化测量 |
US20150331491A1 (en) * | 2012-12-27 | 2015-11-19 | Thomas Licensing | System and method for gesture based touchscreen control of displays |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN105392423B (zh) | 2013-02-01 | 2018-08-17 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
US8977060B2 (en) * | 2013-05-16 | 2015-03-10 | Microsoft Technology Licensing, Llc | Motion stabilization and detection of articulated objects |
DE102013211904A1 (de) * | 2013-06-24 | 2014-12-24 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bestimmen von Gesten im Strahlbereich eines Projektors |
US9011246B1 (en) * | 2013-11-18 | 2015-04-21 | Scott Kier | Systems and methods for immersive backgrounds |
US9829882B2 (en) | 2013-12-20 | 2017-11-28 | Sphero, Inc. | Self-propelled device with center of mass drive system |
US10004462B2 (en) | 2014-03-24 | 2018-06-26 | Kineticor, Inc. | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
JP2015200960A (ja) * | 2014-04-04 | 2015-11-12 | 株式会社リコー | 情報システム、情報処理方法、及びプログラム |
US9616350B2 (en) * | 2014-05-21 | 2017-04-11 | Universal City Studios Llc | Enhanced interactivity in an amusement park environment using passive tracking elements |
US9547370B2 (en) * | 2014-05-27 | 2017-01-17 | Fuji Xerox Co., Ltd. | Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems |
US9330306B2 (en) * | 2014-06-11 | 2016-05-03 | Panasonic Intellectual Property Management Co., Ltd. | 3D gesture stabilization for robust input control in mobile environments |
JP6335695B2 (ja) * | 2014-07-09 | 2018-05-30 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
PT107791A (pt) * | 2014-07-21 | 2016-01-21 | Ricardo José Carrondo Paulino | Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos |
WO2016014718A1 (en) | 2014-07-23 | 2016-01-28 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN106034029A (zh) | 2015-03-20 | 2016-10-19 | 阿里巴巴集团控股有限公司 | 基于图片验证码的验证方法和装置 |
US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
WO2017091479A1 (en) | 2015-11-23 | 2017-06-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
EP3391638A4 (en) * | 2015-12-16 | 2019-08-14 | Martineau, Pierre R. | METHOD AND DEVICE FOR REMANENT IMAGE CONTROL |
US10181195B2 (en) * | 2015-12-28 | 2019-01-15 | Facebook, Inc. | Systems and methods for determining optical flow |
JP2017169086A (ja) * | 2016-03-17 | 2017-09-21 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法及びプログラム |
US10401145B2 (en) | 2016-06-13 | 2019-09-03 | Carl Zeiss Industrielle Messtechnik Gmbh | Method for calibrating an optical arrangement |
CN111249691B (zh) * | 2018-11-30 | 2021-11-23 | 百度在线网络技术(北京)有限公司 | 一种基于形体识别的运动员训练方法和系统 |
DE102019119138B4 (de) * | 2019-07-15 | 2022-01-20 | Deutsche Post Ag | Bestimmen einer Verteil- und/oder Sortierinformation zum automatisierten Verteilen und/oder Sortieren einer Sendung |
US10976818B2 (en) | 2019-08-21 | 2021-04-13 | Universal City Studios Llc | Interactive attraction system and method for object and user association |
GB2610018B (en) * | 2021-06-04 | 2023-09-13 | Canon Kk | Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5982352A (en) * | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
Family Cites Families (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4746770A (en) | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
US5164992A (en) | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
US5483261A (en) | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
USRE38420E1 (en) | 1992-08-12 | 2004-02-10 | British Broadcasting Corporation | Derivation of studio camera position and motion from the camera image |
US6008800A (en) | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
US5435554A (en) | 1993-03-08 | 1995-07-25 | Atari Games Corporation | Baseball simulation system |
US5436639A (en) * | 1993-03-16 | 1995-07-25 | Hitachi, Ltd. | Information processing system |
JP3727954B2 (ja) | 1993-11-10 | 2005-12-21 | キヤノン株式会社 | 撮像装置 |
DE4415167A1 (de) | 1994-04-29 | 1995-11-02 | Siemens Ag | Telekommunikationsanordnung zum Übertragen von Bildern |
US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
JPH08179888A (ja) | 1994-12-21 | 1996-07-12 | Hitachi Ltd | 大画面ディスプレイ用入力装置 |
US5710833A (en) | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
EP0823683B1 (en) * | 1995-04-28 | 2005-07-06 | Matsushita Electric Industrial Co., Ltd. | Interface device |
US5852672A (en) | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
US6127990A (en) | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
US5986675A (en) | 1996-05-24 | 1999-11-16 | Microsoft Corporation | System and method for animating an object in three-dimensional space using a two-dimensional input device |
US6072469A (en) * | 1996-06-20 | 2000-06-06 | Chen; Mei-Yun | Cursor positioning device for computer system |
US6075905A (en) | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
JP3876942B2 (ja) | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
JP3968477B2 (ja) * | 1997-07-07 | 2007-08-29 | ソニー株式会社 | 情報入力装置及び情報入力方法 |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6072496A (en) | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
JP4033582B2 (ja) | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力/検出装置および電子黒板システム |
US6377700B1 (en) | 1998-06-30 | 2002-04-23 | Intel Corporation | Method and apparatus for capturing stereoscopic images using image sensors |
US6628819B1 (en) | 1998-10-09 | 2003-09-30 | Ricoh Company, Ltd. | Estimation of 3-dimensional shape from image sequence |
US6201554B1 (en) | 1999-01-12 | 2001-03-13 | Ericsson Inc. | Device control apparatus for hand-held data processing device |
US7015950B1 (en) | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
US6791531B1 (en) | 1999-06-07 | 2004-09-14 | Dot On, Inc. | Device and method for cursor motion control calibration and object selection |
US6275214B1 (en) | 1999-07-06 | 2001-08-14 | Karl C. Hansen | Computer presentation system and method with optical tracking of wireless pointer |
EP1239312A4 (en) * | 1999-09-27 | 2005-09-21 | Sumitomo Electric Industries | OPTICAL FIBER WITH DISTRIBUTION MANAGEMENT, METHOD FOR MANUFACTURING THE SAME, OPTICAL COMMUNICATION SYSTEM USE AND OPTICAL FIBER BASE MATERIAL |
US7187412B1 (en) | 2000-01-18 | 2007-03-06 | Hewlett-Packard Development Company, L.P. | Pointing device for digital camera display |
US6663491B2 (en) * | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6535114B1 (en) | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
JP3603737B2 (ja) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
US6624833B1 (en) | 2000-04-17 | 2003-09-23 | Lucent Technologies Inc. | Gesture-based input interface system with shadow detection |
US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
JP4059620B2 (ja) | 2000-09-20 | 2008-03-12 | 株式会社リコー | 座標検出方法、座標入力/検出装置及び記憶媒体 |
US20020153188A1 (en) | 2000-12-08 | 2002-10-24 | Brandt Kenneth A. | Selectable control parameters on a power machine with four-wheel steering |
US7176440B2 (en) | 2001-01-19 | 2007-02-13 | Honeywell International Inc. | Method and apparatus for detecting objects using structured light patterns |
EP1428108B1 (en) * | 2001-05-14 | 2013-02-13 | Koninklijke Philips Electronics N.V. | Device for interacting with real-time streams of content |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7061628B2 (en) | 2001-06-27 | 2006-06-13 | Southwest Research Institute | Non-contact apparatus and method for measuring surface profile |
JP3849481B2 (ja) * | 2001-10-03 | 2006-11-22 | ソニー株式会社 | 信号処理方法と信号処理装置及び信号処理プログラム |
WO2003036557A1 (en) * | 2001-10-22 | 2003-05-01 | Intel Zao | Method and apparatus for background segmentation based on motion localization |
US20030098841A1 (en) | 2001-11-26 | 2003-05-29 | Jessica Broussard | Powered, remotely controllable computer display device |
KR100415313B1 (ko) * | 2001-12-24 | 2004-01-16 | 한국전자통신연구원 | 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 |
GB0204652D0 (en) * | 2002-02-28 | 2002-04-10 | Koninkl Philips Electronics Nv | A method of providing a display gor a gui |
US20050122308A1 (en) | 2002-05-28 | 2005-06-09 | Matthew Bell | Self-contained interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
JP4230999B2 (ja) * | 2002-11-05 | 2009-02-25 | ディズニー エンタープライゼス インコーポレイテッド | ビデオ作動インタラクティブ環境 |
US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
US6840627B2 (en) * | 2003-01-21 | 2005-01-11 | Hewlett-Packard Development Company, L.P. | Interactive display device |
US7127101B2 (en) | 2003-03-10 | 2006-10-24 | Cranul Technologies, Inc. | Automatic selection of cranial remodeling device trim lines |
US7162075B2 (en) | 2003-03-10 | 2007-01-09 | Cranial Technologies, Inc. | Three-dimensional image capture system |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7333133B2 (en) | 2003-03-31 | 2008-02-19 | Spatial Integrated Systems, Inc. | Recursive least squares approach to calculate motion parameters for a moving camera |
US7463280B2 (en) | 2003-06-03 | 2008-12-09 | Steuart Iii Leonard P | Digital 3D/360 degree camera system |
IL157877A0 (en) | 2003-09-11 | 2004-03-28 | Imagine It S Happening Ltd | Color edge based 3d scanner |
US20050075975A1 (en) | 2003-10-02 | 2005-04-07 | Rosner Warren M. | Allocating funds for payment of transactional account statements |
US7536032B2 (en) | 2003-10-24 | 2009-05-19 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
CN1902930B (zh) | 2003-10-24 | 2010-12-15 | 瑞克楚斯系统公司 | 管理交互式视频显示系统的方法和系统 |
US7312819B2 (en) | 2003-11-24 | 2007-12-25 | Microsoft Corporation | Robust camera motion analysis for home video |
US7420540B2 (en) * | 2003-12-01 | 2008-09-02 | Olbrich Craig A | Determining positioning and/or relative movement of graphical-user interface element based on display images |
KR100594971B1 (ko) | 2004-01-09 | 2006-06-30 | 삼성전자주식회사 | 지자기 센서를 이용한 입력장치 및 이를 이용한 입력신호생성방법 |
WO2005067389A2 (en) | 2004-01-15 | 2005-07-28 | Technion Research & Development Foundation Ltd. | Three-dimensional video scanner |
JP2005301693A (ja) * | 2004-04-12 | 2005-10-27 | Japan Science & Technology Agency | 動画編集システム |
US7259758B2 (en) * | 2004-06-21 | 2007-08-21 | Microsoft Corporation | System and method for reducing latency in display of computer-generated graphics |
US7466308B2 (en) * | 2004-06-28 | 2008-12-16 | Microsoft Corporation | Disposing identifying codes on a user's hand to provide input to an interactive display application |
US7519223B2 (en) * | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7730406B2 (en) * | 2004-10-20 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Image processing system and method |
CN101137996A (zh) | 2005-01-07 | 2008-03-05 | 格斯图尔泰克股份有限公司 | 基于光流的倾斜传感器 |
US8144118B2 (en) | 2005-01-21 | 2012-03-27 | Qualcomm Incorporated | Motion-based tracking |
WO2006084385A1 (en) | 2005-02-11 | 2006-08-17 | Macdonald Dettwiler & Associates Inc. | 3d imaging system |
-
2006
- 2006-01-23 US US11/337,090 patent/US8144118B2/en not_active Expired - Fee Related
- 2006-01-23 WO PCT/US2006/002200 patent/WO2006078996A2/en active Application Filing
- 2006-01-23 AT AT06719160T patent/ATE551675T1/de active
- 2006-01-23 CN CN2006800090302A patent/CN101147188B/zh not_active Expired - Fee Related
- 2006-01-23 EP EP06719160A patent/EP1851749B1/en not_active Not-in-force
- 2006-01-23 EP EP20120153987 patent/EP2458554B1/en not_active Not-in-force
- 2006-01-23 JP JP2007552319A patent/JP4689684B2/ja not_active Expired - Fee Related
-
2012
- 2012-02-28 US US13/406,971 patent/US8717288B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5982352A (en) * | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
Also Published As
Publication number | Publication date |
---|---|
EP2458554A1 (en) | 2012-05-30 |
US8717288B2 (en) | 2014-05-06 |
WO2006078996A3 (en) | 2007-04-19 |
CN101147188A (zh) | 2008-03-19 |
JP4689684B2 (ja) | 2011-05-25 |
US20060192782A1 (en) | 2006-08-31 |
EP2458554B1 (en) | 2015-04-29 |
EP1851749B1 (en) | 2012-03-28 |
WO2006078996A2 (en) | 2006-07-27 |
EP1851749A2 (en) | 2007-11-07 |
EP1851749A4 (en) | 2011-03-02 |
US20120154272A1 (en) | 2012-06-21 |
ATE551675T1 (de) | 2012-04-15 |
US8144118B2 (en) | 2012-03-27 |
JP2008529135A (ja) | 2008-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101147188B (zh) | 图像处理中基于运动的跟踪的方法和系统 | |
US8081822B1 (en) | System and method for sensing a feature of an object in an interactive video display | |
US10990189B2 (en) | Processing of gesture-based user interaction using volumetric zones | |
US11670043B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US10016679B2 (en) | Multiple frame distributed rendering of interactive content | |
Von Hardenberg et al. | Bare-hand human-computer interaction | |
US8411149B2 (en) | Method and device for identifying and extracting images of multiple users, and for recognizing user gestures | |
US6771277B2 (en) | Image processor, image processing method, recording medium, computer program and semiconductor device | |
US7170492B2 (en) | Interactive video display system | |
US20060139314A1 (en) | Interactive video display system | |
CN104471511B (zh) | 识别指点手势的装置、用户接口和方法 | |
US20170032577A1 (en) | Real-time virtual reflection | |
US9274606B2 (en) | NUI video conference controls | |
US20150070263A1 (en) | Dynamic Displays Based On User Interaction States | |
EP2104905A2 (en) | Manipulation of virtual objects using enhanced interactive system | |
JP2005500590A (ja) | カメラビュー内の制御可能なディスプレイの可視点のロバスト決定方法 | |
Sueishi et al. | Lumipen 2: Dynamic projection mapping with mirror-based robust high-speed tracking against illumination changes | |
CN113613742A (zh) | 提供计算机生成环境的系统和方法 | |
Marner et al. | Exploring interactivity and augmented reality in theater: A case study of Half Real | |
EP4291971A1 (en) | Adaptable personal user interfaces in cross-application virtual reality settings | |
Xu et al. | Tennis space: an interactive and immersive environment for tennis simulation | |
CN115607957A (zh) | 游戏控制方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee |
Owner name: QUALCOMM INC. Free format text: FORMER NAME: GESTURE TEK INC. |
|
CP03 | Change of name, title or address |
Address after: American California Patentee after: Qualcomm Inc. Address before: American New York Patentee before: Gesturetek Inc. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100929 Termination date: 20210123 |