CN101479690A - 使用摄像机来生成位置信息 - Google Patents

使用摄像机来生成位置信息 Download PDF

Info

Publication number
CN101479690A
CN101479690A CNA2007800246527A CN200780024652A CN101479690A CN 101479690 A CN101479690 A CN 101479690A CN A2007800246527 A CNA2007800246527 A CN A2007800246527A CN 200780024652 A CN200780024652 A CN 200780024652A CN 101479690 A CN101479690 A CN 101479690A
Authority
CN
China
Prior art keywords
information
reference field
user
equipment
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800246527A
Other languages
English (en)
Inventor
F-H·苏
R·高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38876099&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101479690(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101479690A publication Critical patent/CN101479690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

描述了一种从摄像机接收图像信息的位置确定模块。该位置确定模块标识该图像信息中的至少一个参考域以提供所标识的参考信息。该位置确定模块然后基于所标识的参考信息来生成位置信息。该位置信息与参考域相对于该摄像机的位置相关联。在一个实现中，摄像机是固定的并且参考域耦合到用户操纵的设备。在另一实现中，参考域耦合到固定的显示设备而摄像机耦合到可移动的、用户操纵的设备。

Description

使用摄像机来生成位置信息
背景
存在允许用户控制应用程序的许多不同种类的设备。用户可操纵这些类型的设备来控制屏幕上的指针，控制游戏人物的行为等。这些设备中最普遍的设备包括键盘、鼠标设备、操纵杆、跟踪球、语音识别工具等。较少见类型的控制设备包括数据手套、惯性传感器、无线电定位机制等。
已知的控制设备可能具有各种缺点。例如，某些控制设备不能够以足够的自由度(DOF)来捕捉用户输入以便控制特定应用程序。其他控制设备可能提供不够精确或可靠的位置信息。其他设备可能使用起来很麻烦。其他设备可能是及其昂贵的。已知的控制设备可能还具有其他缺点。
对于以上标识的示例性和非限制性原因中的至少一个或多个，本领域内存在对用于控制应用程序的更令人满意的策略的需求。
概述
描述了一种从摄像机接收图像信息的位置确定模块。该位置确定模块标识该图像信息中的至少一个参考域以提供所标识的参考信息。该位置确定模块然后基于所标识的参考信息来生成位置信息。该位置信息与参考域相对于该摄像机的位置相关联。在一个实现中，摄像机是固定的并且参考域耦合到用户操纵的设备。在另一实现中，参考域耦合到固定的显示设备而摄像机耦合到可移动的、用户操纵的设备。
可以使用位置信息来控制应用程序。例如，应用程序可使用位置信息来控制显示设备上的标记(例如，屏幕上的指针)的位置。或者，游戏应用程序可使用位置信息来执行对于游戏中的对象的某个动作。其他对位置信息的使用也是可能的。
在一种情况下，参考域可包括多个参考元件的定义的模式。参考元件可包括例如，红外或可见光谱发光元件。
本概述一节涉及此处所描述的主题的示例性表现，并且因此不限制所附权利要求书中所述的本发明的范围。
附图简述
图1示出了用于基于图像信息来控制应用程序的系统的第一实现。
图2和3示出了可耦合到图1的系统中的用户操纵的设备的参考域的不同的示例性配置。
图4示出了用于基于图像信息来控制应用程序的系统的第二实现。
图5示出了可耦合到图4的系统中的显示设备的多个参考域的示例性配置。
图6示出了可以在图1和4的系统中使用的电子设备的示例性配置。
图7示出了解释图1和4的系统的行为的示例性过程。
贯穿本公开和各附图，使用相同的标号来引用相同的组件和特征。100系列标号指的是最初在图1中所找到的特征，200系列的标号指的是最初在图2中找到的特征，300系列的标号指的是最初在图3中找到的特征，依此类推。
详细描述
本发明阐述了一种用于基于从摄像机获得的图像信息来控制应用程序的策略。本发明包括以下各节：节A描述了用于实现该策略的各示例性系统，而节B描述了用于实现该策略的示例性过程。
一般而言，存在用于实现该策略的至少两种技术。第一种技术将至少一个参考域耦合到用户操纵的设备(诸如遥控设备等)。固定的摄像机捕捉包括该参考域的图像信息。位置确定模块标识图像信息中的参考域并且然后基于该参考域来计算位置信息。该位置信息进而可用于控制应用程序。第二种技术将至少一个参考域耦合到显示设备本身并且将摄像机耦合到用户操纵的设备，使得该摄像机与该用户操纵的设备一起移动。该可移动摄像机捕捉包括参考域的图像信息。位置确定模块按以上指定的方式来处理图像信息。
A.示例性系统(图1-6)
一般而言，参考附图描述的任何功能都可使用软件、硬件(例如，固定逻辑电路)、手动处理或这些实现的组合来实现。此处所使用的术语“逻辑”、“模块”或“功能”一般表示软件、硬件、或软件和硬件的组合。例如，在软件实现的情况下，术语“逻辑”、“模块”或“功能”表示被配置成当在一个或多个处理设备(例如，一个或多个CPU)上执行时执行指定任务的程序代码(或声明性内容)。程序代码可被储存在一个或多个计算机可读介质中。
更一般而言，所示的将逻辑、模块和功能分割成不同单元可以反映这些软件和/或硬件的实际物理分组和分配，或者可对应于由单个软件程序和/或硬件单元执行的不同任务的概念性分配。所示的逻辑、模块和功能可位于单个位置处(例如，由处理设备来实现)，或者可分布在多个位置上。
术语“机器可读介质”等指的是用于以任何形式保留信息的任何种类的介质，包括各种存储设备(磁、光、固态等等)。术语机器可读介质还包含了表示信息的瞬态形式，包括用于将信息从一点发送到另一点的各种硬线和/或无线链路。
A.1.实现A：固定摄像机(图1-3)
图1阐述了提供该策略的第一实现的系统100。在该系统100中，用户操纵用户操纵的设备102来与应用程序交互。用户操纵的设备102可包括任何种类的控制机制，包括遥控设备、任何种类的游戏控制设备等。用户操纵的设备102可表示用户可以来回移动(用用户的手)以实现所需控制操作的手持式设备。或者，用户操纵的设备102可表示具有用户可单独围绕其移动以实现所需控制操作的一个或多个构件的设备。或者，用户操纵的设备102可包括由用户穿着的设备，诸如数据手套类型的设备、表带类型的设备、头带类型或帽子类型的设备、鞋子附载设备等(或其任何组合)。虽然未示出，但用户操纵的设备102还可包括提供输入命令和其他选择的任何种类的控制执行器(按钮、操纵杆、旋钮、转向机构等)。
一个或多个参考域104被附于用户操纵的设备102(或以其他方式被置于与该用户操纵的设备102的定义的位置关系)。为了便于讨论，本小节将假设用户操纵的设备102包括单个参考域104。参考域104可由一个或多个参考元件组成。在一个示例性情况下，参考元件可包括发光元件，诸如发光二极管(LED)等。例如，参考域104可由一个或多个红外LED、一个或多个可见光谱LED等组成。在可见光谱LED的情况下，可以使用一个或多个原色LED来帮助将LED与场景中的其他对象区分开来。还可将这些LED置于暗背景上以便更好地将这些LED与场景中的其他对象区分开来。在又一实现中，可以使用不独立生成电磁能量的一个或多个无源参考元件。例如，参考域104可由可通过其红外辐射或可见光谱光的指示(telltale)反射率来加以区分的一个或多个反射点组成。
此外，为了帮助将参考域104与其他对象区分开来，参考域104可以按预定模式来排列其参考元件。将在以下描述的图2和3示出了两个这样的参考元件的示例性模式。
摄像机106捕捉图像信息。图像信息提供对包括参考域104(或至少其一部分)的场景的描绘。为了以此方式运作，可定位摄像机106以使其视场包含期望用户在其中操作用户操纵的设备102的区域。例如，在一个示例中，摄像机106可被置于用户站位上方的天花板上。在另一种情况下，摄像机106可被置于面向用户的墙上。在另一示例中，系统100可包括从多个相应角度捕捉场景的两个或多个摄像机(未示出)。
在该特别实现中，摄像机106不移动。在其他情况下，摄像机106可以移动。例如，系统100可包括来回扫描或以某一其他方式移动的摄像机106。
摄像机106可包括用于捕捉图像信息的任何种类的商用或应用专用照相机。常规视频包括数字地描绘处于不同的连续时间状态的场景的一系列帧。摄像机106可包括接收图像信息的常规CCD阵列。摄像机106可任选地包括被配置成选择性地传递具有规定频率的电磁辐射的一个或多个滤光片108。例如，在参考域104由一个或多个红外LED组成的情况下，摄像机106可包括帮助选择性地检测由该红外LED生成的红外辐射的红外滤光片。
或者，在参考域104包括无源参考元件的情况下，系统100可包括一个或多个辐射发射源(未示出)，诸如红外源等。这些源可生成从无源参考元件反射的光或红外辐射。摄像机接收反射的光或红外辐射。
任何种类的电子设备110可接收并处理由摄像机106捕捉的图像信息。例如，电子设备可包括个人计算机、游戏控制台、机顶盒等。图1一般地表示与图像信息的处理相关的电子设备110的特征。为了便于解释，图1将电子设备110示为由单个整合单元来实现。然而，电子设备110还可表示通信地耦合在一起的多个单元。
作为开始，电子设备110可包括照相机接口模块112。照相机接口模块112从摄像机106接收图像信息并可任选地将该信息转换为允许其由电子设备110来进一步处理的形式。例如，照相机接口模块112可任选地将所接收到的图像信息的格式的任何方面转换为任何其他格式。电子设备110可将照相机接口模块112实现为耦合到该电子设备110的主板(未示出)的视频卡或类似设备。
电子设备110还包括位置确定模块114。位置确定模块114的目的是分析图像信息并从中生成位置信息。位置信息反映用户操纵的设备102(和相关联的参考域104)相对于摄像机106的位置。为了执行该功能，位置确定模块114可首先标识图像信息中的参考域104，以便由此生成参考信息。
位置确定模块114可以按各种方式来检测参考域104。在一种技术中，参考域104包括具有可与该图像信息中的其他对象区分开来的视觉特性的一个或多个参考元件。例如，假设该参考元件发出红外辐射。在该实现中，(配备红外滤光片的)摄像机106可产生具有相对于暗背景的亮点的图像信息，其中亮点表示被附于用户操纵的设备102的参考元件。在另一种情况下，假设参考元件发出原色光。在该实现中，摄像机106可产生具有可与该场景中的其他对象(通常不具有相同种类的单调原色特性)区分开来的亮原色点的图像信息。这些参考元件甚至可通过将其放置在暗背景上(诸如通过将参考元件放置在用户操纵的设备102的黑板上等)来更容易地检测。
位置确定模块114还可基于由参考域104中的参考元件的排列形成的指示模式来区分参考域104。例如，该功能可通过将候选参考元件的模式与预定及预存模式相比较来执行。如果图像信息中的元件模式匹配预定模式中的一种，则位置确定模块114可得出已在该图形信息中检测到真正的参考域104的结论。图2和3示出了可与有效参考域104的存在相关联的示例性参考元件的模式。
可能更可靠的定位信息可通过使用更独特的参考元件来提取。例如，参考域104可由具有不同形状、颜色等的参考元件组成。可将一个或多个参考元件相对于其他参考元件提起离开平面以便将这些提升的参考元件与其他(未提升的)参考元件区别开来。
上述图像分析功能可通过分析图像信息中的像素信息来执行。位置确定模块114的该阶段的输出是反映一个或多个参考域104的存在的参考信息。或者，在一特定时刻，摄像机106可能不捕捉包含任何参考域104的场景。在这种情况下，该处理阶段的输出将指示未检测到参考域104。
位置确定模块114接下来将预定参考信息转换为位置信息。图1的实现中的术语“位置信息”指的是参考域104相对于诸如摄像机106、显示设备、正被呈现在该显示设备上的对象等原点的位置。术语“位置信息”还可描述参考域104相对于该原点的方向。例如，在一种情况下，用户可使用用户操纵的设备102来指向正被显示在显示屏上的目标对象(将在以下更详细地描述)。在这种情况下，位置信息可描述用户操纵的设备102(和相关联的参考域104)相对于显示屏或其他原点的位置和方向。
将参考信息转换为位置信息的任务取决于众多环境特有因素而变化。在一种情况下，该变换可由一个或多个几何映射等式来表达。映射等式可考虑以下各项中的一个或多个：参考元件相对于一个或多个固定参考点的位置；参考元件相对于彼此的位置；参考元件的移动；等等。等式可包括解决由摄像机106产生的失真的各种校正因子，以及其他潜在的考虑。可以使用校准过程来校准位置确定模块114，并由此便于确定各种这样的校正因子。
一般而言，对于参考域104中的一个参考元件，位置确定模块114可跟踪该参考元件的二维位置。对于两个参考元件，位置确定模块114可跟踪参考元件在三维空间中的移动(假设摄像机106正在观察直上方的参考元件)。对于两个参考元件，位置确定模块114还可测量用户操纵的设备102的z轴旋转(其中z轴定义在摄像机106和设备102之间形成的轴)。对附加参考元件的使用进一步增加了可从参考信息中提取的定位细节的量。例如，对于四个参考元件，位置确定模块114可跟踪用户操纵的设备102的三维位置和三维方向。
从图像信息中搜集的位置信息可由如从其他输入设备116获得的其他输入来补充。一种可以使用的这样的其他输入设备是任何种类的惯性传感器或惯性传感器的组合。众所周知，惯性传感器提供本质上相对的定位信息。例如，惯性传感器可提供指示用户已经将用户操纵的设备102以一特定速率上移了5英寸的位置信息。位置确定模块114可以使用这种补充位置信息来帮助确认经由图像信息获得的位置信息的准确度。在其他情况下，有时摄像机106无法“看见”参考域104。在这种情况下，可以使用从惯性传感器(或其他补充输入设备)获得的定位信息来克服摄像机106的图像信息中的“盲点”。
位置确定模块114将其生成的位置信息提供给应用程序模块118。应用程序模块118表示可执行任何规定的功能集的任何种类的应用程序。例如，应用程序模块118可表示模拟应用程序(诸如飞行模拟器应用程序等)、任何种类的游戏应用程序、因特网导航应用程序等。在任何情况下，应用程序模块118使用位置信息来控制其行为。该控制的具体特性取决于应用程序模块118本身的特性。
应用程序模块118可提供反映其控制行为的结果的任何种类的输出。例如，应用程序模块118可经由显示接口模块120生成视觉输出。显示接口模块120将该视觉输出呈现在显示设备124的显示屏122上。显示设备124可呈现任何种类的电视机、任何种类的计算机监视器等。
考虑各种各种具体的示例性情形以便于理解受系统100影响的控制的特性。在一种应用中，应用程序模块118在显示屏122上显示某种标记126，诸如指针或光标。用户可通过用用户操纵的设备102指向显示屏122上的不同位置来将标记126移至显示屏122上的不同位置。为了执行该任务，首先假设摄像机106能够在上述移动期间“看见”附于用户操纵的设备102的参考域104。位置确定模块114从由摄像机106产生的图像信息提取参考信息，并且然后将该参考信息转换成位置信息。应用程序模块118使用该位置信息来调整显示屏122上的标记126的位置。这可通过使用一个或多个映射等式将该位置信息映射到屏幕上的位置来执行。该屏幕上的位置反映用户用用户操纵的设备102来指向的对象。
在另一应用中，应用程序模块118呈现在射手类型的游戏中瞄准的目标128。用户可通过将用户操纵的设备102指向目标128来瞄准该目标。(在该上下文中，用户操纵的设备102可任选地是像武器一样的形状。)定位模块114和应用程序模块118以上述方式工作以便将用户操纵的设备102的物理移动转换成该用户的武器焦点的屏幕上区域的相应移动。在或者第一或者第二应用中，用户可诸如通过选择正被指向的特定目标、朝特定目标射击等来用用户操纵的设备102执行补充动作。在另一种情况下，用户可使用上述技术来瞄准并控制未必由所显示的设备来显示的某一其他对象，诸如立体声设备、电器等。
以上两个示例表征了用户使用用户操纵的设备102来指向对象的情况。然而，在其他应用中，用户可使用用户操纵的设备102来实现其他种类的控制。例如，用户可使用用户操纵的设备102来做出特有的手势(诸如通过以预定方式挥动用户操纵的设备102等)。位置确定模块114结合应用程序模块118可通过将由摄像机106捕捉的视频与预定模式进行比较来识别该手势。应用程序模块118可基于如由位置信息所标识的用户做出的手势类型来执行控制操作。
在另一种示例性情况下，游戏应用程序可通过以上述方式跟踪参考域104的位置来“观察”用户的移动，并且然后基于该用户的移动来提供适当的操作。例如，射击游戏可试图基于用户的移动来虚拟地向该用户开火。在此，该用户并非试图向屏幕上的目标开火，而是试图避免被击中。
在另一种示例性情况下，应用程序可以按上述方式监视用户的移动。该应用程序可提供模拟用户移动的屏幕上的人物或其他对象。
系统100的其他应用也是可能的。
图2和3示出了可用于图1的系统100的许多类型的参考域中的两种。在图2中，参考域200包括参考元件的线性阵列。在这种情况下，参考域200包括三个参考元件，然而其他实现可包括更多参考元件或更少参考元件。参考元件可包括红外LED、可见光谱LED或其他种类的发光机构。或者，参考元件可包括无源元件，诸如反射点。在任一种情况下，参考元件可被固定到暗(例如，无光泽黑色)背景以便于在由摄像机106捕捉的图像信息中检测这些元件。
在图3中，另一参考域300包括参考元件的三角形排列。上述参考域200的特征中的任一个(参考图2)可应用于图3的参考域300。此外，图3的参考域300示出了位于三角形的各顶点的三个参考元件都贴附于单个平面，而另一参考元件302被定位于超出该平面。该偏移可通过物理地将参考元件302固定到该平面以使其比其他参考元件伸出更远来实现。或者该偏移可通过虚拟地提升参考元件302脱离该平面来实现(例如，使用透镜或其他机构)。(包括一个或多个偏移参考元件的)图3的排列可能允许从图像信息提取更详细的定位信息。
A.2.实现B：用户操纵的摄像机(图4和5)
图4示出了用于基于从摄像机获得的图像信息来控制应用程序的策略的第二实现。即，图4描述了其中用户操纵的设备402包括耦合到其上的摄像机404的系统400。例如，用户操纵的设备402可包括在其远端具有摄像机404的遥控设备。在该配置中，可将摄像机404指向遥控设备指向的任何东西。在另一示例中，用户操纵的设备402可包括任何种类的游戏控制器。例如，游戏控制器可包括在其远端具有摄像机404的武器。同样，在该配置中，可将游戏控制器指向遥控设备指向的任何东西。在另一种情况下，用户操纵的设备402可部分地表示诸如移动电话等已经包括摄像机的某一其他设备。或者，摄像机本身(不具有任何其他功能)可用作用户操纵的设备402。此外，摄像机404可结合诸如红外滤光片等任何种类的滤光片406来使用。
在该系统400中，一个或多个参考域408相对于显示设备本身410，而不是用户操纵的设备402来定位。例如，显示设备410可包括限定外围部分、给显示屏412加边的外壳。一个或多个参考域408可被定位于该外壳上。
在参考域408表示离散的物理元件的情况下，这些参考元件可被实现为任何种类的有源参考元件(红外LED、可见光谱原色LED等)、任何种类的无源参考元件(反射点等)等等。这些参考元件可被固定到暗色的基底以便从其他对象中区分出这些元件。此外，如将要描述的，不同的参考域408可包括参考元件各自的不同的指示模式以便检测并解释这些参考域408。
在另一实现中，参考域408可包括由电子设备414显示在显示屏412上的参考信息。例如，电子设备414可以沿着显示屏412的边框部分或在显示屏412的其他位置显示具有指示特性的信息。这些参考域408可通过用于显示这些域408的颜色、这些域408的形状、组成每个域的元件的模式和/或这些域408的任何其他特性来识别。
电子设备414及其相关联的外围组件包括摄像机接口模块416、位置确定模块418、其他输入设备420(包括，例如，一个或多个惯性传感器)、应用程序模块422和显示接口模块424。这些模块以与参考图1描述的方式相关的方式操作。在图4的情况下，位置确定模块418可确定摄像机相对于诸如在位置上与显示设备410相关联的一个或多个参考域408等原点的位置信息。位置信息的生成可使用如由各种校正因子补充的合适的几何等式来执行。因为图像信息正确地显示了用户的控制动作的目标和参考域408，所以系统400可依赖于简化的校准过程，或可完全省略这些过程。
系统400可应用于各种情形。在第一情形中，用户可使用用户操纵的设备402来移动显示屏412上的标记426的位置。在第二情形中，用户可使用用户操纵的设备402来瞄准显示屏412上诸如在射手类型的游戏的上下文中的某一游戏类型的目标428。在另一种情况下，用户可使用上述技术来瞄准并控制未必由所显示的设备来显示的某一其他对象，诸如立体声设备、电器等。此外，如上所述，系统400还可用于其中用户使用用户操纵的设备402来执行除了指向屏幕上的对象之外的某个动作的其他情形。例如，位置确定模块418可检测用户使用用户操纵的设备402做出的手势。
图5示出了一种包括多个参考域的的示例性显示设备502。参考域围绕显示屏504的外围来设置。在这种情况下，参考域表示耦合到该显示屏502的外壳的离散的机构，但是这些域还可作为正被显示在显示屏504上的图形信息的一部分而被电子地包含在内。用户操纵的设备506包括捕捉包含显示设备502的至少一部分，包括参考域的至少一个子集的场景的摄像机(未示出)。
参考域中的一个是示例性参考域508。该参考域518包括包含示例性参考元件510在内的两个参考元件。注意，设置在显示设备502的各个角落的参考域具有不同的相应模式。这帮助位置确定模块418在检测及解释图像信息中的参考域时得到其“方位”。图5中所示的参考域排列只是例示许多类型的可能的排列。其他排列可提供比图1所示的更多或更少的参考域。同样，其他排列也可使用不同的模式来实现相应的各个参考域。
位置确定模块418在其“看见”所有参考域时提供最可靠的位置信息。但是位置确定模块418还可在其只看见诸如六个参考域中的三个等参考域的子集时提供位置信息。
A.3.功能上的处理(图6)
(图1和4的)电子设备(110、414)的各种组件可由处理设备来实现。图6示出了对可用于实现电子设备(110、414)的组件中的任一个的处理功能602的概括描绘。
处理功能602可以包括诸如RAM 604和ROM 606等各种易失性和非易失性存储器以及一个或多个处理设备608。存储器(604、606)可以存储在由处理设备608执行时执行上述各功能的指令。例如，这些指令的子集可实现图1和4的位置确定模块(114、418)。处理功能602还可任选地包括各种媒体设备610，诸如硬盘模块、光盘模块等。处理功能602还包括用于从用户接收各种输入和用于向用户提供各种输出的输入/输出模块612。处理功能602还可包括用于与其它设备交换数据的一个或多个网络接口614。一条或多条通信总线616将上述组件通信地耦合在一起。
在各种应用中，图6所示的处理功能602可包括更多模块或可省略图6所示模块中的一个或多个。
B.示例性过程(图7)
图7示出了可由图1和4的系统(100、400)或由某一其他系统来实现的一个示例性过程700的综述。为便于讨论，某些操作被描述为以特定次序执行的不同的组成步骤。这些实现是示例性而非限制性的。某些操作可被分组在一起并且在单个操作中执行，而某些操作可用不同于在本发明中所述的示例中所采用的次序的次序来执行。因为过程700中所执行的各操作的特性已经在节A中描述过了，所以本节主要用作这些操作的概述。
在框702中，电子设备(110、414)从摄像机(106、404)接收图像信息。图像信息可包括一个或多个参考域(104、406)。根据框704，在第一实现中，图像信息是响应于用户将用户操纵的设备102指向某一屏幕上的对象或未必显示在该屏幕上的某一其他对象(或使用该用户操纵的设备102来执行某个其他动作)而获得的，其中该用户操纵的设备102包括耦合到其上的一个或多个参考域104。根据框706，在第二实现中，图像信息是响应于用户将用户操纵的设备402指向显示屏412或未必显示在该屏幕上的某一其他对象(或使用该用户操纵的设备402来执行某个其他动作)而获得的，其中该用户操作的设备402包括耦合到其上的摄像机404，并且显示设备410包括耦合到其上的一个或多个参考域。
在框708中，位置确定模块(114、418)确定所接收到的图像信息中的一个或多个参考域的存在，以便由此提供参考信息。
在框710中，位置确定模块(114、418)基于所标识的参考信息来生成位置信息。
在框712中，应用程序模块(118、422)基于由位置确定模块(114、418)提供的位置信息来影响某种控制。在一种情况下，这样的控制可涉及确定用户正使用用户操纵的设备(102、402)来指向什么对象。
虽然已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应该理解，在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反地，这些具体特征和动作是作为实现权利要求的本发明的示例性形式而公开的。

Claims (20)

1.一种用于控制应用程序的方法，包括：
从摄像机接收图像信息，所述图像信息捕捉包括显示设备的至少一部分的场景，其中所述摄像机与用户操纵的设备相关联(702)；
标识所述图像信息中的至少一个参考域以提供所标识的参考信息，其中所述参考域与所述显示设备相关联(708)；
基于所标识的参考信息来生成位置信息，所述位置信息表达所述摄像机相对于所述至少一个参考域的位置(710)；以及
基于所生成的位置信息来控制应用程序(712)。
2.如权利要求1所述的方法，其特征在于，所述接收所述图像信息包括响应于所述用户将所述摄像机指向正由所述显示设备呈现的特定对象来接收所述图像信息。
3.如权利要求1所述的方法，其特征在于，所述至少一个参考域包括排列在相对于所述显示设备的相应位置的多个参考域。
4.如权利要求1所述的方法，其特征在于，所述至少一个参考域包括多个参考元件的定义的模式。
5.如权利要求1所述的方法，其特征在于，所述至少一个参考域包括至少一个发光元件。
6.如权利要求1所述的方法，其特征在于，控制所述应用程序涉及确定所述用户正用所述用户操纵的设备来指向的对象。
7.如权利要求1所述的方法，其特征在于，还包括从惯性传感器接收惯性传感器信息，并在生成所述位置信息时使用所述惯性传感器信息来补充所述参考信息。
8.一种或多种包含用于实现如权利要求1所述的接收、标识、生成和控制的机器可执行指令的计算机可读介质。
9.一种包括被配置成实现如权利要求1所述的接收、标识、生成和控制的逻辑的装置。
10.一种用于提供位置信息的系统，包括：
用户操纵的设备(402)，所述用户操纵的设备包括与其相关联的摄像机(404)；
用于呈现由应用程序生成的对象的显示设备(410)；
被置于相对于所述显示设备(410)的定义的位置的至少一个参考域(408)；以及
位置确定模块(418)，其被配置成：
从所述摄像机(404)接收图像信息，所述图像信息捕捉包括所述显示设备(410)的至少一部分的场景；
标识所述图像信息中的所述至少一个参考域(408)以提供所标识的参考信息；以及
基于所标识的参考信息来生成位置信息，所述位置信息表达所述摄像机相对于所述至少一个参考域(408)的位置。
11.如权利要求10所述的系统，其特征在于，所述至少一个参考域包括排列在相对于所述显示设备的相应位置的多个参考域。
12.如权利要求10所述的系统，其特征在于，所述至少一个参考域包括多个参考元件的定义的模式。
13.如权利要求10所述的系统，其特征在于，所述至少一个参考域包括至少一个发光元件。
14.如权利要求10所述的系统，其特征在于，还包括用于提供惯性信息的惯性传感器，其中所述定位模块被配置成在生成所述位置信息时使用所述惯性传感器信息来补充所述参考信息。
15.一种用于控制应用程序的方法，包括：
从摄像机接收图像信息，所述图像信息捕捉包括用户正将其指向一对象的用户操纵的设备的至少一部分的场景(702)；
标识所述图像信息中的至少一个参考域以提供所标识的参考信息，其中所述参考域与所述用户操纵的设备相关联(708)；
基于所标识的参考信息来生成位置信息(710)；以及
基于所述位置信息来确定所述用户正在指向的对象(712)；以及
基于所述确定来控制应用程序(712)。
16.如权利要求15所述的方法，其特征在于，所述用户正在指向的对象由显示设备来呈现。
17.如权利要求15所述的方法，其特征在于，所述至少一个参考域包括与所述用户操纵的设备相关联的多个参考元件的定义的模式。
18.如权利要求15所述的方法，其特征在于，还包括从惯性传感器接收惯性传感器信息，并在生成所述位置信息时使用所述惯性传感器信息来补充所述参考信息。
19.一种或多种包含用于实现如权利要求15所述的接收、标识、生成、确定和控制的机器可执行指令的计算机可读介质。
20.一种包括被配置成实现如权利要求15所述的接收、标识、生成、确定和控制的逻辑的装置。
CNA2007800246527A 2006-06-30 2007-06-28 使用摄像机来生成位置信息 Pending CN101479690A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/428,279 US8013838B2 (en) 2006-06-30 2006-06-30 Generating position information using a video camera
US11/428,279 2006-06-30

Publications (1)

Publication Number Publication Date
CN101479690A true CN101479690A (zh) 2009-07-08

Family

ID=38876099

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800246527A Pending CN101479690A (zh) 2006-06-30 2007-06-28 使用摄像机来生成位置信息

Country Status (6)

Country Link
US (3) US8013838B2 (zh)
EP (2) EP3550406A1 (zh)
JP (1) JP2009543206A (zh)
KR (1) KR20090034824A (zh)
CN (1) CN101479690A (zh)
WO (1) WO2008010906A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389887A (zh) * 2012-05-10 2013-11-13 宏达国际电子股份有限公司 图像对位显示方法及其装置
CN103520923A (zh) * 2013-10-17 2014-01-22 智尊应用程序开发有限公司 游戏控制方法及设备
CN107066221A (zh) * 2012-06-28 2017-08-18 微软技术许可有限责任公司 定位设备

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
EP1913555B1 (en) * 2005-08-04 2018-05-23 Philips Lighting Holding B.V. Apparatus for monitoring a person having an interest to an object, and method thereof
US7885119B2 (en) 2006-07-20 2011-02-08 Sandisk Corporation Compensating for coupling during programming
US7443729B2 (en) * 2006-07-20 2008-10-28 Sandisk Corporation System that compensates for coupling based on sensing a neighbor using coupling
US8669938B2 (en) * 2007-11-20 2014-03-11 Naturalpoint, Inc. Approach for offset motion-based control of a computer
US9024972B1 (en) 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
CN102422306B (zh) * 2009-04-08 2015-09-09 高通股份有限公司 增强型手持式屏幕感测指针
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8672763B2 (en) * 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
WO2012059910A1 (en) * 2010-11-07 2012-05-10 Dsp Group Ltd. Apparatus and method for estimating a user's location and pointer attitude
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
FR2978847B1 (fr) * 2011-08-02 2014-03-07 Archos Procede et dispositif de controle a distance d'un appareil esclave relie a une camera par un appareil maitre.
US9509922B2 (en) * 2011-08-17 2016-11-29 Microsoft Technology Licensing, Llc Content normalization on digital displays
RU2618389C2 (ru) * 2015-06-22 2017-05-03 Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук Способ бесконтактного управления курсором мыши
US10466774B2 (en) 2016-11-22 2019-11-05 Honeywell International Inc. NTE display systems and methods with optical trackers
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11250376B2 (en) * 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10372155B2 (en) 2017-08-20 2019-08-06 Pixart Imaging Inc. Joystick and related control method
US10969878B2 (en) 2017-08-20 2021-04-06 Pixart Imaging Inc. Joystick with light emitter and optical sensor within internal chamber
CN107396058B (zh) * 2017-08-23 2020-05-15 芜湖超源力工业设计有限公司 一种航天专用飞行模拟训练监控装置
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US5227985A (en) 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP2767340B2 (ja) 1991-12-26 1998-06-18 ファナック株式会社 物体の３次元位置・姿勢計測方式
FR2706345B1 (fr) 1993-06-11 1995-09-22 Bertin & Cie Procédé et dispositif de repérage dans l'espace d'un objet mobile tel qu'un capteur ou un outil porté par un robot.
JPH075983A (ja) * 1993-06-16 1995-01-10 Fanuc Ltd 位置入力装置
WO1995002801A1 (en) 1993-07-16 1995-01-26 Immersion Human Interface Three-dimensional mechanical mouse
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
JP3293308B2 (ja) 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5926168A (en) 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
US5686942A (en) 1994-12-01 1997-11-11 National Semiconductor Corporation Remote computer input system which detects point source on operator
JPH0934633A (ja) 1995-07-17 1997-02-07 Sanyo Electric Co Ltd 空間マウス及び空間マウスシステム
US5856844A (en) 1995-09-21 1999-01-05 Omniplanar, Inc. Method and apparatus for determining position and orientation
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3660492B2 (ja) 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
EP0949818A3 (en) * 1998-04-07 2000-10-25 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
JP2000181601A (ja) 1998-12-18 2000-06-30 Fujitsu General Ltd 情報表示システム
JP2000338556A (ja) * 1999-05-26 2000-12-08 Olympus Optical Co Ltd カメラのファインダ装置
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
US6844871B1 (en) 1999-11-05 2005-01-18 Microsoft Corporation Method and apparatus for computer input using six degrees of freedom
JP2001236181A (ja) 2000-02-22 2001-08-31 Fuji Electric Co Ltd ポインティングデバイス
WO2002001336A2 (en) 2000-06-27 2002-01-03 Trustees Of Boston College Automated visual tracking for computer access
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US6882432B2 (en) * 2000-08-08 2005-04-19 Zygo Corporation Frequency transform phase shifting interferometry
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
US6538645B1 (en) 2000-10-26 2003-03-25 Sunplus Technology Co., Ltd. Computer input system utilizing a camera to sense point source
JP4027031B2 (ja) 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
US20020126090A1 (en) 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
US7830362B2 (en) 2001-07-05 2010-11-09 Michael Cain Finley Laser and digital camera computer pointer device system
US7084888B2 (en) * 2001-08-09 2006-08-01 Konami Corporation Orientation detection marker, orientation detection device and video game device
US20030038756A1 (en) * 2001-08-27 2003-02-27 Blume Leo R. Stacked camera system for environment capture
JP2003133903A (ja) * 2001-10-26 2003-05-09 Oki Electric Ind Co Ltd 弾性表面波分波器
US7880643B2 (en) 2001-12-19 2011-02-01 Logobject Ag Method and device for following objects, particularly for traffic monitoring
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7920718B2 (en) 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
PT1573498E (pt) * 2002-11-20 2012-03-22 Koninkl Philips Electronics Nv Sistema de interface de utilizador com base num dispositivo de apontador
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
KR20040027561A (ko) * 2004-02-12 2004-04-01 학교법인 한국정보통신학원 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그동작 방법
JP2006079249A (ja) * 2004-09-08 2006-03-23 Matsushita Electric Ind Co Ltd 通信端末
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US20060209190A1 (en) * 2005-03-04 2006-09-21 Walters Kenneth S Vehicle directional monitoring system
US7946921B2 (en) 2005-05-23 2011-05-24 Microsoft Corproation Camera based orientation for mobile devices
JP2007005983A (ja) 2005-06-22 2007-01-11 Fujifilm Holdings Corp 撮影装置、撮影装置の画像保存制御方法およびプログラム
JP4457353B2 (ja) 2005-11-25 2010-04-28 株式会社日立プラントテクノロジー 調整ボルトの操作方法および電磁石の位置・姿勢調整方法
ES2435541T3 (es) 2006-02-13 2013-12-20 Max-Viz, Inc. Sistema y procedimiento de captación sincrónica de luz de fuente pulsada para realizar la monitorización de una operación de vuelo de una aeronave
US7711146B2 (en) 2006-03-09 2010-05-04 General Electric Company Method and system for performing image re-identification
JP5041728B2 (ja) 2006-05-08 2012-10-03 任天堂株式会社 ゲームプログラムおよびゲームシステム
JP4884867B2 (ja) 2006-07-25 2012-02-29 任天堂株式会社 情報処理装置および情報処理プログラム
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
JP5132131B2 (ja) 2006-11-17 2013-01-30 任天堂株式会社 ポインティング装置の調整プログラムおよびポインティング装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389887A (zh) * 2012-05-10 2013-11-13 宏达国际电子股份有限公司 图像对位显示方法及其装置
CN103389887B (zh) * 2012-05-10 2016-11-23 宏达国际电子股份有限公司 图像对位显示方法及其装置
CN107066221A (zh) * 2012-06-28 2017-08-18 微软技术许可有限责任公司 定位设备
CN103520923A (zh) * 2013-10-17 2014-01-22 智尊应用程序开发有限公司 游戏控制方法及设备
WO2015055047A1 (zh) * 2013-10-17 2015-04-23 智尊应用程序开发有限公司 游戏控制方法及设备

Also Published As

Publication number Publication date
US20110300940A1 (en) 2011-12-08
WO2008010906A2 (en) 2008-01-24
US20140141887A1 (en) 2014-05-22
WO2008010906A3 (en) 2008-04-10
EP2038733A4 (en) 2016-03-09
KR20090034824A (ko) 2009-04-08
US8587520B2 (en) 2013-11-19
EP3550406A1 (en) 2019-10-09
JP2009543206A (ja) 2009-12-03
US8013838B2 (en) 2011-09-06
EP2038733A2 (en) 2009-03-25
US20080001918A1 (en) 2008-01-03

Similar Documents

Publication Publication Date Title
CN101479690A (zh) 使用摄像机来生成位置信息
US11100649B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US8237656B2 (en) Multi-axis motion-based remote control
CN102682589B (zh) 一种用于对受控设备进行遥控的系统
CN103168505B (zh) 用于控制照明系统的用户交互系统和便携式电子设备
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
Willis et al. SideBySide: Ad-hoc multi-user interaction with handheld projectors
US7193608B2 (en) Collaborative pointing devices
JP3257585B2 (ja) 空間マウスを用いた映像化装置
CN106062862A (zh) 用于沉浸式和交互式多媒体生成的系统和方法
JP6896204B2 (ja) コンピュータプログラムを生成するデバイス及びコンピュータプログラムを生成する方法
CN109219834A (zh) 用于具有对偶互补图案照明的3d场景重建的系统和方法
US20210255328A1 (en) Methods and systems of a handheld spatially aware mixed-reality projection platform
CN102169366A (zh) 三维立体空间中的多目标跟踪方法
EP3878529A1 (en) Interactive entertainment system
AU2019326288B2 (en) System and method for unique identifier detection based on invisible light
CN114598850B (zh) 投影控制识别方法、装置和控制设备
CN118334075A (zh) 位姿追踪方法及系统、可移动设备、电子设备及存储介质
CN112955930A (zh) 用于对移动对象进行反向光学跟踪的系统和方法
CN103116398A (zh) 用于改进骨骼跟踪的姿势银行

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090708