CN102270039A - 使用基于图案的计算机视觉的计算机设备的输入 - Google Patents

使用基于图案的计算机视觉的计算机设备的输入 Download PDF

Info

Publication number
CN102270039A
CN102270039A CN2011101473333A CN201110147333A CN102270039A CN 102270039 A CN102270039 A CN 102270039A CN 2011101473333 A CN2011101473333 A CN 2011101473333A CN 201110147333 A CN201110147333 A CN 201110147333A CN 102270039 A CN102270039 A CN 102270039A
Authority
CN
China
Prior art keywords
camera
pattern
processor
respect
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101473333A
Other languages
English (en)
Other versions
CN102270039B (zh
Inventor
X.毛
N.里蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN102270039A publication Critical patent/CN102270039A/zh
Application granted granted Critical
Publication of CN102270039B publication Critical patent/CN102270039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及使用基于图案的计算机视觉的计算机设备的输入。可以分析来自相机的在表面上形成的结构上编码图案的至少一部分的图像以确定相机的位置。结构上编码图案可以包括多个元素。每个元素可以通过识别该元素相对于表面的位置和取向的信息进行编码。计算机程序可以识别图像中的一个或多个图案元素的至少一部分并且根据图像中的一个或多个图案元素中编码的信息确定所述相机相对于所述表面的位置。

Description

使用基于图案的计算机视觉的计算机设备的输入
相关申请的交叉引用
本申请涉及与本申请同日提交的题为“CAPACITIVE INPUT FOR COMPUTER PROGRAM”的共同转让的、共同未决的申请第12/792,567号（代理人案号SCEA09071US00），其整体内容通过引用合并于此。
本申请涉及与本申请同日提交的题为“MAGNETIC INPUT FOR COMPUTER DEVICE”的共同转让的、共同未决的申请第12/792,586号（代理人案号SCEA09072US00），其整体内容通过引用合并于此。
技术领域
本发明的实施例通常涉及计算机娱乐设备，且更具体地，涉及使用基于图案的计算机视觉的计算机娱乐设备的接口。
背景技术
视频游戏已变为非常流行的娱乐形式。典型的视频游戏利用接口或控制器从用户接收输入。常见类型的控制器是使用按钮或操纵杆来提供输入的手持控制器。通常被称为“跳舞毯”的另一类型的控制器与基于跳舞的游戏一起使用。在典型的基于跳舞的游戏中，提示用户响应于视频屏幕上显示的某种视觉指示符在特定的时间按压跳舞毯上的选定按钮。在跳舞毯中，控制按钮典型地被集成到塑料垫中。用户可以通过在该垫（mat）的相应的区域上踩踏或跳舞来按压不同的控制按钮。
跳舞毯基本上用作通过脚（与手相对）进行操作的按钮控制器。然而，跳舞毯不跟踪用户的脚的接近（proximity）。
本发明的实施例出自该背景。
本发明的实施例出自该背景。
发明内容
本发明涉及一种用于计算机设备的输入装置，包括：
计算机处理器，被配置为执行计算机可执行指令，其中所述指令被配置为使所述计算机设备：
a）从相机获得在表面上形成的结构上编码图案的至少一部分的图像，其中所述结构上编码图案包括多个元素，其中每个元素通过识别该元素相对于所述表面的位置和取向的信息进行编码；以及
b）识别所述图像中的一个或多个图案元素的至少一部分；以及
c）根据所述图像中的所述一个或多个图案元素中编码的信息，确定所述相机相对于所述表面的位置。
本发明还涉及一种用于接收针对计算机程序的输入的方法。
附图说明
通过结合附图考虑如下的详细描述，可以容易地理解本发明的实施例的示例，其中：
图1是图示根据本发明的实施例的计算机系统的输入装置的示意图。
图2A是可以与图1的接口一起使用的结构上编码图案（structurally encoded pattern）的示例的示意图。
图2B-2E是图示根据结构上编码图案中的元素的图像确定相机的位置和取向的示例的示意图。
图3是使用根据本发明的可替选的实施例的计算机系统的输入装置的系统示例的示意图。
图4是使用根据本发明的另一可替选的实施例的计算机系统的输入装置的系统示例的示意图。
图5是根据本发明的实施例的计算机系统的框图。
具体实施方式
尽管下面的详细描述出于说明的目的包含许多具体细节，但是本领域的普通技术人员将认识到，针对下面的细节的许多变化方案和更改方案在本发明的范围内。因此，在不丧失要求保护的本发明的任何一般性的情况下，并且未对要求保护的本发明强加限制的情况下阐述了下文描述的本发明的示例性实施例。
本发明的实施例利用了在这里被称为基于图案的计算机视觉的概念。
根据本发明的实施例，输入装置可以使用基于图案的计算机视觉跟踪相机相对于表面的位置和/或运动。结构上编码图案被印刷在表面上。相机分析包括图案部分的表面的图像以确定相机相对于该表面的相对位置（x, y, z）和取向（俯仰（pitch）、滚转（roll）和偏航（yaw））。计算机视觉系统可以通过分析捕捉的实时图像中的图案部分（图像中的参照图案元素与图案元素相对于表面的坐标位置），来跟踪相机的位置和取向。
根据本发明的实施例，结构上编码图案（有时被称为计算机码（cyber-code））可以被印刷在垫或其他表面上。相机可以被安装在每个用户的脚背上或者用户的手掌上。
根据第一实施例，计算机设备的输入装置101可以包括计算机处理器106，其可以被配置为执行计算机可执行指令108。指令108被配置为使计算机设备获得在表面上形成的结构上编码图案102的至少一部分的图像103。可以通过耦合到处理器106的相机104获得图像103。相机104可以捕捉图案102的位于相机的视场FOV内的部分的图像。图像103可以以模拟或数字数据的形式存储在耦合到处理器106的存储器105中。相机104可以通过适当的数据链路耦合到处理器106和/或存储器105，该数据链路可以通过电气或光纤线缆或者诸如射频（RF）、红外或自由空间光链路的无线手段来实现。可替选地，存储器105、处理器106可以由作为相机104的部件的集成电路实现。
结构上编码图案102包括多个元素。每个元素通过识别（identify）元素相对于表面的位置和取向的信息进行编码。指令108被配置为使处理器106识别图像103中的一个或多个元素的至少一部分。指令可以进一步被配置为根据图像103中的一个或多个图案元素中编码的信息来确定相机相对于表面的位置。
处理器106可以将相机位置用作针对计算机程序110的输入。作为示例，且并非作为限制，程序110可以是诸如视频游戏程序的游戏程序。
作为示例，且并非作为限制，图2A图示了可能的结构上编码图案202的示例。结构上编码图案202可以通过例如印刷在垫上来形成。可替选地，图案202可以被印刷或者以其他形式直接形成在地板、墙壁或者其他适当的表面上。结构上编码图案可以包括多个单元（cell）201。每个单元包含不同于图案中的每个其他单元中的每个其他元素的特有的元素。网格线203可以便于彼此区分单元。在图2A中示出的示例中，每个单元201中的图案基于3×3的正方形网格。网格中的正方形是黑色或白色的。每个元素内的黑色和白色正方形的图案被选择为使得没有两个元素是相同的。这样，处理器106可以通过单元中的黑色和白色的正方形的图案来识别图像中的给定单元。
在该实施例的一些形式中，处理器106可以被配置为通过将图像103与表示图案202的参考数据比较来确定相机的位置。存在根据参考数据从图像确定相机位置的许多方法。例如，图像的中心C可以与三维相机位置在图案202的平面上的投影关联。每个单元可以与图案202中的已知位置关联。如图2B中所示，指令108可以识别与图像103的中心C最接近的单元201。与图像中心C最接近的单元的位置可以提供粗略位置。可以通过确定图像中心C相对于单元201的中心C'的位置来细化该粗略位置。
处理器106还可以分析图像103以确定相机104相对于图案202的平面的垂直距离D。如这里使用的，术语“垂直距离”指的是沿垂直于图案的平面的轴的距离。作为示例，如图2C中所示，可以将图像103中的单元202的特征尺寸w与单元202的参考尺寸W比较。当相机104处于距图案202的已知垂直距离Dref处时，可以确定参考尺寸W。可以根据已知的垂直距离Dref和比W/w来确定垂直距离D。
D = Dref(W/w)。
如图2D和图2E中所示，指令108还可以被配置为确定相机104相对于图案202的角取向。例如，每个元素201中的黑色和白色正方形的图案可以被选择为使得每个元素并非相对于垂直于所述表面的平面的轴旋转对称。如果图案不是旋转对称的，则如图2D中所示，处理器106可以通过将图像103中的单元201的取向与参考单元201'的取向比较来确定相机相对于垂直于所述表面的平面的轴的旋转取向角度φ。
可替选地，指令108可以使处理器106分析图像103中的单元201的失真来确定相机相对于图案202的俯仰或滚转。例如，如图2E中所示，指令可以分析关于图像103中的单元中的网格线或者单元之间的网格线的会聚角度（convergence angle）θ。会聚角度θ可以与相机相对于图案202的俯仰角度相关。
图3中示出的关于该装置的许多变化在本发明的实施例的范围内。例如，如上文提到的，结构上编码图案可以被形成为垫。垫可以由允许垫被卷起或折叠用于存放的柔性材料制成。作为示例，且并非作为限制，垫可以由聚合物，橡胶，布，网或者具有聚合物、橡胶、布或网的层的复合材料制成。
根据本发明的实施例，上文参照图1和图2A-2E描述的类型的装置可以被配置为感测用户的脚的运动。结构上编码图案可以例如通过将图案印刷在垫上并且将垫放置在地板上而被放置在地板上。为了感测用户的脚的运动，用户可以在每只脚上佩戴相机。
作为示例，且并非作为限制，根据图4中示出的本发明的可替选的实施例，计算机设备（例如，计算机娱乐设备）的输入装置300可以包括被配置为佩戴在用户U的脚F上的一个或多个相机304以及具有包括多个元素的结构上编码图案302的垫303，每个元素通过识别元素的位置和取向的信息进行编码。可以如上文参照图2A-2E描述的那样来配置图案302。
相机304可以耦合到处理器306，处理器可以执行编码指令308以根据位于相机304的各个视场中的图案302的部分的图像分析来确定每个相机的位置。作为示例，相机304可以经由传送器310和接收器312无线耦合到处理器306。作为示例，且并非作为限制，传送器310和接收器312可以通过诸如蓝牙连接的射频链路实现个人区域无线网络连接。
作为示例且并非作为限制，处理器306可以被配置为通过从相机304获得图案302的至少一部分的图像，识别图像中的一个或多个图案元素的至少一部分，并且根据图像中的（一个或多个）图案元素中编码的信息确定相机位置，来确定每个相机304的位置。
在该实施例的一些形式中，处理器306可以被配置为提供相机304的位置作为对计算机程序314的输入。在这些实施例中，程序314可以是游戏程序或者游戏程序的一部分。
在图4中示出的本发明的另一可替选的实施例中，计算机设备（例如，计算机娱乐设备）的输入装置400可以包括被配置为佩戴在用户的手H上的一个或多个相机404以及具有包括多个元素的结构上编码图案402的垫403，每个元素通过识别元素的位置和取向的信息进行编码。可以如上文参照图2A-2E描述的那样来配置图案402。
相机404可以例如通过无线传送器410和接收器412耦合到处理器406。处理器406可以执行编码指令408以根据图案402的部分的图像分析来确定每个相机的位置。例如，如上文所述，处理器406可以被配置为根据来自相机404的图案402的至少一部分的图像来确定每个相机404的位置。相机404的位置可以用作针对例如游戏程序的计算机程序414的输入。
根据本发明的实施例配置的基于图案的计算机视觉装置可以以许多方法中的任何方法与计算机娱乐设备组合。作为示例，图5是图示利用根据本发明的实施例的基于图案的计算机视觉输入的计算机娱乐装置500的框图。作为示例，并且在不丧失一般性的情况下，装置500可以被实现为诸如个人计算机、视频游戏机、个人数字助理、蜂窝电话、手持游戏设备、便携式互联网设备或者其他数字设备的计算机系统的一部分。在优选实施例中，该装置被实现为视频游戏机的一部分。
装置500通常包括一个或多个处理单元。作为示例，且并非作为限制，一个或多个处理单元可以包括至少一个主处理单元501和一个或多个协处理器元件502A、502B。每个协处理器元件可以具有处理器单元和关联的本地存储器。该装置可以包括与处理单元501或协处理器元件502A、502B分离的存储器单元503。
处理单元501可以包括一个或多个处理核心。作为示例且没有限制，主处理单元501和协处理器元件502A、502B可以是诸如单元处理器（Cell Processor）的并行处理器模块的一部分。例如在国际商用机器公司、索尼计算机娱乐公司、东芝公司的2005年8月8日版权的“Cell Broadband Engine Architecture”中详细描述了单元处理器架构的示例，可以在http://cell.scei.co.jp/处下载其副本，其整个内容通过引用合并于此。
在单元处理器架构中，对应于处理单元501的计算单元被称为“功率处理元件”（PPE）并且对应于协处理器元件502A、502B的计算单元被称为“协同处理元件”（SPE）。注意，单元处理器架构仅是可以与本发明的实施例一起使用的适当的处理器架构的除其他之外的一个示例。然而，本发明的实施例可以使用其他多处理器架构来实现。
存储器单元503可以是用于以计算机可读形式存储信息的任何适当的介质。作为示例，且并非作为限制，存储器单元503可以包括随机存取存储器（RAM）或者只读存储器（ROM）、用于固定盘驱动器（例如，硬盘驱动器）的计算机可读存储盘或者可拆卸盘驱动器。
装置500还可以包括公知的支持功能511、诸如输入/输出（I/O）元件512、电源（P/S）513、时钟（CLK）514和缓存515。装置500可以进一步包括提供软件程序指令517和数据518的非易失性存储的存储设备516。作为示例，存储设备516可以是固定盘驱动器、可拆卸盘驱动器、闪速存储器设备、磁带驱动器、CD-ROM、DVD-ROM、Blu-ray、HD-DVD、UMD或者其他光存储设备。
基于图案的计算机视觉接口510可以例如经由I/O元件512耦合到处理单元501。通常，接口510可以包括一个或多个相机。相机可以被配置为佩戴在用户的脚或手上。相机可以从可放置在适当表面上的结构上编码图案获得图像。结构上编码图案可以包括多个元素，每个元素通过识别元素的位置和取向的信息进行编码。可以如上文参照图2A-2E、3和4描述的那样来配置图案。
主处理单元501和协处理器502A、502B可以被配置为运行软件应用程序并且可选地运行操作系统。这些软件应用程序的部分可以被存储在存储器单元503中。指令和数据可以被加载到主处理单元501的寄存器中或者协处理器元件502A、502B的本地存储中以备执行。软件应用程序可以包括主应用程序504，诸如视频游戏应用程序。主应用程序504可以结合基于图案的相机位置例程505进行操作，该相机位置例程505获得结构上编码图案507的至少一部分的图像，识别图像中的一个或多个图案元素的至少一部分，并且根据在图像的一个或多个图案元素中编码的信息确定相机506相对于图案507的位置。位置例程505可以利用存储在存储器503中的图案数据509。图案数据509可以使每个图案元素中的结构上编码数据与图案中的位置相关。位置例程505可以将从通过相机506获得的图案507的图像得到的数据与图案数据比较以确定相机506相对于图案的位置和/或取向。
注意，位置例程505可以在作为接口510的一部分并且分离于主处理器501或协处理器502A、502B的处理器上实现，此外，至少部分位置例程可以由作为相机506的一部分的处理器实现。当确定一个或多个磁体处于特定位置时，相机位置例程505可以触发应用程序504以改变装置500的状态。如这里使用的，“状态改变”指的是装置操作的改变。作为示例，状态改变可以包括执行命令或者选择由应用程序504处置的另一过程使用的特定数据。执行命令的非限制性示例会是装置开始在特定时间将磁体的计算位置与磁体的预定位置比较的过程。可以基于计算位置与预定位置的接近度来确定分值。可以建立相对于特定时间参考（诸如结合程序504播放的一段音乐中的时间参考）的一系列预定位置。磁体可以被放置在用户的脚和/或手上。通过在相关时间顺序地比较计算位置和预定位置，装置500可以在用户在垫上跳舞时连续地跟踪用户的脚和/或手的位置。程序可以基于用户跟随针对给定的一段音乐选择的预定舞步序列的接近程度来对用户打分。
装置500可以包括网络接口525以便于经由电子通信网络527进行通信。网络接口525可以被配置为在局域网和诸如互联网的广域网上实现有线或无线通信。系统500可以经由网络527上的一个或多个消息分组526来发送和接收数据和/或请求文件。
装置500可以进一步包括图形子系统530，其可以包括图形处理单元（GPU）535和图形存储器537。图形存储器537可以包括用于存储关于输出图像的每个像素的像素数据的显示存储器（例如，帧缓冲器）。图形存储器537可以集成在与GPU 535相同的设备中，作为单独设备与GPU 535连接，和/或在存储器单元503中实现。像素数据可以直接从处理单元501和/或协处理器502A、502B提供给图形存储器537。在一些实施例中，图形单元可以接收从解码器（未示出）解码的数字广播信号提取的视频信号数据。可替选地，处理单元501可以向GPU 535提供定义所期望的输出图像的数据和/或指令，GPU 535可以根据该数据和/或指令生成一个或多个输出图像的像素数据。定义所期望的输出图像的数据和/或指令可以被存储在存储器502和/或图形存储器537中。在实施例中，GPU 535可以被配置为（例如，通过适当的编程或者硬件配置）具有3D渲染能力，用于根据定义关于场景的几何构型、灯光、阴影、纹理、运动和/或相机参数的指令和数据生成关于输出图像的像素数据。GPU 535可以进一步包括一个或多个能够执行着色器（shader）程序的可编程执行单元。
图形子系统530可以周期性地从图形存储器537输出关于将显示在视频显示设备540上的图像的像素数据。视频显示设备550可以是能够响应于来自装置500的信号显示视觉信息的任何设备，包括能够显示文本、数字、图形符号或图像的CRT、LCD、等离子体和OLED显示器。数字广播接收设备500可以根据显示设备的类型，向显示设备540提供模拟或数字形式的显示驱动信号。此外，显示器540可以补充有一个或多个音频扬声器，其产生可听或者可以其他形式检测的声音。
为了便于生成这些声音，装置500可以进一步包括音频处理器550，其适于根据处理单元501、存储器单元502和/或存储516提供的指令和/或数据生成模拟或数字音频输出。音频输出可以例如由扬声器555转换为可听声音。
装置500的部件，包括主处理单元501，协处理器元件502A、502B，接口510，支持功能511，数据存储516，诸如游戏控制器、键盘或鼠标的传统的用户输入设备520，网络接口525，图形子系统530和音频处理器550，可以经由一个或多个数据总线560在操作上彼此连接。这些部件可以以硬件、软件、固件或者其中两个或更多个的某种组合来实现。
本发明的实施例可以与利用麦克风522和相机524（除了与接口510一起使用的相机506之外）的应用程序或系统一起使用。相机524可以是深度相机，其有时还被称为3D相机或zed相机。麦克风522和相机524可以经由I/O功能耦合到数据总线。主应用程序504可以分析通过相机获得的图像以确定与相机524的视场FOV中的人或物体的位置相关的信息。位置信息可以包括这些人或物体的深度z。主应用程序504可以结合如上文所述的来自电容接口的信息使用位置信息以获得关于用户位置的信息和关于用户身体取向的信息。该信息可以用于向应用程序504提供额外的输入。
较之通过传统的现有技术的跳舞垫而可能实现的分辨率，本发明的实施例允许跟踪用户的脚和/或手的位置时的更大程度的分辨率。此外，本发明的实施例允许跟踪用户的手和/或相机被放置在其上的用户身体的其他部分。
此外，本发明的实施例还允许关于脚和/或手的相对位置的时间的第一和第二顺序区别。该区别可以用于确定脚和/或手的速度和加速度。对于关节开链体（articulated open-chain body），该速度和加速度信息对于借助于逆向运动学或者轨迹规划来帮助进一步估计脚以外的整体身体运动是有用的。
此外，本发明的实施例在游戏以外的应用中可以是有用的。例如，在机器人技术应用中，机器人可以包括相机并且结构图案识别例程可以被编码到控制机器人的处理器中。整个房间或者其他区域可以被适当的结构上编码图案覆盖。机器人可以基于人工智能当其在房间四处移动时使用相机和这里描述的基于结构图案的位置确定技术进行导航。
关于本发明的实施例的其他可能的应用包括，但不限于，玩具工业中的应用。作为示例，一组小的机动机器人玩具可以装配有相机。每个相机可以耦合到计算机系统，该计算机系统被配置为结合结构上编码图案实现基于相机的位置检测，该结构上编码图案可以被布置在如上文所述的垫上。每个机器人可以用作诸如足球队的体育队中的运动员。每个机器人玩具可以以上述方式将结构上编码图案用作参考而确定其相对于“场地”的位置。计算机系统可以被配置为实现能够由用户实时控制的人工智能（AI）策略游戏。
读者的注意力被引向与本说明书同时提交的并且对于通过本说明书进行公开检查而言是开放的所有论文和文档，并且所有这些论文和文档的内容通过引用合并于此。
除非另外明确说明，否则本说明书（包括任何所附权利要求、摘要和附图）中公开的所有特征可以由服务于相同的、等同的或者相似的目的的可替选的特征替换。因此，除非另外明确说明，否则所公开的每个特征仅是一系列通常等同或相似的特征的一个示例。
尽管上文是本发明的优选实施例的完整描述，但是可以使用各种替选方案、修改方案和等同方案。因此，本发明的范围不应参照以上描述来确定，而是相反地，应参照所附权利要求以及其等同物的完整范围来确定。这里描述的任何特征，不论其是否优选，可以与这里描述的任何其他特征组合，不论其是否优选。在所附权利要求中，除非另外明确说明，否则不定冠词“一”或“一个”指的是该冠词之后的一个或多个事项的数量。所附权利要求不应被解释为包括装置加功能的限制，除非在给定权利要求中使用习语“用于……的装置”明确记载了该限制。

Claims (26)

1. 一种用于计算机设备的输入装置，包括：
计算机处理器，被配置为执行计算机可执行指令，其中所述指令被配置为使所述计算机设备：
a）从相机获得在表面上形成的结构上编码图案的至少一部分的图像，其中所述结构上编码图案包括多个元素，其中每个元素通过识别该元素相对于所述表面的位置和取向的信息进行编码；以及
b）识别所述图像中的一个或多个图案元素的至少一部分；以及
c）根据所述图像中的所述一个或多个图案元素中编码的信息，确定所述相机相对于所述表面的位置。
2. 如权利要求1所述的装置，其中结构上编码图案包括多个单元，其中每个单元包含不同于所述图案中的每个其他单元中的每个其他元素的特有的元素。
3. 如权利要求1所述的装置，其中每个元素不相对于垂直于所述表面的平面的轴旋转对称。
4. 如权利要求1所述的装置，其中所述计算机处理器被配置为确定所述相机相对于所述图案的位置的坐标。
5. 如权利要求1所述的装置，其中所述计算机处理器被配置为确定所述相机相对于所述图案的角取向。
6. 如权利要求1所述的装置，其中所述计算机处理器被配置为将所述图像与表示所述图案的参考数据比较。
7. 如权利要求1所述的装置，其中所述计算机处理器被配置为将所述相机的位置用作针对计算机程序的输入。
8. 如权利要求1所述的装置，进一步包括所述相机，其中所述相机耦合到所述计算机处理器。
9. 如权利要求9所述的装置，其中所述相机适于安装到用户的脚。
10. 如权利要求9所述的装置，其中所述相机适于安装到用户的手。
11. 如权利要求1所述的装置，其中所述计算机处理器被配置为将所述相机的位置用作针对计算机程序的输入。
12. 如权利要求1所述的装置，其中所述计算机程序是游戏程序。
13. 如权利要求1所述的装置，进一步包括垫，其中所述结构上编码图案在所述垫上形成。
14. 一种用于计算机设备的输入装置，包括：
形成在表面上的结构上编码图案，其中所述结构上编码图案包括多个元素，其中每个元素通过识别该元素相对于所述表面的位置和取向的信息进行编码；
相机，可用于获得所述图案的至少一部分的图像；以及
耦合到所述相机的处理器单元，其中所述处理器被配置为识别所述图像中的一个或多个元素的至少一部分并且根据所述图像中的所述一个或多个图案元素中编码的信息确定所述相机相对于所述表面的位置。
15. 一种用于接收针对计算机程序的输入的方法，包括：
通过相机获得在表面上形成的结构上编码图案的至少一部分的图像，其中所述结构上编码图案包括多个元素，其中每个元素通过识别该元素相对于所述表面的位置和取向的信息进行编码；
通过耦合到所述相机的处理器单元，识别所述图像中的一个或多个图案元素的至少一部分；以及
通过所述处理器，根据所述图像中的所述一个或多个图案元素中编码的信息，确定所述相机相对于所述表面的位置。
16. 如权利要求15所述的方法，其中所述结构上编码图案包括多个单元，其中每个单元包含不同于所述图案中的每个其他单元中的每个其他元素的特有的元素。
17. 如权利要求15所述的方法，其中每个元素不相对于垂直于所述表面的平面的轴旋转对称。
18. 如权利要求15所述的方法，其中所述结构上编码图案在垫上形成。
19. 如权利要求15所述的方法，其中所述处理器被配置为确定所述相机相对于所述图案的位置的坐标。
20. 如权利要求15所述的方法，其中所述处理器被配置为确定所述相机相对于所述图案的角取向。
21. 如权利要求15所述的方法，其中所述处理器被配置为将所述图像与表示所述图案的参考数据比较。
22. 如权利要求15所述的方法，其中所述相机适于安装到用户的脚。
23. 如权利要求15所述的方法，其中所述相机适于安装到用户的手。
24. 如权利要求15所述的方法，进一步包括将所述相机的位置用作针对计算机程序的输入。
25. 如权利要求24所述的方法，其中所述计算机程序是游戏程序。
26. 一种计算机可读存储介质，具有包含于其中的计算机可执行指令，所述指令在被执行时使计算机实现用于接收针对计算机程序的输入的方法，所述方法包括：
通过相机获得在表面上形成的结构上编码图案的至少一部分的图像，其中所述结构上编码图案包括多个元素，其中每个元素通过识别该元素相对于所述表面的位置和取向的信息进行编码；
识别所述图像中的一个或多个图案元素的至少一部分；以及
根据所述图像中的所述一个或多个图案元素中编码的信息根据所述一个或多个部分确定所述相机相对于所述表面的位置。
CN201110147333.3A 2010-06-02 2011-06-02 使用基于图案的计算机视觉的计算机设备的输入 Active CN102270039B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/792628 2010-06-02
US12/792,628 US8602893B2 (en) 2010-06-02 2010-06-02 Input for computer device using pattern-based computer vision

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610040668.8A Division CN105718073A (zh) 2010-06-02 2011-06-02 使用基于图案的计算机视觉的计算机设备的输入

Publications (2)

Publication Number Publication Date
CN102270039A true CN102270039A (zh) 2011-12-07
CN102270039B CN102270039B (zh) 2016-02-24

Family

ID=44662856

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610040668.8A Pending CN105718073A (zh) 2010-06-02 2011-06-02 使用基于图案的计算机视觉的计算机设备的输入
CN201110147333.3A Active CN102270039B (zh) 2010-06-02 2011-06-02 使用基于图案的计算机视觉的计算机设备的输入

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610040668.8A Pending CN105718073A (zh) 2010-06-02 2011-06-02 使用基于图案的计算机视觉的计算机设备的输入

Country Status (4)

Country Link
US (1) US8602893B2 (zh)
EP (1) EP2392990A3 (zh)
JP (1) JP5048148B2 (zh)
CN (2) CN105718073A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247563A (zh) * 2013-03-13 2016-01-13 梅德拉控股公司 用于管理母乳的供给的系统和方法
CN107808175A (zh) * 2016-09-09 2018-03-16 埃森哲环球解决方案有限公司 使用编码贴花的自动化装载桥定位
US10908580B2 (en) 2016-09-09 2021-02-02 Accenture Global Solutions Limited Devices, systems, and methods for automated loading bridge positioning using shapes associated with a vehicle

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8496527B2 (en) 2010-06-02 2013-07-30 Sony Computer Entertainment Inc. Capacitive input for computer program
US9360959B2 (en) * 2010-10-12 2016-06-07 Tactonic Technologies, Llc Fusing depth and pressure imaging to provide object identification for multi-touch surfaces
CN103379944B (zh) * 2011-03-30 2015-06-10 科乐美数码娱乐株式会社 游戏装置以及游戏装置的控制方法
US10248886B2 (en) * 2013-10-30 2019-04-02 Pgs Geophysical As System and method for underwater distance measurement
US9494429B2 (en) 2013-10-30 2016-11-15 Pgs Geophysical As Marine streamer inertial navigating drag body
DE102014000375A1 (de) * 2014-01-14 2015-07-16 Grenzebach Maschinenbau Gmbh Vorrichtung zur Orientierung für automatisch in Werkshallen geführte, elektrisch betriebene, Transportfahrzeuge
JP6207415B2 (ja) * 2014-01-31 2017-10-04 株式会社バンダイ 情報提供システムおよび情報提供プログラム
KR101587263B1 (ko) * 2014-06-13 2016-01-20 박영호 센싱장치 및 이를 구비한 스크린 사격 시뮬레이션 시스템
US9831954B2 (en) * 2014-09-18 2017-11-28 Oregon State University Increasing data bandwidth to wireless devices
DE102014219798A1 (de) * 2014-09-30 2016-03-31 Siemens Aktiengesellschaft Mobiles Endgerät und Verfahren zur Orientierungsbestimmung an einem mobilen Endgerät
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
KR102156537B1 (ko) 2016-08-04 2020-09-16 주식회사 소니 인터랙티브 엔터테인먼트 정보 처리 장치, 정보 처리 방법, 및 정보 매체
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
CN110411446B (zh) * 2018-04-28 2023-09-08 深圳果力智能科技有限公司 一种机器人的路径规划方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002215319A (ja) * 2001-01-18 2002-08-02 Ricoh Co Ltd 座標入力装置
WO2006065563A2 (en) * 2004-12-14 2006-06-22 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
CN101187839A (zh) * 2000-11-25 2008-05-28 西尔弗布鲁克研究有限公司 与编码标签交互以产生取向数据的感测设备
CN101212566A (zh) * 2006-12-26 2008-07-02 奥林巴斯映像株式会社 编码方法、电子相机、记录有编码程序的记录介质以及解码方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
EP0904140A4 (en) * 1996-04-05 2001-03-28 Rtl Acquisition Inc WINNING DISTRIBUTION SYSTEM FOR PLAYERS
DE69831181T2 (de) * 1997-05-30 2006-05-18 British Broadcasting Corp. Positionsbestimmung
US7574824B2 (en) * 2006-01-06 2009-08-18 Larry Holmberg Device mount for a firearm
US6728582B1 (en) * 2000-12-15 2004-04-27 Cognex Corporation System and method for determining the position of an object in three dimensions using a machine vision system with two cameras
KR100483548B1 (ko) * 2002-07-26 2005-04-15 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어 방법
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
EP1946243A2 (en) * 2005-10-04 2008-07-23 Intersense, Inc. Tracking objects with markers
US8368954B2 (en) * 2006-01-31 2013-02-05 Kenji Yoshida Image processing method
GB2440921A (en) * 2006-07-31 2008-02-20 Hewlett Packard Development Co A digital pen incorporating an orientation and position sensor and a display projector
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US20080318679A1 (en) * 2007-06-21 2008-12-25 Alexander Bach Tran Foot game controller with motion detection and/or position detection
EP2191445B1 (en) * 2007-09-04 2017-05-31 Sony Corporation Integrated motion capture
US8210435B2 (en) * 2008-01-14 2012-07-03 Sky-Trax, Inc. Optical position marker apparatus
WO2010029558A1 (en) * 2008-09-14 2010-03-18 Eliezer Magal Automatic identification system for randomly oriented objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187839A (zh) * 2000-11-25 2008-05-28 西尔弗布鲁克研究有限公司 与编码标签交互以产生取向数据的感测设备
JP2002215319A (ja) * 2001-01-18 2002-08-02 Ricoh Co Ltd 座標入力装置
WO2006065563A2 (en) * 2004-12-14 2006-06-22 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
CN101212566A (zh) * 2006-12-26 2008-07-02 奥林巴斯映像株式会社 编码方法、电子相机、记录有编码程序的记录介质以及解码方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247563A (zh) * 2013-03-13 2016-01-13 梅德拉控股公司 用于管理母乳的供给的系统和方法
CN105247563B (zh) * 2013-03-13 2022-08-05 梅德拉控股公司 用于管理母乳的供给的系统和方法
CN107808175A (zh) * 2016-09-09 2018-03-16 埃森哲环球解决方案有限公司 使用编码贴花的自动化装载桥定位
US10908580B2 (en) 2016-09-09 2021-02-02 Accenture Global Solutions Limited Devices, systems, and methods for automated loading bridge positioning using shapes associated with a vehicle
CN107808175B (zh) * 2016-09-09 2021-03-26 埃森哲环球解决方案有限公司 使用编码贴花的自动化装载桥定位

Also Published As

Publication number Publication date
EP2392990A3 (en) 2014-04-23
EP2392990A2 (en) 2011-12-07
JP5048148B2 (ja) 2012-10-17
CN102270039B (zh) 2016-02-24
JP2011253539A (ja) 2011-12-15
CN105718073A (zh) 2016-06-29
US20110300939A1 (en) 2011-12-08
US8602893B2 (en) 2013-12-10

Similar Documents

Publication Publication Date Title
CN102270039B (zh) 使用基于图案的计算机视觉的计算机设备的输入
CN102681661B (zh) 在玩游戏中使用三维环境模型
JP6900575B2 (ja) ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム
TWI517881B (zh) 決定附球控制器的位置與移動
US10363486B2 (en) Smart video game board system and methods
JP5237415B2 (ja) コンピュータ機器のための磁気入力
US20100048290A1 (en) Image combining method, system and apparatus
CN102149436A (zh) 利用图像分析和超声波通信对控制器三维定位的确定
WO2004101095A1 (ja) ゲーム情報、情報記憶媒体及びゲーム装置
CN102270076B (zh) 计算机程序的电容输入
CN108205319A (zh) 可移动对象及其控制方法
JP5083521B2 (ja) ゲーム装置
WO2018179837A1 (ja) 情報処理装置及び情報処理装置の制御方法
CN112717411B (zh) 虚拟载具的轨迹记录方法、装置、设备及存储介质
Zabulis et al. A Multicamera Vision System Supporting the Development of Wide-Area Exertainment Applications.
CN115869624A (zh) 游戏区域的标记方法、装置、设备及存储介质
CN117836809A (zh) 信息处理装置、信息处理方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant