CN102713931A - 用于对象提取的系统和方法 - Google Patents

用于对象提取的系统和方法 Download PDF

Info

Publication number
CN102713931A
CN102713931A CN2010800446898A CN201080044689A CN102713931A CN 102713931 A CN102713931 A CN 102713931A CN 2010800446898 A CN2010800446898 A CN 2010800446898A CN 201080044689 A CN201080044689 A CN 201080044689A CN 102713931 A CN102713931 A CN 102713931A
Authority
CN
China
Prior art keywords
image
brick
entity object
color
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800446898A
Other languages
English (en)
Inventor
罗农·霍洛维茨
瑞安·卡夫托里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EYECUE VISION TECHNOLOGIES Ltd
Original Assignee
EYECUE VISION TECHNOLOGIES Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EYECUE VISION TECHNOLOGIES Ltd filed Critical EYECUE VISION TECHNOLOGIES Ltd
Publication of CN102713931A publication Critical patent/CN102713931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/61—Score computation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Abstract

用于提取例如由砖构成的实体对象的图像的系统和方法被给出。该方法和系统可以利用边缘检测运算符来检测背景的边界和边缘，执行透视转换计算以计算与实体对象的图像大体对齐的经校正虚拟网格，在数字图像中定位颜色校准调色板并且提取该颜色调色板的用于像素的颜色值信息，并且辨别作为实体对象的图像的一部分的砖，该辨别部分地基于较之颜色调色板和背景颜色对砖的颜色的判定，辨别出的砖组成提取出的图像。计算机可读介质可以包括使系统根据该方法提取由砖构成的实体对象的图像的指令。

Description

用于对象提取的系统和方法
技术领域
本申请涉及交互式计算机成像系统和方法，并且更具体地涉及用于识别从图像中提取的对象的系统和方法。
背景技术
构造集(construction set)可以包括允许构造各种不同模型或形状的标准化互锁件。这些件可能不需要特殊训练或设计时间来构造复杂系统。互锁件可适合用于创建用作孩子玩具的临时结构。互锁构造集的一个示例是LEGO(乐高博士有限公司，丹麦)，其可以包括彩色互锁塑料砖以及附带的一系列装备、人偶和各种其他部件。这些互锁砖可被以许多方式组装和连接，以构造诸如车辆、建筑乃至工作机器人之类的对象。通过这些互锁砖构造的任何东西可被拆开，并且这些件可被用于制造其他对象。
发明内容
本发明的一个实施例提供了一种用于提取由砖构成的实体对象的图像的系统。该系统包括处理器或控制器，被耦合到该处理器或控制器并且被配置为提供被布置在包含图案或者视觉线索的背景上的所述实体对象的数字图像的数字成像设备，被耦合到所述控制器并且被配置为检测所述数字图像内的所述背景的边界和边缘的背景检测器单元，被耦合到所述控制器并且被配置为计算与所述实体对象的图像大体对齐的经校正虚拟网格的透视转换单元，被耦合到所述控制器并且被配置为通过对与经校正网格对齐的相关像素进行采样来在所述数字图像中定位颜色校准调色板的颜色校准提取单元，以及被耦合到所述控制器并且被配置为辨别所述数字图像中作为所述实体对象的图像的一部分的砖的砖识别器单元，所辨别出的砖组成提取出的图像。这里讨论的各种单元(被耦合的背景检测器单元，透视转换单元，等等)可以由所述处理器或控制器(例如由执行指令或代码的所述控制器或处理器)来实现。
本发明的另一实施例提供了一种用于提取由砖构成的实体对象的图像的方法。该方法包括获取被布置在背景上的所述实体对象的数字图像，利用边缘检测运算符来检测所述背景的边界和边缘，其中被计算出是90°或者大约90°的边缘曲率是对于角的指示，执行透视转换计算以计算与所述实体对象的图像大体对齐的经校正虚拟网格，在数字图像中定位颜色校准调色板并且提取该颜色调色板的用于像素的颜色值信息，辨别作为所述实体对象的图像的一部分的砖，该辨别部分地基于较之颜色调色板和背景颜色对所述砖的颜色的判定，所辨别出的砖组成提取出的图像。
本发明的另一实施例提供了一种编码在计算机可读介质(例如，存储设备、盘驱动器)内的计算机可读程序。该计算机可读程序包括被配置为指示系统提取由砖构成的实体对象的图像的可执行计算机程序代码。
附图说明
图1示出根据本发明一个实施例的系统的示意图；
图2示出图1的系统的组件的示意图；
图3示出由图1中示出的系统捕捉的图像；
图4示出根据本发明一个实施例的方法；
图5示出根据图4中示出的方法的一个步骤的图像的表示；
图6示出图4中示出的方法中的另一步骤的表示；
图7示出图5的图像的一部分的特写；
图8示出图3的图像的元素的替代实施例；
图9A-9C示出图4中示出的方法中的另一步骤的表示；
图10示出根据图4中示出的方法从图3的图像中提取的图像；
图11示出根据本发明一个实施例的方法；
图12示出根据本发明一个实施例的方法；
图13A示出真实世界对象的杂集(assortment)；
图13B示出嵌入在视频游戏内的图11A的对象的杂集；并且
图14示出在手持移动设备上呈现的根据图2的方法的结果的表示。
具体实施方式
在以下描述中，本发明的各种实施例将被描述。为了说明目的，特定示例被提出以提供对本发明至少一个实施例的透彻理解。然而，本领域技术人员还将会明白，本发明的其他实施例不限于这里描述的示例。另外，众所周知的特征可被省略或简化，以便不使这里描述的本发明的实施例模糊。
除非另有特别说明，如从以下讨论显见，将认识到在整个说明书中利用诸如“选择”、“评估”、“处理”、“估算”、“计算”、“关联”、“确定”、“指定”、“指派”等术语的讨论指的是用于操纵在计算机系统的寄存器和/或存储器内被表示为物理(例如电子)量的数据并且/或者将该数据转换为在计算机系统的存储器、寄存器或者其他这种信息存储、传输或显示设备内被类似地表示为物理量的其他数据的计算机、计算机处理器或计算系统或类似电子计算设备的动作和/或处理。
这里给出的处理和功能不是固有地与任何特定计算机、网络或其他装置有关。这里描述的本发明的实施例不是参考任何特定编程语言、机器码等描述的。将会认识到各种编程语言、网络系统、协议或者硬件配置可被用于实现在此描述的本发明的实施例的教导。在一些实施例中，本发明的实施例的一个或多个方法可被存储为诸如存储设备之类的制品中的指令或代码，其中这种指令当被处理器或计算机执行时引起本发明一个实施例的方法的执行。
本申请与可以提取和识别在图像中捕捉的对象的交互式游戏和计算机视觉成像系统有关。该对象可以通过组装互锁砖(例如，LEGO
Figure BPA00001530988400031
砖或建筑单元)或其他件或建筑砖来创建。在一个实施例中，所使用的砖或构造对象具有或者符合已知的尺寸集合(例如，已知和有限的形状和尺寸集合)。图像可以在未被控制的照明条件下被捕捉。对象的识别可以基于形状分析和/或形状比较。可以通过与预定义对象数据库中的记录相比较对对象进行识别和分类，以完成识别。通过将所提取的实体对象的图像嵌入在交互式视频游戏内，用户可以体验与所提取对象的一定水平的交互。
图1是根据本发明一个实施例的系统100的示意图。系统100可以包括诸如工作站或个人计算机110之类的计算机以及数字成像设备190。个人计算机110可以包括处理器、显示器292(图2)、一个或多个用户接口输入/输出设备296(图2)(例如，键盘、箭头键和/或鼠标)，以及存储器245(图2)。数字成像设备190例如可以是成像器、网络摄像机或者数字相机。与个人计算机110相连的可以是包含图像和其他数据(例如软件或代码)的数据库的数据存储装置170。数据存储装置170可以由存储器或者诸如硬盘驱动器之类的另一存储设备来实现。
系统100可以是具有处理器、显示器、用户接口、存储器、数据库和数字成像设备的专用独立设备。系统100可被实现在诸如笔记本或上网本120、个人数字助理(PDA)130、移动电话140或者平板(板式)计算机150之类的其它计算设备上。系统100可以包括例如PDA 130和移动电话140内的集成成像设备。数字成像设备190、192和194可被分别连接到个人计算机110、笔记本或上网本120以及平板计算机150。
系统100可以包括在非易失性存储器或者计算机可读介质(例如，硬盘驱动器、闪速存储器、CD ROM、磁介质等)中存储的计算机程序应用。计算机程序应用可以包括当被执行时可以指示或致使系统100的控制器或处理器执行在此讨论的方法(例如提取、识别或嵌入对象的方法)的代码或可执行指令。
在另一实施例中，系统100的计算设备110、120、130、140、150各自可被配置为通过电子通信网络160连接到远程服务器180的客户端设备。电子通信网络160可以是因特网、局域网、广域网或者电子通信网络的其他合适配置。客户端设备计算设备110、120、130、140、150可以具有本地客户端应用，并且远程服务器180可以包括远程服务器应用。客户端应用和远程服务器应用组合起来可以为系统100提供用来执行在此讨论的方法(例如提取、识别和/或嵌入对象的方法)的指令。包含图像数据库的数据存储装置172可被连接到远程服务器180。在一个实施例中，包含图像数据库的独立数据存储装置174可被连接到电子通信网络160。数据存储装置174可被计算设备110、120、130、140、150和/或远程服务器180通过电子通信网络160访问。
系统100可以提供可以从由数字成像设备190、192、194捕捉的真实世界场景图像中检测和提取实体对象图像的交互式系统。系统100可以在计算机显示器上对所提取对象建模以便虚拟化和嵌入在计算机视频游戏中。对象可以由互锁砖或其他物品或其他材料来构造。在一个实施例中，系统100可以向用户提供关于所要构造的对象(例如飞机、汽车、房屋、人物等)的建议形状或配置的指令。例如，处理器或控制器可以选择形状并且连同给用户的由砖来构造所显示形状的指令一起在显示器上呈现该形状，以创建实体对象。所建议的配置可被存储在例如数据存储装置170、172、174中。在建议对象被提取之后，系统100可以将所提取图像与所建议配置相比较，并且可以计算表示比较结果或者表示图像或实体对象与所建议的配置或形状之间的对应性的评级或者量度。
图2示出了系统100的组件的示意。系统100可以包括可被连接到内部总线230的控制器或中央处理单元270。数字成像设备190可以经由输入/输出端口(未示出)被连接到CPU 270。存储器或者数据存储装置170也可以经由输入/输出端口被连接到CPU 270。在替代实施例中，在数据存储装置内存储的形状配置可被存储在与内部总线230相耦合的存储器245中，从而减少对数据存储装置170的需要。
CPU 270可以向背景检测器240提供由数字成像设备提供的数字图像。背景检测器240可以由专用硬件、软件模块和/或固件来实现，其中CPU 270执行指令。在此讨论的其他单元也可以由专用硬件单元、软件模块和/或固件来实现，其中CPU 270执行指令。可由背景检测器240利用边缘检测器处理或算法来计算和提取背景220的边界和边缘。为了将背景220(图3)与例如由砖或其他建筑单元组成的实体对象的图像205(图3)(例如数字图像)相区别，边缘的曲率可被计算并且曲率大约为90度的位置可被标记为角。每一个检测到的角可被和与之相连的边缘的曲率相关联。背景检测器可以将其结果提供给CPU 270以便例如作为数据存储装置170中的记录存储在内部存储器245或外部存储单元内。背景220可以包括使得能够提取实体对象图像的网格、图案或者视觉线索。背景无需被使用。
透视转换校正(PTC)单元250可以计算与对象210的图像大体对齐的经校正虚拟网格。颜色校准提取器单元260可以使用经透视校正的网格来定位在背景220上形成的一个或多个颜色校准调色板。与调色板的砖相对应的来自图像205的相关像素的颜色值可被颜色校准提取器单元提取并变换为另一颜色空间表示。同样，被选择为表示场颜色的来自背景220的背景场的少数校准点也可被颜色校准提取器单元260提取并变换为相同的HSV(色相(hue)、饱和度、色调(value))颜色空间。其他颜色空间可被使用，并且颜色无需被使用。
砖标识符单元280可以采样和提取少数不同地方的图像205的相关像素的值。这些值可被变换为例如HSV颜色空间。经变换数据的色相值可被与背景220中的颜色校准调色板以及(可选的)场的色相值相比较。具有最小差异的颜色被砖标识符单元280选择为表示该网格位置的颜色。砖标识符单元280比较像素的亮度(intensity)和饱和度水平以确定砖是彩色、黑色还是白色的。如果所确定的砖的颜色不是背景的颜色，那么砖标识符单元280认识到该砖是所构造对象的一部分。
比较单元290可以将检测到的图像的形状与存储在数据库中的记录相比较。该比较由比较单元例如利用相关函数(correlation function)来完成。
图3示出布置在背景220上的对象210的图像205。对象210可以是由建筑砖或者其他单元组成的真实世界实体对象。类似地，背景220可以是由建筑砖或者其他单元组成的真实世界实体对象，或者被印刷在纸张或者硬纸板上。背景无需被使用。
可以在具有预定义图案的背景上捕捉所要提取的对象。该预定义图案可以具有预定已知空间特征，该预定已知空间特征可以将属于对象210的像素与属于背景220的像素相区分。例如，图3示出具有正方形网格的背景220。背景220的空间图案可被与图像205的像素相区分，图像205包含由通常为固态刚性的互锁建筑砖组成的对象210。预定义的网格无需是正方形网格，并且预定义背景图案的其他实现方式可被使用。
结果类似于利用蓝屏或绿屏从背景中分离前景对象的色度键控(chroma key)技术，系统100可以利用所提取的对象的空间和形态特征从图像205中提取对象210，并且可与颜色识别相独立地被完成。
所捕捉的包含对象210的图像可被分析以从背景220中提取对象。一旦提取出对象210，可以为了形状识别而通过与预定义的对象数据库进行比较来分析对象210。一旦对象210的形状被识别出，则经数字提取的对象可被用于与玩家的各种动态交互。
图4示出了根据本发明一个实施例的处理400。可以利用诸如2D底帽(bottom hat)运算符之类的形态运算符来提取对象210的掩模(mask)，这可以给出随后可以利用阈值技术和其他形态运算符(例如，关闭和打开)的组合被过滤以除去伪像的图像。通过应用这些形态运算符而创建的由此得到的掩模可以表示从背景220中检测到并隔离出的对象210。
在一个实施例中，用于提取和识别对象210的处理400可被执行如下：
步骤410，可以通过在背景220上布置对象210并且拍摄该布置的数字图像来获得图像205。可以利用与计算设备110(个人计算机)相连的数字成像设备190来拍摄该图像。作为替代，可以利用上面描述的其他计算设备以及与这些其他计算设备相关联的外部或者内部的数字成像设备来拍摄图像。
背景对象检测：
其上可以放置砖的背景对象可以是如下的任何表面，该表面具有诸如特定颜色、特定空间图案或者其他可以辅助对对象的检测和提取的一个或多个光谱/空间特征之类的已知特征。背景对象220例如可以是打印纸或硬纸板，或者由互锁砖组成的表面。如果例如互锁砖背景被用作背景，那么处理400可以包括检测例如可通过利用包含深色场的白周边砖创建的四个高对比度的角。这些角可被用于以以下方式寻找背景场的边界：
可以利用任何可以检测图像中的边缘的边缘检测器来计算和提取图像的边界，例如，Canny算法是一个这种多级算法。Canney算法可以使用可包括用于检测图像中的水平、垂直和对角边缘的四个滤波器的边缘检测运算符。边缘检测运算符可以返回水平方向和垂直方向上的一阶导数的值。根据这些导数，边缘的梯度和方向可被确定。其他非最大抑制边缘检测器技术也可被处理400使用。
为了将背景220与图像205相区别，边缘的曲率可被计算并且曲率大约为90度的位置可被标记为角，步骤420。图5示出了具有处理400所识别出并由图中的“+”标记指示出的角的互锁砖背景和对象。被标记角中的每一个可被认为是背景场的候选角。
参考图5，每个检测到的候选角可被和与之相连的边缘的曲率相关联。如果在预定阈值内发现这些边缘曲率接近零，那么这些边缘曲率可能在直线上。在这种情况下，这些角可被标记为背景场的角的候选者。候选角的每个相关边缘的斜率被计算并且其线方程被提取。如果第一候选角和与第二候选角相关联的线方程之一之间的距离小于某一预定阈值，那么这两个角被认为在同一线上。如果线组成四角形处的四个这种角被找到，那么认为背景场的角被找到。与其他角不在同一线上的候选角不再被考虑作为背景角。
透视转换校正：
背景220可以是矩形或者方形或者其他形状，但是由于背景可能不一定被定位为垂直于相机透镜的轴的事实，因此得到的图像可能不是方形和真实的。背景220的检测到的角的位置可被用于执行透视转换计算，步骤430。该透视转换可被用于计算经校正的虚拟网格，该虚拟网格与组成图像205中所示的对象210的互锁砖的图像大体对齐。图6示出了叠加有透视转换计算之后的真实网格的图像205的表示。
校准颜色提取：
图7示出了示出颜色校准调色板610的背景220的一个角的特写。背景220可以使颜色校准调色板610位于其四个角中的一个或多个中。每一个颜色校准调色板例如可以包括四种不同的有色块—例如，红色、黄色、绿色和蓝色。其他数目的颜色以及其他颜色可被使用。当背景220被装配时，有色块例如可以利用互锁砖组成。
利用在步骤430中获得的经透视校正的网格，组成颜色校准调色板610的这些有色砖中的每一个有色砖的位置可被找到。与调色板的砖相对应的来自像素205的相关像素的颜色值可被提取，步骤440，并且被变换为另一颜色空间表示，例如HSV颜色空间。另外，被选择为表示场颜色的来自背景220的背景场的一些校准点也可被提取并被变换为相同的HSV颜色空间。
有色建筑块可以经历另外的分析，并且可以进行对其颜色的分类以获得对象的颜色模型。
图8示出了背景220的替代实施例。在该实施例中，背景220可被印制在诸如纸或硬纸板之类的合适平整表面和材料上。这里，背景220可以包括颜色校准调色板620，颜色校准调色板620可以包括按照特定空间布置来布置的颜色组合。颜色校准调色板620可以允许对颜色的校准以补偿白平衡、动态范围和颜色一致性。
砖识别：
对于每个网格位置，图像205的相关像素的值可被在几个不同位置被采样和提取，步骤450。这些值可被变换为HSV颜色空间。经变换数据的色相值可被与在步骤440期间获得的颜色校准调色板以及可选的背景场的色相值相比较。具有最小差异的颜色可被选择为表示该网格位置的颜色。相关像素的亮度水平可被和与在背景220的四个角中使用的砖所关联的黑色和白色像素的亮度水平和饱和度水平相比较。如果饱和度水平与白色的饱和度水平的接近程度超过其与颜色调色板和背景的饱和度水平的接近程度；并且如果其亮度水平也高，那么该网格位置的颜色可被标记为白色。如果亮度水平很低并且接近于黑色的亮度水平，那么网格位置可被标记为黑色。否则，该网格位置的颜色被指派来自颜色校准调色板的对应颜色。
图9A-C示出了步骤440的中间结果。诸如2D底帽运算符之类的形态运算符将给出随后可以利用一种或多种阈值技术(见图9B)和其他形态运算符(例如关闭和打开)被过滤以除去伪像的图像(见图9A)。通过应用这些形态运算符而创建的由此得到的掩模可以表示从背景220中隔离出的对象210(见图9C)。图10示出了在通过处理400从图像205中进行提取之后的对象210的图像示例。
在对象210的图像被与背景220分离并且被从图像205中提取出之后，处理400可以通过应用二进制大对象(BLOB)分析、标注和时刻计算来执行对所提取图像的朝向的进一步分析，以获得可被用于使对象旋转至更加希望的角度的计算出的角度。
在一个实施例中，对与检测到的对象相关联的空间和光谱特征的进一步分析可被用来将系统100训练为在以后例如通过检查检测到的对象的颜色直方图以及检测到的对象内的有色片段的关系来识别对象。该信息可被存储在数据存储装置170、172和174中。
形状比较和评分：
来自图像205的所提取出的对象的形状可被与数据存储装置170、172或174内存储的数据库中的记录相比较，步骤460、470。可以例如通过利用归一化的相关函数cor将所提取出的对象形状与来自数据库的输入形状相比较：
f(cor)＝(所存储的配置，所提取出的形状)
如果所存储的配置＝所提取出的形状，则f(cor)＝1
其中：
所存储的配置可以位于数据存储装置内，并且
所提取出的形状可以例如通过处理400提供。
其他操作可被使用。在一个实施例中，可以基于所提取出的图像及其分类来创建游戏。计算机可以以交互式方式使用户参与，以创建随后在供提取的图像中被提供给计算机的真实世界对象。计算机可以在计算机显示器上呈现来自数据库的记录并且请求玩家构建所显示的对象。所显示的对象例如可以是汽车。在对象被玩家组装之后，放置在合适背景上的对象的图像(如上面讨论的)可被获得。计算机然后可以提取对象的图像，并且将其与数据库记录相比较。图13A示出了可被构建的各种对象。例如，图13A示出了人物1010、汽车1020、树1030、飞机1040、脸1050和房子1060形式的真实世界对象。以下文本是可被输出给用户的交互式脚本以及根据该实施例的对应动作的示例：
计算机：欢迎，玩家，让我们进行有趣的讲故事冒险！
计算机：首先，我们需要一个人物...你能构建一个男孩人物吗？
[玩家构建人物的身体并且将其显示在背景上]
计算机[在提取出并且比较对象之后]：很好，现在让我们给他一张脸；你能为他构建一张脸吗？
[玩家构建一张脸并且将其显示在背景上]
计算机：很好...嗯...让我们给他构建一栋房子...你能帮忙做这个吗？
[玩家构建一栋房子并且将其显示在背景上]
计算机：这真是极好的房子。
计算机：嗨，那是什么声音？那是一架飞机吗？你能构建一架飞机吗？
[玩家构建一架飞机并且将其显示在背景上]
计算机：这是什么声音？那是汽车喇叭声吗？让我们构建一辆...
[玩家构建一辆汽车并且将其显示在背景上]
如果显示错误的事物那么计算机响应以：
计算机：这是很好的[脸/房子/飞机/汽车/树]但是让我们再试一次。
通过获取所构造的对象的图像，计算设备可以检测形状的存在并且提取该形状，从而在显示屏幕上显示所提取出的形状的数字表示。用户可以通过操纵屏幕上的形状的数字表示的位置或者其他方面来创建虚拟世界。
提取还可以涉及通过利用图像处理技术对形状进行自动识别。利用自动识别，计算机可以请求用户构建特定形状并且可以基于与数据库中的预定义图像的比较来给出某一反馈。
图11示出了可以实现游戏的处理700，游戏例如包括上面给出的交互式脚本。计算机(例如经由显示器或者监视器)指示玩家构造对象，步骤710。可以例如经由声卡通过音频(口头的或者声音)提供指令，或者可以通过在计算机显示器上呈现书面语来以可视方式提供指令。对象的图像可以被显示或者可以不被显示。通过不显示所指示对象的图像，玩家的知识、言语技能以及想象力可被练习。对象可从数据库中被随机选择，或者可按照预定顺序被选择。该预定顺序可被选择来使得玩家的构造技能通过对象选择的顺序而得到开发。
在玩家构造对象之后，玩家可以如上面描述将对象放置在合适的背景上，并且利用数字成像设备拍摄对象和背景的数字图像。背景无需被使用。计算机从数字成像设备获得作为图像文件的实体对象的数字图像，步骤720。
所构造的实体对象的图像可被从数字图像中提取，步骤730。可以例如利用上面参考图4描述的处理400的方法来执行提取。
对象的提取出的图像可被与对应于所指示对象的数据库记录相比较，步骤740。在本发明的一个实施例中，该比较可以提供可以指示所构造对象与所指示对象的一致性的评分或者量度。
提取出的图像可被嵌入在视频游戏中并且可被玩家在游戏参数内利用，步骤750。
其他步骤或者其他系列的步骤可被使用。
在另一实施例中，计算机可以随机地选择形状(例如，从存储器或者数据库中取得的预定形状)并且在显示设备上示出或者显示该形状。例如在定时条件下，作为游戏的一部分，玩家可以利用砖或者其他构造对象来尝试和构造该形状。一旦玩家完成构造该形状，他使用数字成像器将他创建的图像上传到计算机。在计算机提取并识别出该对象之后，其可被与设备上示出的原始形状相比较。比较结果可被示出，以指示作为交互式竞争的一部分的构造任务的成功或失败。
用户可被呈现以在计算设备的屏幕上出现的由砖或者其他建筑单元组成的选中形状。该选中形状还可以伴随着当用户第一次看见该形状时启动的定时器。该定时器可被用来测量用户可以多快利用互锁砖成功构建该形状。
用户试图利用常规砖构建该形状并且在背景被使用的情况下可以将他构建的对象放置在被指定为背景区域的区域上。计算设备可以不断分析从数字相机获得的图像并且可以检测对象在背景区域上的存在。
如果对象被检测到，那么方法的一个实施例可以通过利用本发明实施例中的处理(例如上面描述的处理400)来提取用户创建的对象的形状。
该处理可以将所提取出的由用户构建的对象的图像与曾作为目标形状呈现的选中形状相比较，以确定用户构建形状有多成功。该比较可以提供基于用户的对象与选中形状相对应的精确程度的评分或者量度。该评分或者量度还可以包括指示构造对象所花费的时间的成分，其中该成分基于对象的复杂度而变化。
图12示出了可以实现上面描述的定时构造的处理800。计算机可以从包含表示预定形状的记录的数据库中取回记录，步骤810。所取回的形状的视觉图像可被显示在计算机显示器上，步骤820。
计算机可以提供请求玩家构造在显示器上看到的对象的消息，步骤830。可选地，计算机还可以在屏幕上呈现时钟计时器。该计时器(无论被显示与否)可以是递增计时器或者递减计时器，以跟踪用户构造实体对象所逝去的时间。
在(例如经由用户输入设备)接收到用户已经完成构造的指示之后，或者等待预定时段逝去之后，步骤840，计算机指示玩家如上所述将对象放置在合适的背景上，并且利用数字成像设备拍摄对象和背景的数字图像。背景无需被使用。计算机可以从数字成像设备获得作为图像文件的数字图像，步骤850。
所构造的对象的图像可被从数字图像中提取，步骤860。可以例如利用上面参考图4描述的处理400的方法来执行提取。
对象的提取出的图像可被与所取回的数据库记录相比较，步骤870。该比较可以提供可以指示所构造对象与所取回记录的一致性的评分或者量度。
提取出的图像可被嵌入在视频游戏中并且可被玩家在游戏参数内利用，步骤880。
其他步骤或者其他系列的步骤可被使用。
提取出的图像(或者各种实体对象的多个提取出的图像)可以作为虚拟世界或者视频游戏的一部分被以数字方式表示在显示设备上，其中存在于虚拟世界和/或视频游戏的对象是根据真实世界中的构造集来设计和构建的。图13B示出了被嵌入在计算机图形中的图13A中的多个真实世界对象的所提取图像。
图14示出了在根据包含互锁砖背景和对象的真实世界组合1020的图像被处理之后的提取出的图像110。图14示出了在配备有内部相机的移动设备130、140上的提取出的图像。
虽然已经示出并描述了被应用于若干实施例的本发明的基本的新颖特征，但是将会明白，本领域技术人员在不脱离本发明的精神和范围的情况下可以做出在例示实施例的形式、细节以及操作方面的各种省略、替换和改变。还充分预计并预期到从一个实施例到另一个实施例的元件替换。本发明仅由所附权利要求以及其中记载物的等同物来限定。

Claims (27)

1.一种用于提取由砖构成的实体对象的图像的系统，该系统包括：
控制器；
数字成像设备，该数字成像设备被耦合到所述控制器并且被配置为提供被布置在背景上的所述实体对象的数字图像；
背景检测器单元，该背景检测器单元被耦合到所述控制器并且被配置为检测所述数字图像内的所述背景的边界和边缘；以及
砖识别器单元，该砖识别器单元被耦合到所述控制器并且被配置为辨别所述数字图像中作为所述实体对象的图像的一部分的砖，所辨别出的砖组成提取出的图像。
2.如权利要求1所述的系统，还包括比较单元和数据存储装置，该比较单元被耦合到所述控制器，该数据存储装置包含具有描述预定形状的记录的数据库，其中所述比较单元被配置为将所述提取出的图像与所述预定形状当中的对应形状相比较。
3.如权利要求1所述的系统，所述控制器被配置为将所述提取出的图像的数字表示嵌入在视频游戏显示中，其中所述数字表示可被用户操纵。
4.如权利要求2所述的系统，所述比较单元还被配置为提供对所述实体对象与所述对应形状之间的一致性的评分。
5.如权利要求2所述的系统，其中，所述控制器选择所述对应形状并且将该形状与给用户的由所述砖构造所显示形状的指令一起呈现在显示单元上，以创建所述实体对象。
6.如权利要求5所述的系统，其中，所述控制器被配置为跟踪所述用户完成对所述实体对象的构造所逝去的时间。
7.如权利要求2所述的系统，其中，所述控制器选择所述对应形状并且向用户提供由所述砖构造该形状的指令，以创建所述实体对象。
8.如权利要求1所述的系统，还包括透视转换单元，该透视转换单元被耦合到所述控制器并且被配置为计算与所述实体对象的图像大体对齐的经校正的虚拟网格。
9.如权利要求1所述的系统，还包括颜色校准提取单元，该颜色校准提取单元被耦合到所述控制器并且被配置为通过对与经校正网格对齐的相关像素进行采样来在所述数字图像中定位颜色校准调色板。
10.一种用于提取由砖构成的实体对象的图像的方法，该方法包括以下步骤：
获取被布置在具有场的背景上的所述实体对象的数字图像；
利用边缘检测运算符来检测所述背景的边界和边缘，其中被计算出为大约90°的边缘曲率是角的指示；
辨别作为所述实体对象的图像的一部分的砖，该辨别部分地基于较之背景场对所述砖的颜色的判定，所辨别出的砖组成提取出的图像。
11.如权利要求10所述的方法，还包括将所述提取出的图像与描述对应形状的数据库记录相比较的步骤。
12.如权利要求10所述的方法，还包括将所述提取出的图像的数字表示嵌入在视频游戏中的步骤，其中所述数字表示能被用户操纵。
13.如权利要求11所述的方法，还包括提供对所述实体对象与所述对应形状之间的一致性的评分的步骤。
14.如权利要求11所述的方法，还包括将所述对应形状与给用户的由所述砖构造所显示形状的指令一起呈现在显示单元上以创建所述实体对象的步骤。
15.如权利要求14所述的方法，还包括跟踪所述用户完成对所述实体对象的构造所逝去的时间的步骤。
16.如权利要求11所述的方法，还包括以下步骤：
选择所述对应形状；以及
向用户提供由所述砖构造该形状的指令，以创建所述实体对象。
17.如权利要求11所述的方法，还包括执行透视转换计算以计算与所述实体对象的图像大体对齐的经校正的虚拟网格的步骤。
18.如权利要求11所述的方法，还包括在所述数字图像中定位颜色校准调色板以及提取所述颜色校准调色板的用于像素的颜色值信息的步骤，其中所述辨别步骤还部分地基于较之所述颜色调色板对所述砖的颜色的判定。
19.一种具有存储在其上的指令的计算机可读介质，所述指令当被处理器执行时使该处理器执行如下方法：
提取由砖构成的实体对象的图像；
获取被布置在具有场的背景上的所述实体对象的数字图像；
利用边缘检测运算符来检测所述背景的边界和边缘，其中被计算出为大约90°的边缘曲率是角的指示；
辨别作为所述实体对象的图像的一部分的砖，该辨别部分地基于较之背景场对所述砖的颜色的判定，所辨别出的砖组成提取出的图像。
20.如权利要求19所述的计算机可读介质，还包括当被执行时使所述处理器将所述提取出的图像与对应形状的数据库记录相比较的指令。
21.如权利要求19所述的计算机可读介质，还包括当被执行时使所述处理器将所述提取出的图像的数字表示嵌入在视频游戏中的指令，其中所述数字表示可被用户操纵。
22.如权利要求20所述的计算机可读介质，还包括当被执行时使所述处理器提供对所述实体对象与所述对应形状之间的一致性的评分的指令。
23.如权利要求20所述的计算机可读介质，还包括当被执行时使所述处理器将所述对应形状与给用户的由所述砖构造所显示形状的指令一起呈现在显示单元上以创建所述实体对象的指令。
24.如权利要求23所述的计算机可读介质，还包括当被执行时使所述处理器跟踪所述用户完成对所述实体对象的构造所逝去的时间的指令。
25.如权利要求20所述的计算机可读介质，还包括当被执行时使所述处理器执行以下步骤的指令：
选择所述对应形状；以及
向用户提供由所述砖构造该形状的指令，以创建所述实体对象。
26.如权利要求19所述的计算机可读介质，包括当被执行时使所述处理器执行透视转换计算以计算与所述实体对象的图像大体对齐的经校正的虚拟网格的指令。
27.如权利要求19所述的计算机可读介质，包括当被执行时使所述处理器执行以下步骤的指令：
在所述数字图像中定位颜色校准调色板；以及
提取所述颜色校准调色板的用于像素的颜色值信息；
其中所述辨别指令还部分地基于较之所述颜色调色板对所述砖的颜色的判定。
CN2010800446898A 2009-08-04 2010-08-04 用于对象提取的系统和方法 Pending CN102713931A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US23121609P 2009-08-04 2009-08-04
US61/231,216 2009-08-04
PCT/US2010/044343 WO2011017393A1 (en) 2009-08-04 2010-08-04 System and method for object extraction

Publications (1)

Publication Number Publication Date
CN102713931A true CN102713931A (zh) 2012-10-03

Family

ID=43544639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800446898A Pending CN102713931A (zh) 2009-08-04 2010-08-04 用于对象提取的系统和方法

Country Status (6)

Country Link
US (4) US9498721B2 (zh)
EP (1) EP2462537A1 (zh)
JP (1) JP2013501304A (zh)
KR (1) KR20120089452A (zh)
CN (1) CN102713931A (zh)
WO (1) WO2011017393A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951127A (zh) * 2014-03-31 2015-09-30 三星显示有限公司 用于生成显示覆盖的系统和方法以及显示系统
CN109069929A (zh) * 2016-05-09 2018-12-21 乐高公司 用于玩具识别的系统和方法
CN109562294A (zh) * 2016-07-05 2019-04-02 乐高公司 用于创建虚拟对象的方法
CN110900606A (zh) * 2019-12-03 2020-03-24 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011017393A1 (en) 2009-08-04 2011-02-10 Eyecue Vision Technologies Ltd. System and method for object extraction
US9138636B2 (en) 2007-05-16 2015-09-22 Eyecue Vision Technologies Ltd. System and method for calculating values in tile games
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
US9336452B2 (en) 2011-01-16 2016-05-10 Eyecue Vision Technologies Ltd. System and method for identification of printed matter in an image
US9827507B2 (en) 2011-05-23 2017-11-28 Lego A/S Toy construction system for augmented reality
DK2714223T3 (en) 2011-05-23 2015-09-14 Lego As Production of building instructions for building element models
US9044677B2 (en) * 2011-07-11 2015-06-02 Roblox Corporation System for optimizing processing capacity for a group of gaming appliances engaged in play of an online game
US10657694B2 (en) 2012-10-15 2020-05-19 Tangible Play, Inc. Activity surface detection, display and enhancement of a virtual scene
US10033943B1 (en) 2012-10-15 2018-07-24 Tangible Play, Inc. Activity surface detection, display and enhancement
US9158389B1 (en) 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects
US9351698B2 (en) * 2013-03-12 2016-05-31 Lightlab Imaging, Inc. Vascular data processing and image registration systems, methods, and apparatuses
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
DE102013018924A1 (de) * 2013-11-13 2015-05-13 Audi Ag Verfahren zum Kontrollieren eines Aktors
CN105917385A (zh) 2014-01-21 2016-08-31 索尼互动娱乐股份有限公司 信息处理设备和信息处理方法
JP6027554B2 (ja) * 2014-01-21 2016-11-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、ブロックシステム、および情報処理方法
JP6193135B2 (ja) * 2014-01-21 2017-09-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP5543679B1 (ja) * 2014-02-03 2014-07-09 株式会社 ディー・エヌ・エー ゲーム内図形認識システム及びゲーム内図形認識プログラム
GB2585310B (en) 2014-05-21 2021-03-31 Tangible Play Inc Virtualization of tangible interface objects
US10583354B2 (en) 2014-06-06 2020-03-10 Lego A/S Interactive game apparatus and toy construction system
US10537821B2 (en) * 2014-06-30 2020-01-21 Microsoft Technology Licensing, Llc Interactive play sets
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
MX2017003069A (es) 2014-09-10 2017-07-28 Hasbro Inc Sistema de juguete con escaner operado manualmente.
CN106999785B (zh) 2014-10-02 2020-10-23 乐高公司 游戏系统
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
GB2532075A (en) * 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US9916772B1 (en) * 2015-01-29 2018-03-13 Schell Games Llc Atomic and molecular modeling system
JP6345612B2 (ja) 2015-02-06 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、マット、および画像生成方法
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
AU2016250773A1 (en) 2015-04-23 2017-10-12 Hasbro, Inc. Context-aware digital play
DK3337585T3 (da) 2015-08-17 2022-11-07 Lego As Fremgangsmåde til at skabe et virtuelt spilmiljø og interaktivt spilsystem under anvendelse af fremgangsmåden
DK180058B1 (en) 2018-07-06 2020-02-27 Lego A/S toy system
US10977748B2 (en) 2015-09-24 2021-04-13 International Business Machines Corporation Predictive analytics for event mapping
US10552550B2 (en) 2015-09-26 2020-02-04 Intel Corporation Technologies for physical programming
KR101759827B1 (ko) * 2016-03-08 2017-07-31 네이버비즈니스플랫폼 주식회사 가변 그리드의 인덱스를 이용한 입력 인식 방법 및 시스템
US10275222B2 (en) 2016-03-15 2019-04-30 Intel Corporation Technologies for physical programming
KR20180131621A (ko) * 2016-04-14 2018-12-10 아데르 빌기사야르 히즈메트레리 베 티카레트 에이.에스. 상표 이미지의 콘텐츠 기반 서치 및 검색
USD811486S1 (en) 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD811485S1 (en) 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD812143S1 (en) 2016-05-24 2018-03-06 Tangible Play, Inc. Programming tile
USD795348S1 (en) 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD871419S1 (en) 2016-05-24 2019-12-31 Tangible Play, Inc. Display screen or portion thereof with a graphical user interface
USD795349S1 (en) 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
GB2550911B (en) 2016-05-27 2021-02-10 Swap Bots Ltd Augmented reality toy
US11083968B2 (en) 2016-07-05 2021-08-10 Lego A/S Method for creating a virtual object
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
DK3525897T3 (da) 2016-10-14 2023-10-23 Lego As Spilsystem
WO2018087268A1 (en) 2016-11-11 2018-05-17 Lego A/S Virtual card game system
US11049274B2 (en) 2016-11-22 2021-06-29 Lego A/S System for acquiring a 3D digital representation of a physical object
US11132728B2 (en) * 2017-02-06 2021-09-28 Lego A/S Electronic ordering system and method
US10854001B2 (en) * 2017-12-26 2020-12-01 Tangible Play, Inc. Tangible object virtualization station
EP3854187A4 (en) 2018-09-17 2022-09-28 Tangible Play, Inc. DISPLAY POSITIONING SYSTEM
US11295087B2 (en) * 2019-03-18 2022-04-05 Apple Inc. Shape library suggestions based on document content
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
CN113327291B (zh) * 2020-03-16 2024-03-22 天目爱视（北京）科技有限公司 一种基于连续拍摄对远距离目标物3d建模的标定方法
US11138690B1 (en) * 2020-12-08 2021-10-05 Photobrick Pty. Ltd. Multi-image brick mosaic and systems and methods for production thereof
WO2023094861A1 (en) * 2021-11-25 2023-06-01 L&T Technology Services Limited A system and method for visual text transformation
US20240050854A1 (en) * 2022-08-09 2024-02-15 Reuven Bakalash Integrated Reality Gaming

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136180A1 (en) * 2003-05-20 2006-06-22 Hansen Mark W Selecting virtual brick models
US20080004093A1 (en) * 2006-06-30 2008-01-03 Leviathan Entertainment, Llc Methods and System for Creating In Game Objects

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1396267A (en) 1973-04-19 1975-06-04 Fortuna Agencie Ltd Arithmetical board game
US4275449A (en) 1978-04-28 1981-06-23 National Research Development Corporation Modelling arrangements
US5168531A (en) 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6351265B1 (en) 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
JPH07271818A (ja) 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
WO1996015837A1 (en) 1994-11-21 1996-05-30 Compaq Computer Corporation Interactive play with a computer
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US8610674B2 (en) 1995-06-29 2013-12-17 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JPH09102042A (ja) * 1995-08-03 1997-04-15 Sanyo Electric Co Ltd 画像処理方法
US6081273A (en) 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
US6115482A (en) 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US6009458A (en) 1996-05-09 1999-12-28 3Do Company Networked computer game system with persistent playing objects
WO1998053889A1 (en) 1997-05-29 1998-12-03 Crossout Pty Ltd. Apparatus for playing a word game
US6208347B1 (en) 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP3752802B2 (ja) * 1997-10-06 2006-03-08 株式会社セガ ゲーム装置及びゲームプログラムを記録した記録媒体
US6049281A (en) 1998-09-29 2000-04-11 Osterweil; Josef Method and apparatus for monitoring movements of an individual
US20050160271A9 (en) 1998-11-19 2005-07-21 Brundage Trent J. Identification document and related methods
US6466205B2 (en) 1998-11-19 2002-10-15 Push Entertainment, Inc. System and method for creating 3D models from 2D sequential image data
US6259815B1 (en) 1999-03-04 2001-07-10 Mitsubishi Electric Research Laboratories, Inc. System and method for recognizing scanned objects with deformable volumetric templates
JP2000271346A (ja) * 1999-03-23 2000-10-03 Nec Corp 遊戯装置
US6741245B1 (en) 1999-04-23 2004-05-25 Mitsubishi Electric Research Laboratories, Inc. Method for decorating a virtual model
JP2000306121A (ja) 1999-04-23 2000-11-02 Mitsubishi Electric Inf Technol Center America Inc ネットワークによって接続された複数のオブジェクト
US6290565B1 (en) 1999-07-21 2001-09-18 Nearlife, Inc. Interactive game apparatus with game play controlled by user-modifiable toy
US7502759B2 (en) 1999-08-30 2009-03-10 Digimarc Corporation Digital watermarking methods and related toy and game applications
US6422561B1 (en) 1999-10-06 2002-07-23 Jimmy Dale Schroeder Word search based board game with directional tiles
US8576199B1 (en) 2000-02-22 2013-11-05 Apple Inc. Computer control systems
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
DE10027323B4 (de) 2000-06-05 2013-09-26 Leica Microsystems Cms Gmbh Verfahren zum Generieren eines dreidimensionalen Objekts
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
US6975744B2 (en) 2000-12-21 2005-12-13 Digimarc Corporation Detection of multiple watermarks and improved watermark calibration signals
US6690156B1 (en) 2000-07-28 2004-02-10 N-Trig Ltd. Physical object location apparatus and method and a graphic display device using the same
US6950104B1 (en) 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
JP3926572B2 (ja) * 2001-03-02 2007-06-06 株式会社日立製作所 画像監視方法、画像監視装置及び記憶媒体
US6961055B2 (en) 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
GB0114157D0 (en) 2001-06-11 2001-08-01 Canon Kk 3D Computer modelling apparatus
US20020196250A1 (en) * 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
GB2381429B (en) 2001-09-28 2005-07-27 Canon Europa Nv 3D computer model processing apparatus
GB2383245B (en) 2001-11-05 2005-05-18 Canon Europa Nv Image processing apparatus
GB0126526D0 (en) 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
US7046840B2 (en) 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US8025569B2 (en) 2002-03-29 2011-09-27 Igt Simulating real gaming environments with interactive host and players
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
GB0208909D0 (en) 2002-04-18 2002-05-29 Canon Europa Nv Three-dimensional computer modelling
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
PT1550085E (pt) * 2002-10-11 2007-02-28 Lego As Método de gerar um modelo legivel por computador
US7280685B2 (en) * 2002-11-14 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. Object segmentation from images acquired by handheld cameras
GB2398469B (en) 2003-02-12 2005-10-26 Canon Europa Nv Image processing apparatus
US7009561B2 (en) 2003-03-11 2006-03-07 Menache, Llp Radio frequency motion tracking system and method
EP1625488A2 (en) 2003-05-20 2006-02-15 Lego A/S Method and system for manipulating a digital representation of a three-dimensional object
US7051935B2 (en) 2003-07-28 2006-05-30 Imageid Ltd. Color calibration for color bar codes
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP4055010B2 (ja) 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US20050111757A1 (en) * 2003-11-26 2005-05-26 Brackett Charles C. Auto-image alignment system and method based on identified anomalies
AU2004311841B2 (en) 2003-12-24 2008-10-09 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
JP4321287B2 (ja) 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
US7668365B2 (en) 2004-03-08 2010-02-23 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
US7389002B1 (en) 2004-03-22 2008-06-17 Knight Andrew F Method for increasing resolution in a camera
CA2464591A1 (en) 2004-04-14 2005-10-14 Inventi Limited Partnership Puzzle machine and method of operating same
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
WO2005111926A1 (en) 2004-05-18 2005-11-24 Silverbrook Research Pty Ltd Method and apparatus for security document tracking
JP2008502960A (ja) 2004-06-17 2008-01-31 レゴ エー／エス 組立てブロックモデルのための組立て指示の自動作成
JP2006026790A (ja) 2004-07-15 2006-02-02 Fanuc Ltd 教示モデル生成装置
US7522163B2 (en) 2004-08-28 2009-04-21 David Holmes Method and apparatus for determining offsets of a part from a digital image
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US7480414B2 (en) 2004-10-14 2009-01-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US20060249530A1 (en) 2005-05-06 2006-11-09 Allure Home Creations Co., Inc. Dispenser with sound and motion
US7720257B2 (en) 2005-06-16 2010-05-18 Honeywell International Inc. Object tracking system
GB2428506A (en) 2005-07-18 2007-01-31 Hewlett Packard Development Co Masking an image to prevent obscuration of a coded pattern
US9033371B2 (en) 2005-12-23 2015-05-19 Xerox Corporation Counterfeit prevention using miniature security marks
US8035637B2 (en) 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
GB0602689D0 (en) 2006-02-10 2006-03-22 Univ Edinburgh Controlling the motion of virtual objects in a virtual space
US7983787B2 (en) 2006-02-28 2011-07-19 Alexander Garnett Methods of making artistic sculpture and sculptures so made
US7515734B2 (en) 2006-03-27 2009-04-07 Eyecue Vision Technologies Ltd. Device, system and method for determining compliance with a positioning instruction by a figure in an image
WO2011017393A1 (en) 2009-08-04 2011-02-10 Eyecue Vision Technologies Ltd. System and method for object extraction
US7644926B2 (en) 2006-03-30 2010-01-12 Teeple Tod R Domino like card and board game
JP2007316949A (ja) 2006-05-25 2007-12-06 Sharp Corp 認証装置、認証システム、認証方法、認証プログラム、および記録媒体
US7643893B2 (en) * 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
JP5094730B2 (ja) * 2006-10-23 2012-12-12 オリンパス株式会社 分光内視鏡および分光内視鏡の作動方法
JP2008210327A (ja) * 2007-02-28 2008-09-11 Hitachi Computer Peripherals Co Ltd 文字画像出力システム及び文字画像出力方法
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
WO2008129540A2 (en) 2007-04-19 2008-10-30 Eyecue Vision Technologies Ltd. Device and method for identification of objects using color coding
JP2008265169A (ja) * 2007-04-20 2008-11-06 Matsushita Electric Works Ltd カードおよびカード情報読み取り方法
US8126260B2 (en) 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
WO2008152644A2 (en) 2007-06-12 2008-12-18 Eyecue Vision Technologies Ltd. System and method for physically interactive music games
CN101543054B (zh) * 2007-06-28 2011-12-07 松下电器产业株式会社 图像处理装置、图像处理方法
US20100195902A1 (en) 2007-07-10 2010-08-05 Ronen Horovitz System and method for calibration of image colors
US8029411B2 (en) 2007-07-31 2011-10-04 Honeywell International Inc. Systems and methods of monitoring exercises and ranges of motion
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8086071B2 (en) 2007-10-30 2011-12-27 Navteq North America, Llc System and method for revealing occluded objects in an image dataset
US20130217491A1 (en) 2007-11-02 2013-08-22 Bally Gaming, Inc. Virtual button deck with sensory feedback
US8920236B2 (en) * 2007-11-02 2014-12-30 Bally Gaming, Inc. Game related systems, methods, and articles that combine virtual and physical elements
US8270716B2 (en) * 2007-12-04 2012-09-18 Ricoh Company, Limited Selectively compressing picture and text areas of an image to maintain highest quality and effective compaction
US8135216B2 (en) * 2007-12-11 2012-03-13 Flashfoto, Inc. Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions
US8540158B2 (en) 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US8194933B2 (en) 2007-12-12 2012-06-05 3M Innovative Properties Company Identification and verification of an unknown document according to an eigen image process
US8738165B2 (en) 2007-12-21 2014-05-27 3M Innovative Properties Company Methods of preparing a virtual dentition model and fabricating a dental retainer therefrom
KR20090087394A (ko) 2008-02-12 2009-08-17 이관영 소리를 이용한 형상물 제작 장치 및 방법
US9305389B2 (en) 2008-02-28 2016-04-05 Autodesk, Inc. Reducing seam artifacts when applying a texture to a three-dimensional (3D) model
JP2010108012A (ja) 2008-10-28 2010-05-13 Sony Corp 情報処理装置、情報処理方法およびプログラム
US7942717B2 (en) 2008-12-15 2011-05-17 Ting-Shuo Chou Brick assembly with automatically recognizing connecting relationships
JP5457768B2 (ja) 2009-09-09 2014-04-02 任天堂株式会社 オブジェクト移動ゲームプログラムおよびオブジェクト移動ゲーム装置
US8070163B2 (en) 2009-12-03 2011-12-06 John Ogilvie Multilingual-tile word games
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US20110300516A1 (en) 2010-06-02 2011-12-08 Microsoft Corporation Tactile Tile Vocalization
JP5492300B2 (ja) 2010-06-30 2014-05-14 富士フイルム株式会社 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
US9597581B2 (en) 2010-07-22 2017-03-21 Warifu, LLC Board game
WO2012023004A1 (en) 2010-08-18 2012-02-23 Sony Ericsson Mobile Communications Ab Adaptable projection on occluding object in a projected user interface
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US9336452B2 (en) 2011-01-16 2016-05-10 Eyecue Vision Technologies Ltd. System and method for identification of printed matter in an image
JP5742266B2 (ja) 2011-02-07 2015-07-01 セイコーエプソン株式会社 接着剤塗布装置および接着剤塗布装置の制御方法
EP3654147A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20120304059A1 (en) * 2011-05-24 2012-11-29 Microsoft Corporation Interactive Build Instructions
US20130106682A1 (en) 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
CN103988227B (zh) 2011-12-16 2017-08-04 诺基亚技术有限公司 用于图像捕获目标锁定的方法和装置
US9033805B2 (en) 2012-01-19 2015-05-19 Zynga Inc. Three dimensional operations in an isometric projection
JP5993233B2 (ja) 2012-07-11 2016-09-14 オリンパス株式会社 画像処理装置及び画像処理方法
US9095768B1 (en) 2014-10-28 2015-08-04 Yousef A. E. S. M. Bohadi Board game

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136180A1 (en) * 2003-05-20 2006-06-22 Hansen Mark W Selecting virtual brick models
US20080004093A1 (en) * 2006-06-30 2008-01-03 Leviathan Entertainment, Llc Methods and System for Creating In Game Objects

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951127A (zh) * 2014-03-31 2015-09-30 三星显示有限公司 用于生成显示覆盖的系统和方法以及显示系统
CN109069929A (zh) * 2016-05-09 2018-12-21 乐高公司 用于玩具识别的系统和方法
CN109069929B (zh) * 2016-05-09 2022-07-12 乐高公司 用于玩具识别的系统和方法
CN109562294A (zh) * 2016-07-05 2019-04-02 乐高公司 用于创建虚拟对象的方法
US11433310B2 (en) 2016-07-05 2022-09-06 Lego A/S Method for creating a virtual object
US11779846B2 (en) 2016-07-05 2023-10-10 Lego A/S Method for creating a virtual object
CN110900606A (zh) * 2019-12-03 2020-03-24 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法
CN110900606B (zh) * 2019-12-03 2022-08-09 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法

Also Published As

Publication number Publication date
EP2462537A1 (en) 2012-06-13
US20160228772A1 (en) 2016-08-11
US9498721B2 (en) 2016-11-22
WO2011017393A1 (en) 2011-02-10
JP2013501304A (ja) 2013-01-10
US20140329598A1 (en) 2014-11-06
US9669312B2 (en) 2017-06-06
US9636588B2 (en) 2017-05-02
US20110298922A1 (en) 2011-12-08
US20130321447A1 (en) 2013-12-05
KR20120089452A (ko) 2012-08-10
US9409084B2 (en) 2016-08-09

Similar Documents

Publication Publication Date Title
CN102713931A (zh) 用于对象提取的系统和方法
US9595108B2 (en) System and method for object extraction
US20230264109A1 (en) System and method for toy recognition
US10398966B2 (en) Methods for automatically generating a card deck library and master images for a deck of cards, and a related card processing apparatus
US20230206720A1 (en) System for counting quantity of game tokens
CN103020885B (zh) 深度图像压缩
CN107506738A (zh) 特征提取方法、图像识别方法、装置及电子设备
KR101700120B1 (ko) 사물 인식 장치 및 방법, 이를 포함하는 시스템
US20140098991A1 (en) Game doll recognition system, recognition method and game system using the same
CN110427828A (zh) 人脸活体检测方法、装置及计算机可读存储介质
Fujita ATGW: A Machine Learning Framework for Automation Testing in Game Woody
CN117975423A (zh) 游艺用代用货币的枚数检测系统
CN115194793A (zh) 控制棋子移动的方法、装置、设备、对弈机器人及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121003