CN103582902B - 向现实世界对象的虚拟表示添加属性 - Google Patents

向现实世界对象的虚拟表示添加属性 Download PDF

Info

Publication number
CN103582902B
CN103582902B CN201280028075.XA CN201280028075A CN103582902B CN 103582902 B CN103582902 B CN 103582902B CN 201280028075 A CN201280028075 A CN 201280028075A CN 103582902 B CN103582902 B CN 103582902B
Authority
CN
China
Prior art keywords
virtual representation
virtual
real world
feature
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280028075.XA
Other languages
English (en)
Other versions
CN103582902A (zh
Inventor
S·C·赖特
J·J·埃弗特
J·A·克拉克
C·H·维罗毕
M·斯卡维泽
M·A·斯波尔丁
K·盖斯那
D·L·奥斯本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103582902A publication Critical patent/CN103582902A/zh
Application granted granted Critical
Publication of CN103582902B publication Critical patent/CN103582902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2024Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

描述了用于提供具有属性的虚拟表示的方法、介质,和虚拟对象。虚拟表示是基于现实世界对象的数字化来生成的。虚拟表示的特性,诸如颜色、形状相似度、体积、表面区域等,被标识,且虚拟表示的那些特性的展现的量或程度被确定。特性被采用来标识与虚拟表示相关联的属性,诸如温度、重量、或边缘锋利程度,以及虚拟对象的其它属性。基于特性和它们展现的程度来确定属性的展现的程度。由此,向虚拟表示提供指导虚拟表示在虚拟世界中的呈现和交互的一个或多个属性。

Description

向现实世界对象的虚拟表示添加属性
技术领域
本申请涉及现实世界对象的虚拟表示,尤其涉及向现实世界对象的虚拟表示添加属性。
背景技术
虚拟对象在由一个或多个计算设备生成的虚拟世界中表示现实世界对象。虚拟对象具有诸如提取自现实世界对象的图像的形状、颜色、体积、表面区域、尺寸、和表面纹理的特征。然而,没有本发明的实施例,虚拟对象只能由计算设备识别为具有由各特征定义的外表的对象。计算设备不能进一步识别或理解该虚拟对象的其它非视觉属性。例如,小刀的虚拟表示不能被计算设备识别为锋利——本发明的实施例确定并将向该虚拟表示添加这样的属性。
发明内容
本发明的各实施例由所附权利要求书而非本概述来限定。为此,此处提供了本发明的各方面的高级概览,以提供公开内容的概览,并介绍将在以下详细描述部分中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于独立地帮助确定所要求保护的主题的范围。简而言之并在高层次,本公开尤其描述了将属性与现实世界对象的虚拟表示相关联的方式。
在一个实施例中,现实世界对象被数字化以生成其虚拟表示。虚拟表示的多个特征被标识,并且那些特征的展现的度量被确定。例如,现实世界对象颜色可以是红的。因此,虚拟表示具有红色的特征并且色谱上红色的位置的度量被确定。
基于各特征,属性被标识并被添加到虚拟表示以指导虚拟世界中的虚拟表示的交互。继续上述示例,属性可以是虚拟世界中虚拟表示的温度——该温度基于颜色特征被标识。温度的度数可基于色谱上颜色的度量来确定。例如,红色被定义为热,并且基于色谱上所展现的颜色的位置来确定从温暖到“着火”的热的程度,例如,在谱的较低端的红色指示较低温度而在谱的较高端的那些指示较高温度。因此,具有特征“红”的虚拟表示被给予属性“热”并且,在呈现时,虚拟表示显示为着火。
附图说明
以下参考附图详细描述本发明的说明性实施例,其中:
图1是描绘了适于根据本发明的一实施方式来使用的示例性计算设备的框图;
图2是适于根据本发明的一实施例使用的示例性操作环境的框图;
图3是描绘根据本发明的一实施例的用于将属性与虚拟对象进行关联的方法的流程图;
图4A是根据本发明的一实施例的现实世界对象的图形表示;
图4B是根据本发明的一实施例的描述属性的图3A的现实世界对象的虚拟表示的图形表示;
图5A是根据本发明的一实施例的另一个现实世界对象的图形表示;
图5B是根据本发明的一实施例的描述属性的图5A的现实世界对象的虚拟表示的图形表示;
图5C是根据本发明的一实施例的以不同于图5B的方式描述属性的图5A的现实世界对象的虚拟表示的图形表示;以及
图6是描绘根据本发明的一个实施例的用于将属性与虚拟表示进行关联的方法的流程图。
具体实施方式
此处用细节来描述本发明的各实施例的主题以满足法定要求。然而,该描述本身并非旨在必定限制权利要求的范围。相反,所要求保护的主题可结合其他当前或未来技术按照其他方式来具体化,以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。术语不应被解释为暗示本文所公开的各步骤之中或之间的任何特定次序,除非且除了在明确描述个别步骤的次序的时候。
本发明的各实施例描述了用于将属性与现实世界对象的虚拟表示相关联或将属性添加到现实世界对象的虚拟表示的方法、系统,和介质。现实世界对象包括任何可用的物理对象就像,例如,球、吃饱了的动物、棍子、杯子、书、或汤匙。
虚拟表示,或虚拟对象,如此处描述的,包括由计算设备生成的现实世界对象的表示。虚拟表示和虚拟对象在这里可互换地使用。通过数字化现实世界对象来生成虚拟表示,例如基于现实世界对象的一个或多个图像来创建虚拟对象。现实世界对象的数字化以任何所需的方式完成。在一个实施例中,现实世界对象的数字化使用2011年6月6日提交的题为“OBJECTDIGITIZATION(对象数字化)”的61/493,844号共同待决的美国专利申请中描述的方法来完成,该申请的公开内容通过此处的引用结合于此。
虚拟对象在由一个或多个计算设备生成的虚拟世界中表示现实世界对象。虚拟对象具有诸如提取自现实世界对象的图像的形状、颜色、体积、表面区域、尺寸、和表面纹理的特征。然而,没有本发明的实施例,虚拟对象只能由计算设备识别为具有由各特征定义的外表的对象。计算设备不能进一步识别或理解该虚拟对象的其它非视觉属性。例如,小刀的虚拟表示不能被计算设备识别为锋利——本发明的实施例确定并将向该虚拟表示添加这样的属性。
在一个实施例中,所添加的属性模仿现实世界对象的那些属性,诸如小刀是锋利的。所添加的属性还可以模拟给定类型的现实世界对象的所期望的属性。例如,玩具小刀在现实世界中可能不锋利,但是,虚拟表示可以被给予锋利作为添加属性。属性还可以向虚拟表示添加现实世界对象中不存在的属性特性。例如,红色的虚拟对象可以与属性“热”相关联,或者具有光滑边缘的虚拟对象可以与属性“潮湿”相关联,而现实世界对应对象既不热也不湿。以下更详细地描述确定要添加到虚拟表示的属性。
在本发明的一个实施例中,描述了用于将属性与一虚拟对象相关联的方法。现实世界对象被数字化以生成现实世界对象在虚拟空间中的虚拟表示。虚拟表示描绘了现实世界对象的多个特征。虚拟表示所展现的第一特征被检测。该特征被映射到属性以添加到虚拟表示。向虚拟表示提供该属性。
在另一个实施例中,描述了用于将属性与一虚拟表示相关联的方法。由现实世界对象的虚拟表示所展现的特征被标识。虚拟表示的每个特征的展现的程度被量化。添加到虚拟表示的属性基于特征的展现的程度来确定。提供具有该属性的虚拟表示。
在另一实施例中,描述了包括现实世界对象的三维虚拟表示的虚拟对象,该三维虚拟表示基于多个所捕捉的图像从现实世界对象的数字化中构建。虚拟对象还包括与虚拟表示相关联的属性,该属性指导虚拟表示和虚拟世界之间的交互。该属性通过以下来与虚拟表示相关联:标识虚拟表示所展现的特征、量化虚拟表示的每个特征的展现的程度、并基于一个或多个特征的展现的程度来确定要添加到虚拟表示的属性。
最初参考图1,示出了用于实现本发明的各实施例的示例性操作环境,并将其概括指定为计算设备100。计算设备100只是合适的计算环境的一个示例,并不旨在对本发明各实施例的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。
本发明的各实施例可以在由计算机或诸如个人数据助理或其它手持式设备之类的其它机器执行的计算机代码或机器可使用指令(包括诸如程序模块之类的计算机可执行指令)的一般上下文中描述。一般而言,包括例程、程序、对象、组件、数据结构等的程序模块指的是执行特定任务或实现特定抽象数据类型的代码。本发明的各实施例可以在各种系统配置中实施,这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
参考图1,计算设备100包括直接或间接耦合以下设备的总线110:存储器112、一个或多个处理器114、一个或多个呈现组件116、一个或多个输入/输出端口118、一个或多个输入/输出组件120和说明性电源122。总线110表示一个或多个总线可以为何物(诸如地址总线、数据总线或其组合)。虽然为了清楚起见利用线条示出了图1的各框,但是实际上,各组件的轮廓并不是那样清楚,并且比喻性地来说,线条更精确地将是灰色的和模糊的。例如,可以将诸如显示设备等呈现组件认为是I/O组件。而且,处理器具有存储器。可以认识到,这是本领域的特性,并且重申,图1只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别,它们全部都被认为是在图1的范围之内的并且被称为“计算设备”。
计算设备100通常包括各种计算机可读介质。作为示例而非限制,计算机可读介质可以包括随机存取存储器(RAM);只读存储器(ROM);电可擦除可编程只读存储器(EEPROM);闪存或其它存储器技术;紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其它光或全息介质;磁带盒、磁带、磁盘存储或其它磁存储设备;或可用于对所需信息进行编码并且可由计算设备100访问的任何其它计算机可读设备。计算机可读介质和计算机存储介质不包括载波、信号或其它形式的瞬态介质。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的、或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或多个处理器。呈现组件116向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。
I/O端口118允许计算设备100逻辑上耦合至包括I/O组件120的其它设备,其中某些可以是内置的。说明性组件包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、无线设备等等。
现在参考图2,描述了适于根据本发明的一实施例来使用的示例计算环境200。环境200包括计算设备202、相机204、现实世界对象206、网络208,和数据存储210。计算环境200是一个示例计算环境,它是可用于根据本发明的各实施例向现实世界对象的虚拟表示添加属性的许多计算环境之一。在环境200中描绘了各种组件来帮助解释本发明的个实施例,然而,其它附加的或替换的组件可被使用并且可在一个或多个计算设备中进一步被分开或合并,例如,一个计算设备可具有集成相机。
计算设备202包括诸如计算设备100等任何一个或多个计算设备。在一实施例中,计算设备202包括游戏设备。如本领域已知的,计算设备202可通信地耦合到网络208以与一个或多个其它计算设备和数据存储210进行通信。网络208包括任何通信网络,诸如,例如但不限于,因特网、内联网、以太网、局域网或广域网等等。
数据存储210包括计算设备202可使用的任何数据存储设备或介质。在一个实施例中,如本领域已知的,数据存储210是云计算环境的数据储存库。数据存储210可提供现实世界对象的特征以及已经由一个或多个用户数字化了的现实世界对象的虚拟表示的属性的存储。数据存储210还可以包含用于将特征映射到要添加到虚拟表示的属性的一个或多个映射模式,如下所述。
相机204包括可用于捕捉现实世界对象206的一个或多个图像的数码相机或摄像机。在一个实施例中,相机204是胶片相机,而采用扫描仪来数字化图像以供计算设备202使用。相机204与计算设备202分开,并且无线地或通过有线连接来通信地与计算设备202耦合。或相机204与计算设备202集成。
如前面描述的,现实世界对象206是任何物理的、现实世界对象。如图2描绘的,现实世界对象206是红色台球,然而,可使用任何对象。
回到计算设备202,其中包括数字化仪组件212、属性关联组件214、特征列表216、特征检测器218,和虚拟表示220。在一个实施例中,在一个或多个其它计算设备中分布了组件212、214、216、218和220中的一个或多个,并且由计算设备202通过网络208进行访问。
如上面描述的,数字化仪组件212采用任何可用手段来数字化或创建现实世界对象的虚拟表示。数字化仪212从相机204接收现实世界对象206的一个或多个图像222。在一个实施例中,图像222包括现实世界对象206的前部的至少一个图像222以及现实世界对象206的背部的一个图像222。这些图像222可被数字化仪使用来生成现实世界对象206的三维虚拟表示220。在另一个实施例中,任何数量的图像222被用来生成现实世界对象206的二维或三维虚拟表示220。
虚拟表示220使用并基于任何可用虚拟建模技术。例如,虚拟表示220基于从现实世界对象的图像(RGBD图像)获得的红、绿、和蓝色以及深度数据。虚拟表示还可以包括三维点云、三角网格、纹理、骨架、和线状等等。
属性关联组件214采用由数字化仪212生成的现实世界对象206的虚拟表示220,来标识虚拟表示220的一个或多个特征,以确定要向虚拟表示220添加的属性,并将那些属性添加到虚拟表示220,如以下更完整地描述。在一个实施例中,基于特征列表216来标识虚拟表示220的特征。
特征列表216包括虚拟表示中可存在的多个特征。来自列表216的每个特征包括相关联的特征检测器218,或单个检测器218与来自列表216的多个特征相关联。特征列表216存储在计算设备202的存储器中,或被远程地存储,例如在数据存储210中。特征列表216跨采用虚拟表示的计算设备上的各应用被全局地采用,或特征列表216是应用专用的。应用专用列表216可被用于标识唯一特征,并基于使用虚拟表示的应用或其上下文向虚拟表示提供唯一属性。
检测器218包括配置用于分析与虚拟表示220相关联的一个或多个数据来标识相关联特征的存在的应用、代码段、或程序对象。在一个实施例中,检测器118标识虚拟表示220的特征的展现的程度。例如,对于特征“颜色=红”,检测器118确定虚拟表示展现红色的程度,例如,紫色对象的虚拟表示仅仅展现了小量的红色,而红色对象的虚拟表示展现了大量的红色。检测器118产生展现的程度的值,诸如纯红色占虚拟对象颜色的百分比,或标识虚拟对象的颜色的色谱值,以及其它可能值。在一个实施例中,检测器118提供仅仅指示虚拟表示是否具有该特征的二进制值,例如“红”或“非红”。
现在参考图3,描绘了根据本发明的一实施例用于将属性与虚拟对象相关联的方法300。最初,由用户选择现实世界对象。例如,现实世界对象可包括图4A中描绘的斧子400或图5A中描绘的红色台球500或其它任何希望的现实世界对象。在一个实施例中,诸如运行在计算设备上的游戏应用的应用请求用户提供现实世界对象。该用户可能被请求提供具有希望的特性的现实世界对象,使得该现实世界对象的虚拟表示在游戏情境中可用。
该现实世界对象是实际物体(例如实际的斧子或台球),或者该现实世界对象是玩具或现实世界对象的复制品版本(例如玩具斧子或上色以代表台球的橡皮球)。复制品对象可提供一定程度的安全性而同时展现与它们的“真实”副本类似或相同的视觉特征。可将这样的现实世界对象(无论是实际的还是复制品)提供给应用。例如,可向游戏应用包提供一些对象以与游戏应用一起使用。或者,在一个实施例中,现实世界对象可由用户从可用项中任意选择。
从一个或多个不同角度捕捉现实世界对象的一些数字图像。在步骤302,这些图像被采用,来数字化现实世界对象并生成现实世界对象在虚拟空间中的虚拟表示。数字化在虚拟表示中捕捉了现实世界对象的多个特征。特征包括颜色、表面纹理或外观,以及特点、大小、比例、体积、表面区域、和对象形状,仅举数例。虚拟表示通常类似于现实世界对象的视觉外观。或者在一个实施例中,一个或多个进程被采用来生成具有不同于现实世界对象的外观的虚拟表示,例如,可向虚拟表示提供类似卡通的外观。
在步骤304、在虚拟表示中检测特征。在一个实施例中,在特征的预先确定的列表中标识特征以在虚拟表示中寻找。特征可包括形状、体积、表面区域、尺寸、颜色、肢体数量、反射性、形状噪度等等。这些特征的大部分是自释义的,然而,肢体的数量指从虚拟对象的主体身体延伸的被标识的附属物的数量,反射性指的是虚拟对象展现的闪光或发光,而形状噪度指形状周界的光滑程度,例如,球具有低的形状噪度而海胆可能具有高形状噪度。特征是一般地检测的,例如“有色”,或更特定地检测的,例如,红、蓝、绿。
在一个实施例中,执行检测器以分析虚拟表示以寻找特征的存在。多个检测器每个被专用于列表中各自的特征,或单个检测器分析多个特征。检测器可提供特征的二进制类型的检测或基于滑动范围可以确定特征的展现的程度。例如,检测器可简单地确定虚拟表示是否具有给定形状;在虚拟表示具有给定形状时,检测器提供肯定指示并且,在虚拟表示不具有给定形状时,检测器提供否定指示。或者,检测器可确定虚拟表示和预先定义的形状之间的相似性程度,例如,检测器基于完全匹配到完全不匹配之间的范围来指示相似度。
在步骤306,映射模式被采用来将所检测到的特征和/或所检测到的展现的程度映射到一个或多个属性以添加到虚拟表示。映射模式是预先确定的并且可跨多个应用全局地被采用或专用于单个应用。映射模式还可以是对于应用的特定部分上下文专用的。例如,在游戏应用中,涉及手与手的战斗的游戏部分的映射模式可以不同于涉及自动驾驶的部分采用的映射模式。
映射模式包括特征与属性之间一对一、多对多、多对一,和/或一对多的关系。如此,可基于虚拟表示的单个或多个特征来标识属性。
通过将虚拟表示的特征映射到属性以添加到虚拟表示,附加智能被添加到虚拟表示的生成。例如,如图4A和4B中描绘的,现实世界斧子400的虚拟表示402被生成。诸如虚拟表示402的形状和颜色等特征被检测。在一个实施例中,形状被确定为类似计算设备已知的形状,且形状特征被给予对于那个已知形状(已知形状是例如,短柄斧)的高程度相似性。因此,已知短柄斧形状的已知性质可被添加到虚拟表示402。特征“颜色”也可以指示与已知短柄斧形状的相似性。例如,虚拟表示400可展现两个主要颜色,斧子的手柄和刀片上分别的棕色和灰色。像虚拟表示402中的沿着斧子刀片的光滑、薄边的存在等附加特征也可以被采用。在一个实施例中,所检测的形状和颜色数据被映射到属性“锋利”且那个属性被添加到虚拟表示402,如刀片边缘的星放射状图案404所描绘的。
在一个实施例中,一个或多个算法也被采用来确定特征和属性之间的相关性的一个或多个置信度程度。置信度程度计算可使用特征的展现的程度来通知该计算。在一个实施例中,置信度程度计算与映射模式整合或被用来生成映射模式。
如此,现实世界斧子400的虚拟表示402不仅包括看起来像斧子400的表示,而且也和斧子400一样锋利。这个属性可被应用使用来通知或指导虚拟世界中虚拟表示402的交互。例如,虚拟表示402可被用在虚拟世界中来砍倒一棵树。没有附加“锋利”属性给虚拟表示402,不会向应用通知虚拟表示402应该如何影响虚拟世界中的对象。
映射模式不必将特征映射到现实世界对象(例如具有锋利刀片的斧子)的期望的属性。例如,如图5A-5C中描绘的,现实世界对象500包括红色台球。如前面描述的,分析特征“颜色”的检测器将现实世界对象500标识为红色。映射模式将颜色特征映射到对象温度属性——红色被映射到“热”。检测器还可能检测所展现的红色在色谱上的位置来基于颜色标识虚拟温度。如此,红色台球500的虚拟表示502与热的属性相关联,并且火焰504被添加到虚拟表示来在视觉上指示这一点。可替换地,可能提供完全不同的外观来产生虚拟表示506,其掩盖或改变现实世界对象500的外观而看起来像火球或太阳。
现在继续参考图3,如在步骤308描绘的,提供具有一个或多个添加的属性的虚拟表示。虚拟表示被提供给任意应用并且可在应用内以任何希望的方式使用。在一个实施例中,应用负责以下一个或多个:数字化现实世界对象、向虚拟表示添加属性,以及确定虚拟表示要如何在视觉上呈现。在一个实施例中,应用在运行时完成这些过程。该视觉表示可包括描绘添加的属性的一个或多个特征,诸如星放射状图案404,或图4B和5B的火焰504,或者所添加的属性不被视觉地描绘。在一个实施例中,所添加的属性仅被用来指导虚拟表示和虚拟世界间的交互。
现在参考图6,描述了根据本发明的一实施例用于将属性与虚拟表示相关联的方法600。在步骤602,标识由现实世界对象的虚拟表示所展现的多个特征。虚拟表示是通过任何可用的数字化手段来生成的。在一个实施例中,现实世界对象的数字化由诸如膝上计算机或游戏控制器等个人计算设备在运行时完成。在步骤604,量化虚拟表示中的每个特征的展现的程度。展现的程度在预先确定的范围上确定或可以简单地指示二进制值。
在步骤606,标识映射模式,以用于将特征中的一个或多个映射到要被添加到虚拟表示的一个或多个属性。基于其中要使用虚拟表示的应用来标识映射模式。或基于这样的应用内的特定上下文来标识映射模式。
基于多个特征中的一个或多个特征,并基于那些特征的展现的程度,标识属性以使用所标识的映射模式来添加到虚拟表示,如步骤608所描绘的。属性是使用特征的一个或几个展现的程度来标识的,并且可对应于现实世界对象期望的特性,或者是与之对应的任意属性。此外,在一个实施例中,确定虚拟表示的属性的表达的程度或强度,如步骤610描绘的。基于虚拟表示的相关联的特征的展现的程度,来确定表达的程度和强度。例如,在颜色上是浅蓝的虚拟表示可被给予凉的属性,而深蓝色虚拟表示可被给予冰冻的属性。
在步骤612,提供具有添加的属性的虚拟表示。虚拟表示可被提供给应用,用于虚拟世界情境。该应用可确定视觉特性以应用到虚拟表示来指示一个或多个属性。该应用也可以使用属性来指导虚拟表示在虚拟世界中的交互。例如,可向虚拟表示提供重的属性。如此,应用使用该重的属性来指导虚拟表示在虚拟世界的移动的物理学的算法。
在本发明的一个实施例中,用户被允许任意选择用于数字化的项。该项无需由应用的设计者或数字化组件预先知晓或构想到。因此,这样特定对象的属性也无需预先构想到。在一个实施例中,基于那些虚拟表示的所标识的特性,而不是基于特定的、预见的、预编程的现实世界对象的预先定义的属性,属性被标识并添加到虚拟表示。因此,相对于任意现实世界对象的虚拟表示的性质的附加属性或智能可被结合到虚拟世界中。
所描绘的各组件以及未示出的组件的许多不同的安排都是可能的,而不背离所附权利要求书的精神和范围。已带着说明而非限制的意图描述了本技术的各实施例。在阅读本发明之后或由于阅读了本发明,替换实施例将变得对本发明的读者显而易见。可完成实现上述的替换装置而不脱离所附权利要求书的范围。某些特征和子组合是有用的,并且可以使用而无需参考其他特征和子组合并且被认为是在权利要求书的范围之内的。

Claims (10)

1.一种用于将属性与虚拟对象进行关联的方法,所述方法包括:
将现实世界对象数字化,以生成所述现实世界对象在虚拟空间中的虚拟表示,所述虚拟表示描绘所述现实世界对象的多个特征;
检测由所述虚拟表示所展现的第一特征,所述第一特征能被用于向所述虚拟表示添加非视觉属性;
将所述特征映射到所述非视觉属性以添加到所述虚拟表示;以及
向所述虚拟表示提供所述非视觉属性。
2.如权利要求1所述的方法,其特征在于,所述特征包括所述虚拟表示展现的形状、体积、表面区域、尺寸、表面纹理,或颜色的一个或多个。
3.如权利要求1所述的方法,其特征在于,数字化所述现实世界对象以生成所述现实世界对象在虚拟空间中的虚拟表示包括:生成纹理映射、线状、和骨架的一个或多个,且其中所述虚拟表示所展现的所述第一特征是从所述纹理映射、所述线状、和所述骨架的一个或多个检测的。
4.如权利要求1所述的方法,其特征在于,将所述特征映射到所述非视觉属性以添加到所述虚拟表示是基于预先确定的映射模式的且所述映射模式是上下文专用的或非上下文专用的。
5.如权利要求1所述的方法,其特征在于,所述非视觉属性是与所述虚拟表示相关联的虚拟物理特征,所述非视觉属性指导虚拟世界中的所述虚拟表示的交互。
6.一种用于将属性与虚拟表示进行关联的方法,所述方法包括:
标识由现实世界对象的虚拟表示所展现的多个特征;
由具有处理器和存储器的计算设备量化所述虚拟表示的所述多个中每个特征的展现的程度;
基于所述多个中的一个或多个特征的展现的程度来确定要添加到所述虚拟表示的非视觉属性;以及
提供具有所述非视觉属性的所述虚拟表示。
7.如权利要求6所述的方法,其特征在于,基于所述多个中的一个或多个特征的展现的程度来确定所述非视觉属性的展现的第二程度。
8.如权利要求6所述的方法,其特征在于,具有所述非视觉属性的所述虚拟表示被提供给软件应用,所述软件应用生成包括所述虚拟表示的虚拟世界,并且所述非视觉属性定义所述虚拟表示与所述虚拟世界交互的方式。
9.如权利要求6所述的方法,其特征在于,所述虚拟表示所展现的所述多个特征是基于特征的预先确定的列表被标识的。
10.一种提供虚拟对象的方法,所述方法包括:
使得所述虚拟对象包括:
基于多个捕捉到的图像从现实世界对象的数字化中构建的所述现实世界对象的三维虚拟表示;以及
与所述虚拟表示相关联的非视觉属性,所述非视觉属性指导所述虚拟表示和虚拟世界之间的交互,所述非视觉属性通过以下与所述虚拟表示进行关联:
标识由所述虚拟表示所展现的多个特征,
量化所述虚拟表示的所述多个中每个特征的展现的程度,以及
基于所述多个中的一个或多个特征的展现的程度来确定要添加到所述虚拟表示的所述非视觉属性。
CN201280028075.XA 2011-06-06 2012-06-05 向现实世界对象的虚拟表示添加属性 Active CN103582902B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493859P 2011-06-06 2011-06-06
US61/493,859 2011-06-06
US13/186,666 2011-07-20
US13/186,666 US10796494B2 (en) 2011-06-06 2011-07-20 Adding attributes to virtual representations of real-world objects
PCT/US2012/040952 WO2012170444A2 (en) 2011-06-06 2012-06-05 Adding attributes to virtual representations of real-world objects

Publications (2)

Publication Number Publication Date
CN103582902A CN103582902A (zh) 2014-02-12
CN103582902B true CN103582902B (zh) 2016-05-25

Family

ID=47261303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280028075.XA Active CN103582902B (zh) 2011-06-06 2012-06-05 向现实世界对象的虚拟表示添加属性

Country Status (6)

Country Link
US (1) US10796494B2 (zh)
EP (1) EP2718904A4 (zh)
JP (1) JP6034859B2 (zh)
KR (1) KR101961969B1 (zh)
CN (1) CN103582902B (zh)
WO (1) WO2012170444A2 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280788B2 (en) * 2012-06-13 2016-03-08 Oracle International Corporation Information retrieval and navigation using a semantic layer
JP6281495B2 (ja) * 2013-02-01 2018-02-21 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US10592580B2 (en) * 2014-04-25 2020-03-17 Ebay Inc. Web UI builder application
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US20160379405A1 (en) 2015-06-26 2016-12-29 Jim S Baca Technologies for generating computer models, devices, systems, and methods utilizing the same
DK3337585T3 (da) * 2015-08-17 2022-11-07 Lego As Fremgangsmåde til at skabe et virtuelt spilmiljø og interaktivt spilsystem under anvendelse af fremgangsmåden
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
CN109196303B (zh) 2016-04-01 2020-10-23 乐高公司 玩具扫描仪
EP3481520A1 (en) 2016-07-05 2019-05-15 Lego A/S Method for creating a virtual object
EP3481519A1 (en) 2016-07-05 2019-05-15 Lego A/S Method for creating a virtual object
US20180075657A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality
GB201700545D0 (en) * 2017-01-12 2017-03-01 Univ Bath Techniques for object representation
US11132728B2 (en) 2017-02-06 2021-09-28 Lego A/S Electronic ordering system and method
US10713840B2 (en) * 2017-12-22 2020-07-14 Sony Interactive Entertainment Inc. Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot
US10970937B2 (en) * 2018-05-04 2021-04-06 Intel Corporation Technologies for virtual attribute assignment referencing real objects
KR102236957B1 (ko) * 2018-05-24 2021-04-08 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
US11010986B2 (en) * 2018-08-30 2021-05-18 Apple Inc. Virtual object kit

Family Cites Families (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
JP2002288687A (ja) 2001-03-22 2002-10-04 Olympus Optical Co Ltd 特徴量算出装置および方法
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US20020188372A1 (en) 2001-05-10 2002-12-12 Lane Kenneth M. Method and system for computer aided garment selection
JP4161613B2 (ja) 2001-05-16 2008-10-08 株式会社セガ 画像処理方法
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US7019748B2 (en) 2001-08-15 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. Simulating motion of static objects in scenes
US7275235B2 (en) 2001-08-29 2007-09-25 Molinari Alfred A Graphical application development system for test, measurement and process control applications
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP3962588B2 (ja) 2002-01-07 2007-08-22 キヤノン株式会社 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US20030222977A1 (en) * 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
JP3984149B2 (ja) 2002-10-31 2007-10-03 株式会社東芝 画像処理システム及び画像処理方法
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP2005196670A (ja) 2004-01-09 2005-07-21 Sony Corp 携帯端末装置及びオブジェクト生成方法
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
DE102004018813A1 (de) 2004-04-19 2006-02-23 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und/oder Verfolgung von Objekten
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7668376B2 (en) 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US8131694B2 (en) 2004-11-12 2012-03-06 Sap Ag Process-oriented classification
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック,インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
EP3693889A3 (en) 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
ATE527542T1 (de) 2005-04-27 2011-10-15 Siemens Medical Solutions Verfahren zur herstellung von abbildungssonden unter verwendung von click chemie
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
KR101229283B1 (ko) * 2005-09-15 2013-02-15 올레그 스탄니슬라보비치 루린 가상 3차원 객체들의 시각화를 위한 방법 및 시스템
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB0603106D0 (en) 2006-02-16 2006-03-29 Virtual Mirrors Ltd Design and production of garments
US7843471B2 (en) 2006-03-09 2010-11-30 International Business Machines Corporation Persistent authenticating mechanism to map real world object presence into virtual world object awareness
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7840059B2 (en) 2006-09-21 2010-11-23 Microsoft Corporation Object recognition using textons and shape filters
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8272951B2 (en) 2007-05-02 2012-09-25 Ganz Attribute building for characters in a virtual environment
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
KR20080034419A (ko) * 2007-11-23 2008-04-21 야파 코포레이션 3d 영상 생성 및 디스플레이 시스템
US20090138377A1 (en) 2007-11-27 2009-05-28 Uk Oh Clothes fitting service method of providing information about fitting of clothes
DE102007062991B3 (de) 2007-12-21 2009-05-07 Navigon Ag Verfahren zur Erzeugung einer elektronisch speicherbaren, digitalen Landkarte und Navigationsgerät mit digitaler Landkarte
NL1035303C2 (nl) 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8427503B2 (en) * 2009-05-18 2013-04-23 Nokia Corporation Method, apparatus and computer program product for creating graphical objects with desired physical features for usage in animation
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US9424583B2 (en) 2009-10-15 2016-08-23 Empire Technology Development Llc Differential trials in augmented reality
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
JP5778967B2 (ja) * 2011-04-08 2015-09-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view

Also Published As

Publication number Publication date
US10796494B2 (en) 2020-10-06
JP2014516188A (ja) 2014-07-07
JP6034859B2 (ja) 2016-11-30
KR20140038442A (ko) 2014-03-28
EP2718904A4 (en) 2014-09-10
CN103582902A (zh) 2014-02-12
US20120306853A1 (en) 2012-12-06
EP2718904A2 (en) 2014-04-16
WO2012170444A3 (en) 2013-04-25
WO2012170444A2 (en) 2012-12-13
KR101961969B1 (ko) 2019-07-17

Similar Documents

Publication Publication Date Title
CN103582902B (zh) 向现实世界对象的虚拟表示添加属性
US11734844B2 (en) 3D hand shape and pose estimation
US12020377B2 (en) Textured mesh building
US11798261B2 (en) Image face manipulation
US20200320327A1 (en) Systems and methods for extracting information about objects from scene information
US11568109B2 (en) Experience learning in virtual world
US11977976B2 (en) Experience learning in virtual world
TW202046158A (zh) 語意融合
CN108701376A (zh) 三维图像的基于识别的对象分割
Lombardi et al. Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images
US11915398B2 (en) Relighting system for single images
Ramanarayanan et al. Perception of complex aggregates
Liao et al. Illumination animating and editing in a single picture using scene structure estimation
US20140306953A1 (en) 3D Rendering for Training Computer Vision Recognition
Xu et al. Object-based illumination transferring and rendering for applications of mixed reality
Gray Navigating 3D scatter plots in immersive virtual reality
US11972534B2 (en) Modifying materials of three-dimensional digital scenes utilizing a visual neural network
US20230267678A1 (en) Device and method for image processing
Canizares Everything Is Software
Karsch Inverse rendering techniques for physically grounded image editing
Lelidis Invisible to Machine Perception: Attacking Pose Estimators with Attribution Methods
Zhan Image synthesis in visual machine learning
Genova 3D Representations for Learning to Reconstruct and Segment Shapes
Hershey et al. Recognizing Cities from Street View Images
Lombardi Radiometric Scene Decomposition: Estimating Complex Reflectance and Natural Illumination from Images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150722

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150722

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant