CN103582902B - 向现实世界对象的虚拟表示添加属性 - Google Patents
向现实世界对象的虚拟表示添加属性 Download PDFInfo
- Publication number
- CN103582902B CN103582902B CN201280028075.XA CN201280028075A CN103582902B CN 103582902 B CN103582902 B CN 103582902B CN 201280028075 A CN201280028075 A CN 201280028075A CN 103582902 B CN103582902 B CN 103582902B
- Authority
- CN
- China
- Prior art keywords
- virtual representation
- virtual
- real world
- feature
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2024—Style variation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
描述了用于提供具有属性的虚拟表示的方法、介质,和虚拟对象。虚拟表示是基于现实世界对象的数字化来生成的。虚拟表示的特性,诸如颜色、形状相似度、体积、表面区域等,被标识,且虚拟表示的那些特性的展现的量或程度被确定。特性被采用来标识与虚拟表示相关联的属性,诸如温度、重量、或边缘锋利程度,以及虚拟对象的其它属性。基于特性和它们展现的程度来确定属性的展现的程度。由此,向虚拟表示提供指导虚拟表示在虚拟世界中的呈现和交互的一个或多个属性。
Description
技术领域
本申请涉及现实世界对象的虚拟表示,尤其涉及向现实世界对象的虚拟表示添加属性。
背景技术
虚拟对象在由一个或多个计算设备生成的虚拟世界中表示现实世界对象。虚拟对象具有诸如提取自现实世界对象的图像的形状、颜色、体积、表面区域、尺寸、和表面纹理的特征。然而,没有本发明的实施例,虚拟对象只能由计算设备识别为具有由各特征定义的外表的对象。计算设备不能进一步识别或理解该虚拟对象的其它非视觉属性。例如,小刀的虚拟表示不能被计算设备识别为锋利——本发明的实施例确定并将向该虚拟表示添加这样的属性。
发明内容
本发明的各实施例由所附权利要求书而非本概述来限定。为此,此处提供了本发明的各方面的高级概览,以提供公开内容的概览,并介绍将在以下详细描述部分中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于独立地帮助确定所要求保护的主题的范围。简而言之并在高层次,本公开尤其描述了将属性与现实世界对象的虚拟表示相关联的方式。
在一个实施例中,现实世界对象被数字化以生成其虚拟表示。虚拟表示的多个特征被标识,并且那些特征的展现的度量被确定。例如,现实世界对象颜色可以是红的。因此,虚拟表示具有红色的特征并且色谱上红色的位置的度量被确定。
基于各特征,属性被标识并被添加到虚拟表示以指导虚拟世界中的虚拟表示的交互。继续上述示例,属性可以是虚拟世界中虚拟表示的温度——该温度基于颜色特征被标识。温度的度数可基于色谱上颜色的度量来确定。例如,红色被定义为热,并且基于色谱上所展现的颜色的位置来确定从温暖到“着火”的热的程度,例如,在谱的较低端的红色指示较低温度而在谱的较高端的那些指示较高温度。因此,具有特征“红”的虚拟表示被给予属性“热”并且,在呈现时,虚拟表示显示为着火。
附图说明
以下参考附图详细描述本发明的说明性实施例,其中:
图1是描绘了适于根据本发明的一实施方式来使用的示例性计算设备的框图;
图2是适于根据本发明的一实施例使用的示例性操作环境的框图;
图3是描绘根据本发明的一实施例的用于将属性与虚拟对象进行关联的方法的流程图;
图4A是根据本发明的一实施例的现实世界对象的图形表示;
图4B是根据本发明的一实施例的描述属性的图3A的现实世界对象的虚拟表示的图形表示;
图5A是根据本发明的一实施例的另一个现实世界对象的图形表示;
图5B是根据本发明的一实施例的描述属性的图5A的现实世界对象的虚拟表示的图形表示;
图5C是根据本发明的一实施例的以不同于图5B的方式描述属性的图5A的现实世界对象的虚拟表示的图形表示;以及
图6是描绘根据本发明的一个实施例的用于将属性与虚拟表示进行关联的方法的流程图。
具体实施方式
此处用细节来描述本发明的各实施例的主题以满足法定要求。然而,该描述本身并非旨在必定限制权利要求的范围。相反,所要求保护的主题可结合其他当前或未来技术按照其他方式来具体化,以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。术语不应被解释为暗示本文所公开的各步骤之中或之间的任何特定次序,除非且除了在明确描述个别步骤的次序的时候。
本发明的各实施例描述了用于将属性与现实世界对象的虚拟表示相关联或将属性添加到现实世界对象的虚拟表示的方法、系统,和介质。现实世界对象包括任何可用的物理对象就像,例如,球、吃饱了的动物、棍子、杯子、书、或汤匙。
虚拟表示,或虚拟对象,如此处描述的,包括由计算设备生成的现实世界对象的表示。虚拟表示和虚拟对象在这里可互换地使用。通过数字化现实世界对象来生成虚拟表示,例如基于现实世界对象的一个或多个图像来创建虚拟对象。现实世界对象的数字化以任何所需的方式完成。在一个实施例中,现实世界对象的数字化使用2011年6月6日提交的题为“OBJECTDIGITIZATION(对象数字化)”的61/493,844号共同待决的美国专利申请中描述的方法来完成,该申请的公开内容通过此处的引用结合于此。
虚拟对象在由一个或多个计算设备生成的虚拟世界中表示现实世界对象。虚拟对象具有诸如提取自现实世界对象的图像的形状、颜色、体积、表面区域、尺寸、和表面纹理的特征。然而,没有本发明的实施例,虚拟对象只能由计算设备识别为具有由各特征定义的外表的对象。计算设备不能进一步识别或理解该虚拟对象的其它非视觉属性。例如,小刀的虚拟表示不能被计算设备识别为锋利——本发明的实施例确定并将向该虚拟表示添加这样的属性。
在一个实施例中,所添加的属性模仿现实世界对象的那些属性,诸如小刀是锋利的。所添加的属性还可以模拟给定类型的现实世界对象的所期望的属性。例如,玩具小刀在现实世界中可能不锋利,但是,虚拟表示可以被给予锋利作为添加属性。属性还可以向虚拟表示添加现实世界对象中不存在的属性特性。例如,红色的虚拟对象可以与属性“热”相关联,或者具有光滑边缘的虚拟对象可以与属性“潮湿”相关联,而现实世界对应对象既不热也不湿。以下更详细地描述确定要添加到虚拟表示的属性。
在本发明的一个实施例中,描述了用于将属性与一虚拟对象相关联的方法。现实世界对象被数字化以生成现实世界对象在虚拟空间中的虚拟表示。虚拟表示描绘了现实世界对象的多个特征。虚拟表示所展现的第一特征被检测。该特征被映射到属性以添加到虚拟表示。向虚拟表示提供该属性。
在另一个实施例中,描述了用于将属性与一虚拟表示相关联的方法。由现实世界对象的虚拟表示所展现的特征被标识。虚拟表示的每个特征的展现的程度被量化。添加到虚拟表示的属性基于特征的展现的程度来确定。提供具有该属性的虚拟表示。
在另一实施例中,描述了包括现实世界对象的三维虚拟表示的虚拟对象,该三维虚拟表示基于多个所捕捉的图像从现实世界对象的数字化中构建。虚拟对象还包括与虚拟表示相关联的属性,该属性指导虚拟表示和虚拟世界之间的交互。该属性通过以下来与虚拟表示相关联:标识虚拟表示所展现的特征、量化虚拟表示的每个特征的展现的程度、并基于一个或多个特征的展现的程度来确定要添加到虚拟表示的属性。
最初参考图1,示出了用于实现本发明的各实施例的示例性操作环境,并将其概括指定为计算设备100。计算设备100只是合适的计算环境的一个示例,并不旨在对本发明各实施例的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。
本发明的各实施例可以在由计算机或诸如个人数据助理或其它手持式设备之类的其它机器执行的计算机代码或机器可使用指令(包括诸如程序模块之类的计算机可执行指令)的一般上下文中描述。一般而言,包括例程、程序、对象、组件、数据结构等的程序模块指的是执行特定任务或实现特定抽象数据类型的代码。本发明的各实施例可以在各种系统配置中实施,这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
参考图1,计算设备100包括直接或间接耦合以下设备的总线110:存储器112、一个或多个处理器114、一个或多个呈现组件116、一个或多个输入/输出端口118、一个或多个输入/输出组件120和说明性电源122。总线110表示一个或多个总线可以为何物(诸如地址总线、数据总线或其组合)。虽然为了清楚起见利用线条示出了图1的各框,但是实际上,各组件的轮廓并不是那样清楚,并且比喻性地来说,线条更精确地将是灰色的和模糊的。例如,可以将诸如显示设备等呈现组件认为是I/O组件。而且,处理器具有存储器。可以认识到,这是本领域的特性,并且重申,图1只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别,它们全部都被认为是在图1的范围之内的并且被称为“计算设备”。
计算设备100通常包括各种计算机可读介质。作为示例而非限制,计算机可读介质可以包括随机存取存储器(RAM);只读存储器(ROM);电可擦除可编程只读存储器(EEPROM);闪存或其它存储器技术;紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其它光或全息介质;磁带盒、磁带、磁盘存储或其它磁存储设备;或可用于对所需信息进行编码并且可由计算设备100访问的任何其它计算机可读设备。计算机可读介质和计算机存储介质不包括载波、信号或其它形式的瞬态介质。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的、或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或多个处理器。呈现组件116向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。
I/O端口118允许计算设备100逻辑上耦合至包括I/O组件120的其它设备,其中某些可以是内置的。说明性组件包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、无线设备等等。
现在参考图2,描述了适于根据本发明的一实施例来使用的示例计算环境200。环境200包括计算设备202、相机204、现实世界对象206、网络208,和数据存储210。计算环境200是一个示例计算环境,它是可用于根据本发明的各实施例向现实世界对象的虚拟表示添加属性的许多计算环境之一。在环境200中描绘了各种组件来帮助解释本发明的个实施例,然而,其它附加的或替换的组件可被使用并且可在一个或多个计算设备中进一步被分开或合并,例如,一个计算设备可具有集成相机。
计算设备202包括诸如计算设备100等任何一个或多个计算设备。在一实施例中,计算设备202包括游戏设备。如本领域已知的,计算设备202可通信地耦合到网络208以与一个或多个其它计算设备和数据存储210进行通信。网络208包括任何通信网络,诸如,例如但不限于,因特网、内联网、以太网、局域网或广域网等等。
数据存储210包括计算设备202可使用的任何数据存储设备或介质。在一个实施例中,如本领域已知的,数据存储210是云计算环境的数据储存库。数据存储210可提供现实世界对象的特征以及已经由一个或多个用户数字化了的现实世界对象的虚拟表示的属性的存储。数据存储210还可以包含用于将特征映射到要添加到虚拟表示的属性的一个或多个映射模式,如下所述。
相机204包括可用于捕捉现实世界对象206的一个或多个图像的数码相机或摄像机。在一个实施例中,相机204是胶片相机,而采用扫描仪来数字化图像以供计算设备202使用。相机204与计算设备202分开,并且无线地或通过有线连接来通信地与计算设备202耦合。或相机204与计算设备202集成。
如前面描述的,现实世界对象206是任何物理的、现实世界对象。如图2描绘的,现实世界对象206是红色台球,然而,可使用任何对象。
回到计算设备202,其中包括数字化仪组件212、属性关联组件214、特征列表216、特征检测器218,和虚拟表示220。在一个实施例中,在一个或多个其它计算设备中分布了组件212、214、216、218和220中的一个或多个,并且由计算设备202通过网络208进行访问。
如上面描述的,数字化仪组件212采用任何可用手段来数字化或创建现实世界对象的虚拟表示。数字化仪212从相机204接收现实世界对象206的一个或多个图像222。在一个实施例中,图像222包括现实世界对象206的前部的至少一个图像222以及现实世界对象206的背部的一个图像222。这些图像222可被数字化仪使用来生成现实世界对象206的三维虚拟表示220。在另一个实施例中,任何数量的图像222被用来生成现实世界对象206的二维或三维虚拟表示220。
虚拟表示220使用并基于任何可用虚拟建模技术。例如,虚拟表示220基于从现实世界对象的图像(RGBD图像)获得的红、绿、和蓝色以及深度数据。虚拟表示还可以包括三维点云、三角网格、纹理、骨架、和线状等等。
属性关联组件214采用由数字化仪212生成的现实世界对象206的虚拟表示220,来标识虚拟表示220的一个或多个特征,以确定要向虚拟表示220添加的属性,并将那些属性添加到虚拟表示220,如以下更完整地描述。在一个实施例中,基于特征列表216来标识虚拟表示220的特征。
特征列表216包括虚拟表示中可存在的多个特征。来自列表216的每个特征包括相关联的特征检测器218,或单个检测器218与来自列表216的多个特征相关联。特征列表216存储在计算设备202的存储器中,或被远程地存储,例如在数据存储210中。特征列表216跨采用虚拟表示的计算设备上的各应用被全局地采用,或特征列表216是应用专用的。应用专用列表216可被用于标识唯一特征,并基于使用虚拟表示的应用或其上下文向虚拟表示提供唯一属性。
检测器218包括配置用于分析与虚拟表示220相关联的一个或多个数据来标识相关联特征的存在的应用、代码段、或程序对象。在一个实施例中,检测器118标识虚拟表示220的特征的展现的程度。例如,对于特征“颜色=红”,检测器118确定虚拟表示展现红色的程度,例如,紫色对象的虚拟表示仅仅展现了小量的红色,而红色对象的虚拟表示展现了大量的红色。检测器118产生展现的程度的值,诸如纯红色占虚拟对象颜色的百分比,或标识虚拟对象的颜色的色谱值,以及其它可能值。在一个实施例中,检测器118提供仅仅指示虚拟表示是否具有该特征的二进制值,例如“红”或“非红”。
现在参考图3,描绘了根据本发明的一实施例用于将属性与虚拟对象相关联的方法300。最初,由用户选择现实世界对象。例如,现实世界对象可包括图4A中描绘的斧子400或图5A中描绘的红色台球500或其它任何希望的现实世界对象。在一个实施例中,诸如运行在计算设备上的游戏应用的应用请求用户提供现实世界对象。该用户可能被请求提供具有希望的特性的现实世界对象,使得该现实世界对象的虚拟表示在游戏情境中可用。
该现实世界对象是实际物体(例如实际的斧子或台球),或者该现实世界对象是玩具或现实世界对象的复制品版本(例如玩具斧子或上色以代表台球的橡皮球)。复制品对象可提供一定程度的安全性而同时展现与它们的“真实”副本类似或相同的视觉特征。可将这样的现实世界对象(无论是实际的还是复制品)提供给应用。例如,可向游戏应用包提供一些对象以与游戏应用一起使用。或者,在一个实施例中,现实世界对象可由用户从可用项中任意选择。
从一个或多个不同角度捕捉现实世界对象的一些数字图像。在步骤302,这些图像被采用,来数字化现实世界对象并生成现实世界对象在虚拟空间中的虚拟表示。数字化在虚拟表示中捕捉了现实世界对象的多个特征。特征包括颜色、表面纹理或外观,以及特点、大小、比例、体积、表面区域、和对象形状,仅举数例。虚拟表示通常类似于现实世界对象的视觉外观。或者在一个实施例中,一个或多个进程被采用来生成具有不同于现实世界对象的外观的虚拟表示,例如,可向虚拟表示提供类似卡通的外观。
在步骤304、在虚拟表示中检测特征。在一个实施例中,在特征的预先确定的列表中标识特征以在虚拟表示中寻找。特征可包括形状、体积、表面区域、尺寸、颜色、肢体数量、反射性、形状噪度等等。这些特征的大部分是自释义的,然而,肢体的数量指从虚拟对象的主体身体延伸的被标识的附属物的数量,反射性指的是虚拟对象展现的闪光或发光,而形状噪度指形状周界的光滑程度,例如,球具有低的形状噪度而海胆可能具有高形状噪度。特征是一般地检测的,例如“有色”,或更特定地检测的,例如,红、蓝、绿。
在一个实施例中,执行检测器以分析虚拟表示以寻找特征的存在。多个检测器每个被专用于列表中各自的特征,或单个检测器分析多个特征。检测器可提供特征的二进制类型的检测或基于滑动范围可以确定特征的展现的程度。例如,检测器可简单地确定虚拟表示是否具有给定形状;在虚拟表示具有给定形状时,检测器提供肯定指示并且,在虚拟表示不具有给定形状时,检测器提供否定指示。或者,检测器可确定虚拟表示和预先定义的形状之间的相似性程度,例如,检测器基于完全匹配到完全不匹配之间的范围来指示相似度。
在步骤306,映射模式被采用来将所检测到的特征和/或所检测到的展现的程度映射到一个或多个属性以添加到虚拟表示。映射模式是预先确定的并且可跨多个应用全局地被采用或专用于单个应用。映射模式还可以是对于应用的特定部分上下文专用的。例如,在游戏应用中,涉及手与手的战斗的游戏部分的映射模式可以不同于涉及自动驾驶的部分采用的映射模式。
映射模式包括特征与属性之间一对一、多对多、多对一,和/或一对多的关系。如此,可基于虚拟表示的单个或多个特征来标识属性。
通过将虚拟表示的特征映射到属性以添加到虚拟表示,附加智能被添加到虚拟表示的生成。例如,如图4A和4B中描绘的,现实世界斧子400的虚拟表示402被生成。诸如虚拟表示402的形状和颜色等特征被检测。在一个实施例中,形状被确定为类似计算设备已知的形状,且形状特征被给予对于那个已知形状(已知形状是例如,短柄斧)的高程度相似性。因此,已知短柄斧形状的已知性质可被添加到虚拟表示402。特征“颜色”也可以指示与已知短柄斧形状的相似性。例如,虚拟表示400可展现两个主要颜色,斧子的手柄和刀片上分别的棕色和灰色。像虚拟表示402中的沿着斧子刀片的光滑、薄边的存在等附加特征也可以被采用。在一个实施例中,所检测的形状和颜色数据被映射到属性“锋利”且那个属性被添加到虚拟表示402,如刀片边缘的星放射状图案404所描绘的。
在一个实施例中,一个或多个算法也被采用来确定特征和属性之间的相关性的一个或多个置信度程度。置信度程度计算可使用特征的展现的程度来通知该计算。在一个实施例中,置信度程度计算与映射模式整合或被用来生成映射模式。
如此,现实世界斧子400的虚拟表示402不仅包括看起来像斧子400的表示,而且也和斧子400一样锋利。这个属性可被应用使用来通知或指导虚拟世界中虚拟表示402的交互。例如,虚拟表示402可被用在虚拟世界中来砍倒一棵树。没有附加“锋利”属性给虚拟表示402,不会向应用通知虚拟表示402应该如何影响虚拟世界中的对象。
映射模式不必将特征映射到现实世界对象(例如具有锋利刀片的斧子)的期望的属性。例如,如图5A-5C中描绘的,现实世界对象500包括红色台球。如前面描述的,分析特征“颜色”的检测器将现实世界对象500标识为红色。映射模式将颜色特征映射到对象温度属性——红色被映射到“热”。检测器还可能检测所展现的红色在色谱上的位置来基于颜色标识虚拟温度。如此,红色台球500的虚拟表示502与热的属性相关联,并且火焰504被添加到虚拟表示来在视觉上指示这一点。可替换地,可能提供完全不同的外观来产生虚拟表示506,其掩盖或改变现实世界对象500的外观而看起来像火球或太阳。
现在继续参考图3,如在步骤308描绘的,提供具有一个或多个添加的属性的虚拟表示。虚拟表示被提供给任意应用并且可在应用内以任何希望的方式使用。在一个实施例中,应用负责以下一个或多个:数字化现实世界对象、向虚拟表示添加属性,以及确定虚拟表示要如何在视觉上呈现。在一个实施例中,应用在运行时完成这些过程。该视觉表示可包括描绘添加的属性的一个或多个特征,诸如星放射状图案404,或图4B和5B的火焰504,或者所添加的属性不被视觉地描绘。在一个实施例中,所添加的属性仅被用来指导虚拟表示和虚拟世界间的交互。
现在参考图6,描述了根据本发明的一实施例用于将属性与虚拟表示相关联的方法600。在步骤602,标识由现实世界对象的虚拟表示所展现的多个特征。虚拟表示是通过任何可用的数字化手段来生成的。在一个实施例中,现实世界对象的数字化由诸如膝上计算机或游戏控制器等个人计算设备在运行时完成。在步骤604,量化虚拟表示中的每个特征的展现的程度。展现的程度在预先确定的范围上确定或可以简单地指示二进制值。
在步骤606,标识映射模式,以用于将特征中的一个或多个映射到要被添加到虚拟表示的一个或多个属性。基于其中要使用虚拟表示的应用来标识映射模式。或基于这样的应用内的特定上下文来标识映射模式。
基于多个特征中的一个或多个特征,并基于那些特征的展现的程度,标识属性以使用所标识的映射模式来添加到虚拟表示,如步骤608所描绘的。属性是使用特征的一个或几个展现的程度来标识的,并且可对应于现实世界对象期望的特性,或者是与之对应的任意属性。此外,在一个实施例中,确定虚拟表示的属性的表达的程度或强度,如步骤610描绘的。基于虚拟表示的相关联的特征的展现的程度,来确定表达的程度和强度。例如,在颜色上是浅蓝的虚拟表示可被给予凉的属性,而深蓝色虚拟表示可被给予冰冻的属性。
在步骤612,提供具有添加的属性的虚拟表示。虚拟表示可被提供给应用,用于虚拟世界情境。该应用可确定视觉特性以应用到虚拟表示来指示一个或多个属性。该应用也可以使用属性来指导虚拟表示在虚拟世界中的交互。例如,可向虚拟表示提供重的属性。如此,应用使用该重的属性来指导虚拟表示在虚拟世界的移动的物理学的算法。
在本发明的一个实施例中,用户被允许任意选择用于数字化的项。该项无需由应用的设计者或数字化组件预先知晓或构想到。因此,这样特定对象的属性也无需预先构想到。在一个实施例中,基于那些虚拟表示的所标识的特性,而不是基于特定的、预见的、预编程的现实世界对象的预先定义的属性,属性被标识并添加到虚拟表示。因此,相对于任意现实世界对象的虚拟表示的性质的附加属性或智能可被结合到虚拟世界中。
所描绘的各组件以及未示出的组件的许多不同的安排都是可能的,而不背离所附权利要求书的精神和范围。已带着说明而非限制的意图描述了本技术的各实施例。在阅读本发明之后或由于阅读了本发明,替换实施例将变得对本发明的读者显而易见。可完成实现上述的替换装置而不脱离所附权利要求书的范围。某些特征和子组合是有用的,并且可以使用而无需参考其他特征和子组合并且被认为是在权利要求书的范围之内的。
Claims (10)
1.一种用于将属性与虚拟对象进行关联的方法,所述方法包括:
将现实世界对象数字化,以生成所述现实世界对象在虚拟空间中的虚拟表示,所述虚拟表示描绘所述现实世界对象的多个特征;
检测由所述虚拟表示所展现的第一特征,所述第一特征能被用于向所述虚拟表示添加非视觉属性;
将所述特征映射到所述非视觉属性以添加到所述虚拟表示;以及
向所述虚拟表示提供所述非视觉属性。
2.如权利要求1所述的方法,其特征在于,所述特征包括所述虚拟表示展现的形状、体积、表面区域、尺寸、表面纹理,或颜色的一个或多个。
3.如权利要求1所述的方法,其特征在于,数字化所述现实世界对象以生成所述现实世界对象在虚拟空间中的虚拟表示包括:生成纹理映射、线状、和骨架的一个或多个,且其中所述虚拟表示所展现的所述第一特征是从所述纹理映射、所述线状、和所述骨架的一个或多个检测的。
4.如权利要求1所述的方法,其特征在于,将所述特征映射到所述非视觉属性以添加到所述虚拟表示是基于预先确定的映射模式的且所述映射模式是上下文专用的或非上下文专用的。
5.如权利要求1所述的方法,其特征在于,所述非视觉属性是与所述虚拟表示相关联的虚拟物理特征,所述非视觉属性指导虚拟世界中的所述虚拟表示的交互。
6.一种用于将属性与虚拟表示进行关联的方法,所述方法包括:
标识由现实世界对象的虚拟表示所展现的多个特征;
由具有处理器和存储器的计算设备量化所述虚拟表示的所述多个中每个特征的展现的程度;
基于所述多个中的一个或多个特征的展现的程度来确定要添加到所述虚拟表示的非视觉属性;以及
提供具有所述非视觉属性的所述虚拟表示。
7.如权利要求6所述的方法,其特征在于,基于所述多个中的一个或多个特征的展现的程度来确定所述非视觉属性的展现的第二程度。
8.如权利要求6所述的方法,其特征在于,具有所述非视觉属性的所述虚拟表示被提供给软件应用,所述软件应用生成包括所述虚拟表示的虚拟世界,并且所述非视觉属性定义所述虚拟表示与所述虚拟世界交互的方式。
9.如权利要求6所述的方法,其特征在于,所述虚拟表示所展现的所述多个特征是基于特征的预先确定的列表被标识的。
10.一种提供虚拟对象的方法,所述方法包括:
使得所述虚拟对象包括:
基于多个捕捉到的图像从现实世界对象的数字化中构建的所述现实世界对象的三维虚拟表示;以及
与所述虚拟表示相关联的非视觉属性,所述非视觉属性指导所述虚拟表示和虚拟世界之间的交互,所述非视觉属性通过以下与所述虚拟表示进行关联:
标识由所述虚拟表示所展现的多个特征,
量化所述虚拟表示的所述多个中每个特征的展现的程度,以及
基于所述多个中的一个或多个特征的展现的程度来确定要添加到所述虚拟表示的所述非视觉属性。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161493859P | 2011-06-06 | 2011-06-06 | |
US61/493,859 | 2011-06-06 | ||
US13/186,666 | 2011-07-20 | ||
US13/186,666 US10796494B2 (en) | 2011-06-06 | 2011-07-20 | Adding attributes to virtual representations of real-world objects |
PCT/US2012/040952 WO2012170444A2 (en) | 2011-06-06 | 2012-06-05 | Adding attributes to virtual representations of real-world objects |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103582902A CN103582902A (zh) | 2014-02-12 |
CN103582902B true CN103582902B (zh) | 2016-05-25 |
Family
ID=47261303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280028075.XA Active CN103582902B (zh) | 2011-06-06 | 2012-06-05 | 向现实世界对象的虚拟表示添加属性 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10796494B2 (zh) |
EP (1) | EP2718904A4 (zh) |
JP (1) | JP6034859B2 (zh) |
KR (1) | KR101961969B1 (zh) |
CN (1) | CN103582902B (zh) |
WO (1) | WO2012170444A2 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9280788B2 (en) * | 2012-06-13 | 2016-03-08 | Oracle International Corporation | Information retrieval and navigation using a semantic layer |
JP6281495B2 (ja) * | 2013-02-01 | 2018-02-21 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
US10586570B2 (en) | 2014-02-05 | 2020-03-10 | Snap Inc. | Real time video processing for changing proportions of an object in the video |
US10592580B2 (en) * | 2014-04-25 | 2020-03-17 | Ebay Inc. | Web UI builder application |
GB2532075A (en) | 2014-11-10 | 2016-05-11 | Lego As | System and method for toy recognition and detection based on convolutional neural networks |
US10235807B2 (en) * | 2015-01-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Building holographic content using holographic tools |
US9779512B2 (en) * | 2015-01-29 | 2017-10-03 | Microsoft Technology Licensing, Llc | Automatic generation of virtual materials from real-world materials |
US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
US20160379405A1 (en) | 2015-06-26 | 2016-12-29 | Jim S Baca | Technologies for generating computer models, devices, systems, and methods utilizing the same |
DK3337585T3 (da) * | 2015-08-17 | 2022-11-07 | Lego As | Fremgangsmåde til at skabe et virtuelt spilmiljø og interaktivt spilsystem under anvendelse af fremgangsmåden |
US10373381B2 (en) | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
CN109196303B (zh) | 2016-04-01 | 2020-10-23 | 乐高公司 | 玩具扫描仪 |
EP3481520A1 (en) | 2016-07-05 | 2019-05-15 | Lego A/S | Method for creating a virtual object |
EP3481519A1 (en) | 2016-07-05 | 2019-05-15 | Lego A/S | Method for creating a virtual object |
US20180075657A1 (en) * | 2016-09-15 | 2018-03-15 | Microsoft Technology Licensing, Llc | Attribute modification tools for mixed reality |
GB201700545D0 (en) * | 2017-01-12 | 2017-03-01 | Univ Bath | Techniques for object representation |
US11132728B2 (en) | 2017-02-06 | 2021-09-28 | Lego A/S | Electronic ordering system and method |
US10713840B2 (en) * | 2017-12-22 | 2020-07-14 | Sony Interactive Entertainment Inc. | Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot |
US10970937B2 (en) * | 2018-05-04 | 2021-04-06 | Intel Corporation | Technologies for virtual attribute assignment referencing real objects |
KR102236957B1 (ko) * | 2018-05-24 | 2021-04-08 | 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 | 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법 |
US11010986B2 (en) * | 2018-08-30 | 2021-05-18 | Apple Inc. | Virtual object kit |
Family Cites Families (191)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4288078A (en) | 1979-11-20 | 1981-09-08 | Lugo Julio I | Game apparatus |
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (zh) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
CA2101633A1 (en) | 1991-12-03 | 1993-06-04 | Barry J. French | Interactive video testing and training system |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
JP2000510013A (ja) | 1996-05-08 | 2000-08-08 | リアル ヴィジョン コーポレイション | 位置検出を用いたリアルタイムシミュレーション |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
EP0959444A4 (en) | 1996-08-14 | 2005-12-07 | Nurakhmed Nurislamovic Latypov | METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
EP0849697B1 (en) | 1996-12-20 | 2003-02-12 | Hitachi Europe Limited | A hand gesture recognition system and method |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
AU1099899A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
WO1999019840A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | A system and method for generating an animatable character |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
EP1059970A2 (en) | 1998-03-03 | 2000-12-20 | Arena, Inc, | System and method for tracking and assessing movement skills in multidimensional space |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
EP0991011B1 (en) | 1998-09-28 | 2007-07-25 | Matsushita Electric Industrial Co., Ltd. | Method and device for segmenting hand gestures |
AU1930700A (en) | 1998-12-04 | 2000-06-26 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
WO2000036372A1 (en) | 1998-12-16 | 2000-06-22 | 3Dv Systems, Ltd. | Self gating photosurface |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
JP2002288687A (ja) | 2001-03-22 | 2002-10-04 | Olympus Optical Co Ltd | 特徴量算出装置および方法 |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US20020188372A1 (en) | 2001-05-10 | 2002-12-12 | Lane Kenneth M. | Method and system for computer aided garment selection |
JP4161613B2 (ja) | 2001-05-16 | 2008-10-08 | 株式会社セガ | 画像処理方法 |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US7019748B2 (en) | 2001-08-15 | 2006-03-28 | Mitsubishi Electric Research Laboratories, Inc. | Simulating motion of static objects in scenes |
US7275235B2 (en) | 2001-08-29 | 2007-09-25 | Molinari Alfred A | Graphical application development system for test, measurement and process control applications |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
JP3962588B2 (ja) | 2002-01-07 | 2007-08-22 | キヤノン株式会社 | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
EP1497160B2 (de) | 2002-04-19 | 2010-07-21 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Sicherheitsvorrichtung für ein fahrzeug |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US20030222977A1 (en) * | 2002-06-03 | 2003-12-04 | Kazutora Yoshino | Intelligent system and 3D virtual object generator |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
JP3984149B2 (ja) | 2002-10-31 | 2007-10-03 | 株式会社東芝 | 画像処理システム及び画像処理方法 |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US7372977B2 (en) | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
US7620202B2 (en) | 2003-06-12 | 2009-11-17 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
US7536032B2 (en) | 2003-10-24 | 2009-05-19 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
JP2005196670A (ja) | 2004-01-09 | 2005-07-21 | Sony Corp | 携帯端末装置及びオブジェクト生成方法 |
CN100573548C (zh) | 2004-04-15 | 2009-12-23 | 格斯图尔泰克股份有限公司 | 跟踪双手运动的方法和设备 |
DE102004018813A1 (de) | 2004-04-19 | 2006-02-23 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und/oder Verfolgung von Objekten |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7668376B2 (en) | 2004-06-30 | 2010-02-23 | National Instruments Corporation | Shape feature extraction and classification |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
US8131694B2 (en) | 2004-11-12 | 2012-03-06 | Sap Ag | Process-oriented classification |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
EP1849123A2 (en) | 2005-01-07 | 2007-10-31 | GestureTek, Inc. | Optical flow based tilt sensor |
EP3693889A3 (en) | 2005-01-07 | 2020-10-28 | QUALCOMM Incorporated | Detecting and tracking objects in images |
JP5631535B2 (ja) | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
US7317836B2 (en) | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
ATE527542T1 (de) | 2005-04-27 | 2011-10-15 | Siemens Medical Solutions | Verfahren zur herstellung von abbildungssonden unter verwendung von click chemie |
KR101430761B1 (ko) | 2005-05-17 | 2014-08-19 | 퀄컴 인코포레이티드 | 방위-감응 신호 출력 |
EP1752748B1 (en) | 2005-08-12 | 2008-10-29 | MESA Imaging AG | Highly sensitive, fast pixel for use in an image sensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
KR101229283B1 (ko) * | 2005-09-15 | 2013-02-15 | 올레그 스탄니슬라보비치 루린 | 가상 3차원 객체들의 시각화를 위한 방법 및 시스템 |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
GB0603106D0 (en) | 2006-02-16 | 2006-03-29 | Virtual Mirrors Ltd | Design and production of garments |
US7843471B2 (en) | 2006-03-09 | 2010-11-30 | International Business Machines Corporation | Persistent authenticating mechanism to map real world object presence into virtual world object awareness |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US7840059B2 (en) | 2006-09-21 | 2010-11-23 | Microsoft Corporation | Object recognition using textons and shape filters |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
US8272951B2 (en) | 2007-05-02 | 2012-09-25 | Ganz | Attribute building for characters in a virtual environment |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
US8902227B2 (en) * | 2007-09-10 | 2014-12-02 | Sony Computer Entertainment America Llc | Selective interactive mapping of real-world objects to create interactive virtual-world objects |
US8073190B2 (en) * | 2007-11-16 | 2011-12-06 | Sportvision, Inc. | 3D textured objects for virtual viewpoint animations |
KR20080034419A (ko) * | 2007-11-23 | 2008-04-21 | 야파 코포레이션 | 3d 영상 생성 및 디스플레이 시스템 |
US20090138377A1 (en) | 2007-11-27 | 2009-05-28 | Uk Oh | Clothes fitting service method of providing information about fitting of clothes |
DE102007062991B3 (de) | 2007-12-21 | 2009-05-07 | Navigon Ag | Verfahren zur Erzeugung einer elektronisch speicherbaren, digitalen Landkarte und Navigationsgerät mit digitaler Landkarte |
NL1035303C2 (nl) | 2008-04-16 | 2009-10-19 | Virtual Proteins B V | Interactieve virtuele reality eenheid. |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
US8427503B2 (en) * | 2009-05-18 | 2013-04-23 | Nokia Corporation | Method, apparatus and computer program product for creating graphical objects with desired physical features for usage in animation |
US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US9424583B2 (en) | 2009-10-15 | 2016-08-23 | Empire Technology Development Llc | Differential trials in augmented reality |
KR101357262B1 (ko) * | 2010-08-13 | 2014-01-29 | 주식회사 팬택 | 필터 정보를 이용한 객체 인식 장치 및 방법 |
JP5778967B2 (ja) * | 2011-04-08 | 2015-09-16 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム |
US20120264510A1 (en) * | 2011-04-12 | 2012-10-18 | Microsoft Corporation | Integrated virtual environment |
US9547938B2 (en) * | 2011-05-27 | 2017-01-17 | A9.Com, Inc. | Augmenting a live view |
-
2011
- 2011-07-20 US US13/186,666 patent/US10796494B2/en active Active
-
2012
- 2012-06-05 CN CN201280028075.XA patent/CN103582902B/zh active Active
- 2012-06-05 JP JP2014514565A patent/JP6034859B2/ja active Active
- 2012-06-05 WO PCT/US2012/040952 patent/WO2012170444A2/en unknown
- 2012-06-05 EP EP12797196.8A patent/EP2718904A4/en not_active Withdrawn
- 2012-06-05 KR KR1020137032143A patent/KR101961969B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
US10796494B2 (en) | 2020-10-06 |
JP2014516188A (ja) | 2014-07-07 |
JP6034859B2 (ja) | 2016-11-30 |
KR20140038442A (ko) | 2014-03-28 |
EP2718904A4 (en) | 2014-09-10 |
CN103582902A (zh) | 2014-02-12 |
US20120306853A1 (en) | 2012-12-06 |
EP2718904A2 (en) | 2014-04-16 |
WO2012170444A3 (en) | 2013-04-25 |
WO2012170444A2 (en) | 2012-12-13 |
KR101961969B1 (ko) | 2019-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103582902B (zh) | 向现实世界对象的虚拟表示添加属性 | |
US11734844B2 (en) | 3D hand shape and pose estimation | |
US12020377B2 (en) | Textured mesh building | |
US11798261B2 (en) | Image face manipulation | |
US20200320327A1 (en) | Systems and methods for extracting information about objects from scene information | |
US11568109B2 (en) | Experience learning in virtual world | |
US11977976B2 (en) | Experience learning in virtual world | |
TW202046158A (zh) | 語意融合 | |
CN108701376A (zh) | 三维图像的基于识别的对象分割 | |
Lombardi et al. | Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images | |
US11915398B2 (en) | Relighting system for single images | |
Ramanarayanan et al. | Perception of complex aggregates | |
Liao et al. | Illumination animating and editing in a single picture using scene structure estimation | |
US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
Xu et al. | Object-based illumination transferring and rendering for applications of mixed reality | |
Gray | Navigating 3D scatter plots in immersive virtual reality | |
US11972534B2 (en) | Modifying materials of three-dimensional digital scenes utilizing a visual neural network | |
US20230267678A1 (en) | Device and method for image processing | |
Canizares | Everything Is Software | |
Karsch | Inverse rendering techniques for physically grounded image editing | |
Lelidis | Invisible to Machine Perception: Attacking Pose Estimators with Attribution Methods | |
Zhan | Image synthesis in visual machine learning | |
Genova | 3D Representations for Learning to Reconstruct and Segment Shapes | |
Hershey et al. | Recognizing Cities from Street View Images | |
Lombardi | Radiometric Scene Decomposition: Estimating Complex Reflectance and Natural Illumination from Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150722 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150722 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |