CN105122304A - 使用增强现实的对居住空间的实时设计 - Google Patents

Abstract

渲染现实对象的显示器允许设计者基于现有布局来实时地重新设计居住空间。一种计算机系统在显示器上渲染模拟对象，以使得模拟对象对于查看者而言表现为与场景中的实际对象处于基本上相同的地点。所显示的模拟对象可以通过各种用户姿势在显示器上在空间上被操纵。设计者可以用许多方式在视觉上模拟对空间的重新设计，例如，通过添加所选对象，或者通过移除或重新布置现有对象，或者通过改变那些对象的属性。此类对象还可与购物资源相关联以使得能够购买相关商品和服务，或者能够参与其他商业交易。

Description

使用增强现实的对居住空间的实时设计

背景

室内和室外居住空间的设计通常涉及在时间上高度分开的若干步骤。设计者用严苛的视角来审阅空间，作出关于要对该空间作出的改变的决定，购买商品，并随后重新设计该空间。在查看空间、作出设计决定以及查看经重新装饰的空间之间存在时间间隙。有了这一时间间隙，重新设计可能成为一个昂贵的过程，如果设计者(或设计者的顾客)出于多种原因中的任一种而不满意最终结果的话。

存在允许创建、编辑和查看居住空间的三维模型的一些软件工具。然而，此类工具仍然涉及对空间的精确测量以及将设计过程与查看实际空间分隔开。

发明内容

提供概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

显示器在包括居住空间的一场景的上下文中渲染模拟对象，这允许设计者基于现有布局来实时地重新设计居住空间。显示器可以提供场景的实况视频馈源，或者显示器可以是透明的或半透明的。实况视频馈源可以用半不透明方式来显示，从而对象可以被容易地覆盖在场景上而不会使查看者混淆。

一种计算机系统在显示器上渲染模拟对象，以使得模拟对象对于查看者而言表现为与场景中的实际对象处于基本上相同的地点。所显示的模拟对象可以通过各种用户姿势在显示器上在空间上被操纵。设计者可以用许多方式在视觉上模拟对空间的重新设计，例如，通过添加所选对象，或者通过移除或重新布置现有对象，或者通过改变那些对象的属性。此类对象还可与购物资源相关联以使得能够购买相关商品和服务，或者能够参与其他商业交易。

在以下描述中，对附图进行了参考，附图构成了实施方式的一部分且在其中作为示例示出了本发明技术的具体示例实现。可以理解，可以使用其他实施例并且可以做出结构改变而不背离本公开的范围。

附图简述

图1是用户查看在具有对应的实际对象的场景的上下文中的模拟对象的场景的解说。

图2是解说设计系统的示例实现的数据流程图。

图3是解说用于诸如图2中的设计系统的用户输入模块的示例实现的更详细的数据流程图。

图4是描述图2中系统的示例操作的流程图。

图5是描述对象识别系统的示例操作的流程图。

图6是用包括模拟对象的显示器来查看的场景的另一解说。

图7是在其中可以实现这样的系统的示例计算设备的框图。

具体实施方式

以下章节提供了其中可以实现本文描述的环境设计应用的示例操作环境。

参考图1，个体100查看场景102和显示器104。场景102可以是多种环境中的任一种，无论是室内(在建筑物中，诸如办公楼或家中)还是室外(诸如花园、草坪或阳台)。环境可以是商用或住宅。此类场景可包含个体可考虑作为场景的设计特征的一个或多个对象，诸如家具、墙、艺术品、植物、地板等。

显示器104可以是透明显示器，从而允许个体透过显示器来查看场景102。显示器104还可显示场景的实况视频馈源，从而允许个体在场景的一部分的上下文中在显示器上查看场景的其余部分。这一实况视频馈源可以采用组合有头部跟踪和依赖于查看者的渲染的场景三维重构的形式，以使得场景的三维渲染与查看者在显示器透明的情况下会看到的场景相匹配。

实况视频馈源可以用半不透明方式来显示，从而对象可以被容易地覆盖在场景上而不会使查看者混淆。用半不透明的方式来显示场景可以用光学快门式透明显示器(诸如液晶显示器)来完成。或者，如果显示器是发射性的(诸如透明基板上的(OLED))，则使发射像素足够亮以自然地混入场景中并且变得可见。

计算机程序(未示出)生成并在在显示器区域108中显示模拟对象106。计算机程序可以在内置到显示器中的处理器上或者在连接到显示器的计算机上运行。模拟对象106对应于场景102中的对象，例如对象112。

一般来说，模拟对象由计算机根据场景的图像数据来定义。具体来说，场景的图像数据被接收到计算机中的存储器中。图像数据从与显示器104具有已知关系的一个或多个相机(未示出)接收。相机可以与显示器位于相同外壳上，或者可以位于包含场景102的环境中。计算机系统生成场景中的实际对象的模型，诸如由顶点、边和面定义的三维模型。这些模型从而是对应于场景中的实际对象的模拟对象。

模拟对象在显示器上被渲染和显示。如下文将更详细地描述的，这些模拟对象以及场景的任何实况视频馈源基于查看者相对于显示器的定向以及显示器相对于场景的定向来显示。从而，对查看者而言，模拟对象出现在显示器上就好像它们处于与场景中的实际对象基本上相同的地点。查看者定向和显示器定向可以通过各种各样的传感器和相机中的任一种来检测，如下文更详细地描述的。结果，当查看者移动时或者当显示器移动时，所显示的模拟对象以及场景的任何实况视频馈源被重新定向、缩放、渲染和显示，以维持模拟对象的外观与它们对应的实际对象重叠。

给定带有一个或多个模拟对象的显示器，所显示的对象可以通过各种用户姿势在显示器上在空间上被操纵。一种操纵是对对象的选择。如果显示器是触敏的或者支持使用指示笔，则可以通过个体用手指或指示笔来触摸对象来选择该对象。或者，基于成像的姿势检测界面可用于检测在显示器和场景之间的对象的姿势(例如手的姿势)。如果显示器是透明的或半透明的，则手可以透过显示器被看到，并且可以表现为直接在场景中操纵对象。

给定一所选对象，可以对该对象执行各种各样的其他操作。例如，设计者可以用许多方式在视觉上模拟对空间的重新设计。设计者可以例如添加所选对象、移动对象、重新布置现有对象、或改变那些对象的属性。

关于添加对象，如下文更详细地描述的，可以提供对象库，该对象库可被选择并且置于虚拟场景中。对象可以被置于场景中，并且接着被适当地缩放以适合场景。类似地，所选对象可以在场景中重新定位，并且接着被适当地缩放和旋转以适合场景。

关于改变对象的属性，如下文更详细地描述的，存在能够被操纵的对象的渲染的许多属性。例如，可以改变对象的颜色、纹理或其他表面属性(诸如反射率)或者可以改变影响对象外观的环境属性(诸如光照)。对象也可以随着时间推移来动画化。例如，对象根据其本质可以是可移动的、或者可以生长(诸如植物)。

给定这一上下文，支持此类设计应用的计算机系统的示例实现将结合图2更详细地来描述。

在图2中，一数据流程图解说了一示例实现。在这一设计应用的中心是渲染系统200，渲染系统200接收关于显示器姿态202和查看者姿态204的信息连同描述要被渲染的三维对象和场景的数据206。显示器姿态202定义显示器设备相对于场景的位置和定向。查看者姿态定义查看者相对于显示器设备的位置和定向。渲染系统200使用输入202、204和206来渲染显示，从而使得显示数据208在显示器210上被显示。

渲染系统还可使用影响渲染的其他输入212。此类输入可包括但不限于，光照的位置和类型、对象的动画参数、对象的纹理和颜色等。此类输入常用于各种各样的渲染引擎中，这些渲染引擎被设计成提供逼真的渲染，诸如在动画和游戏中所使用的。

姿态检测模块220使用各种传感器数据来确定显示器姿态202和查看者姿态204。在实践中，可能存在用于检测显示器姿态和查看者姿态中的每一者的单独姿态检测模块。作为示例，一个或多个相机222可以将图像数据224提供给姿态检测模块220。各种传感器226也可以将传感器数据228提供给姿态检测模块220。

相机222可以是显示器设备的一部分并且朝向查看者。来自此类相机222的图像数据224可以使用注视检测和/或眼部跟踪技术来处理以确定查看者的姿态。此类技术在例如由QinCai、A.Sankaranarayanan、Q.Zhang、ZhengyouZhang、和ZichengLiu在面部和姿势的分析和建模的IEEE工作组中结合2010年6月的CVPR2010提供的“RealTimeHeadPoseTrackingfromMultipleCameraswithaGenericModel(根据具有通用模型的多个相机进行实时头部姿态跟踪)”中描述，并且在市场上销售的产品中找到，诸如可以从瑞典丹德吕德的Tobii电子技术公司获得的TobiiIS20和TobiiIS-1眼部跟踪器。

相机222可以是显示器设备的一部分，并且可以朝向环境以提供场景的图像数据224。来自此类相机222的图像数据224可以使用各种图像处理技术来处理以确定显示器设备相对于场景的定向。例如，给定两个相机，可以使用诸如在Gallup,D.、Frahm、J.-M.等人在计算机视觉和模式识别(CVPR)2007中提出的“Real-TimePlaneSweepingStereowithMultipleSweepingDirections(带有多个扫方向的实时平面扫立体)”的立体图像处理技术来确定定义场景的空间的各个平面以及显示器设备离场景中的各个对象的距离以及相对于场景中的各个对象的定向，诸如在GeorgKlein和DavidMurray在混合与扩增现实的进展国际研讨会(ISMAR'07)上提出的“ParallelTrackingandMappingforSmallARWorkspaces(用于小型AR工作空间的并行跟踪和映射)”以及Pradeep,V.、Medioni,G.和Weiland,J.在2009年6月出版的计算机视觉和模式识别(CVPR)2009第1438-1445页中提供的“Visualloopclosingusingmulti-resolutionSIFTgridsinmetric-topologicalSLAM(在度量拓扑SLAM中使用多分辨率SIFT网格的视觉循环闭合)”中所描述的。

来自相机222的提供场景的图像数据224的图像还将这一图像数据输入到对象模型生成器230。对象模型生成器230输出场景(诸如其主要平面，例如地板和墙)以及场景中的对象(诸如家具、植物或其他对象)的三维模型，如由240处的对象模型所指示的。被标识的每一对象可以在数据库中注册，伴随有关于该对象的信息，该信息包括该对象在三维空间中相对于参考点(诸如房间中心)的位置。使用数据库，系统具有足够的数据来将对象放回到空间视图中和/或将该对象和其他对象映射到其他对象和位置。

可以将各种输入232提供给对象模型生成器230以帮助生成对象模型206。在一种实现中，对象模型生成器230使用线或轮廓检测算法来处理图像数据，线或轮廓算法的示例在Pradeep,V.和Lim,J.W.在2012年的计算机视觉国际期刊第98卷第2版第202-216页中提供的“EgomotionEstimationUsingAssortedFeatures(使用分等级的特征进行自运动估计)”中描述。从此类轮廓检测得到的一组轮廓被显示给用户(用于标识轮廓的其他中间数据可以向用户隐藏)。响应于指示所选线的用户输入232，可以使用用户输入来定义对象并且用描述此类对象的元数据来对对象加标签。可能期望引导用户通过房间的不同视图的若干步骤，从而使得用户在采取其他动作之前首先标识出房间中的各个对象。

用户可以选择场景中的对象或者来自模型数据库的对象以添加到场景。给定所选对象，对象的位置、比例和/或定向可以在场景中被改变。相对于对象的各种用户姿势可用于修改所显示的对象。例如，在触摸显示器上显示场景的情况下，各种触摸姿势(诸如滑动、捏合、触摸并拖拽、或其他姿势)可用于旋转对象、改变对象的大小以及移动对象。新添加的对象可以被缩放和旋转成与场景中的对象相匹配的大小和定向。

同样，给定所选对象，可以购买各个物品，可以改变各个属性，并且可以添加和改变元数据。参考图3，现在将描述管理与所选对象有关的其他输入的输入系统。

图3中的输入处理模块300接收与所选对象304有关的各种用户输入302。显示数据306对应于由用户正对三维场景308执行的操作种类。例如，当没有选择对象时，显示数据306包括来自渲染引擎的对三维场景308的渲染。用户输入304由选择模块310处理以确定用户是否选择了对象。给定一所选对象304，来自用户的进一步输入302引导系统执行与该所选对象有关的操作，诸如编辑其渲染属性、购买有关商品和服务、用元数据对对象加标签、或者以其他方式在场景中操纵对象。

在图3中，购买模块320接收对所选对象306的指示并且提供与关于该对象的商品和服务有关的信息322。此类信息可以从一个或多个数据库324检索。如下文所述，所选对象可具有与其相关联的元数据，该元数据描述与所选对象有关的实际对象。这一元数据可被用于访问数据库324以获得关于可用的商品和服务的信息。输入处理模块在场景显示上将信息322显示为与所选对象毗邻的覆盖，并且呈现允许用户购买与所选对象有关的商品和服务的界面。

标签模块330接收对所选对象306的指示并且提供与该对象有关的元数据332。此类数据描述与模拟对象有关的实际对象。此类信息可以被存储在一个或多个数据库334中并从一个或多个数据库334检索。输入处理模块300显示元数据332并且呈现允许用户输入元数据(无论是添加、删除还是修改元数据)的界面。对于此类界面的示例实现，参见Ivanov,I.等人在第11届ACMSIGMM多媒体信息检索国际大会(MIR2010)的论文集中提供的“Object-basedTagPropagationforSemi-AutomaticAnnotationofImages(用于图像的半自动注释的基于对象的标签传播)”。

渲染属性编辑器340接收对所选对象306的指示并且提供与该对象有关的渲染信息342。此类信息可以被存储在一个或多个数据库344中并从一个或多个数据库344检索，诸如场景模型或渲染引擎的属性文件。输入处理模块300显示渲染属性312，并且呈现允许用户输入所选对象或环境的渲染属性的界面，无论是通过添加、删除还是修改渲染属性。此类属性可包括对象的表面属性(诸如颜色、纹理、反射率等)、或对象的属性(诸如其大小或形状)、或场景的其他属性(诸如场景中的光照)。

作为示例，所选对象的渲染属性可以被修改以改变对象的颜色。例如，设计者可以选择椅子对象，并且在场景中用各种各样的颜色来显示该椅子。作为另一示例，设计者可以选择椅子对象，并且将其从场景中移除，从而使得被移除对象后面的其他对象变得可见，就好像所选对象不在那里一样。

这些属性可以被定义为随着时间的函数以允许它们在渲染引擎中被动画化。作为示例，光照可以被动画化成示出在一天中的不同时间的光照。对象可以被动画化(诸如树或可以随着时间改变形状的其他对象)以解说随着时间该对象在场景中的影响。

现在参考图4，现在将描述描述了此类系统的一般操作的流程图。首先，从场景接收400来自一个或多个相机和/或一个或多个传感器的输入。此类输入在上文中描述，并且被用来确定402查看者相对于显示器设备的姿态，以及确定404显示器设备相对于场景的姿态，如上所述。接着，标识406场景内的一个或多个对象，诸如通过轮廓检测(无论是自动还是半自动)，据此生成与那些实际对象相对应的模拟对象的三维模型。给定所确定的姿态和模拟对象，模拟对象可以在场景中在显示器上被渲染和显示408，以使得模拟对象对于查看者而言表现为与场景中的实际对象处于基本上相同的地点。如上所述，在一个实现中，此类渲染根据依赖于视图的深度纠正注视来执行。

现在将结合图5来描述使用轮廓检测来生成场景中的对象的模拟对象的操作的示例实现。给定一场景，例如通过使用常规边缘检测技术来处理500图像以标识场景中的对象的轮廓。边缘检测通常基于寻找图像中的颜色和/或强度中的尖锐变化。结果，边缘被标识，每一边缘可以由一个或多个线段来定义。每一线段可以在显示器上显示502，并且系统接着等待504用户输入。系统接着接收506指示对用于定义对象的一个或多个线段的选择的用户输入。在完成时，将所选线段组合508成三维对象。该过程可被重复，从而允许用户标识场景的多个对象。

现在已经描述了此类设计系统的一般架构，现在将描述用于该设计系统的一示例使用情形。

用户对重新设计室内居住空间(诸如卧室或餐厅)或室外居住空间(诸如草坪或阳台)感兴趣。使用这一设计系统，用户在房间中占据一位置，并且将显示器保持在要被重新设计的居住空间的区域的方向上。例如，用户可以看向卧室中具有若干家具的一角。例如，如图6所示，用户持有显示器600，朝向房间602的一角。该场景包括椅子604。注意到显示器600上或透过显示器600的场景的视图是在实际场景606的上下文中。在激活设计系统之后，设计系统执行对象识别，诸如通过轮廓分析，从而提示用户标识所显示的场景中的对象。在标识场景中的对象之后，设计系统渲染和显示与实际对象相对应的模拟对象(诸如椅子604)，以使得它们对于查看者而言表现为与场景中的实际对象基本上处于相同的地点。用户可以通过选择每一对象并且添加关于对象的元数据来对对象加标签。例如，用户可以标识椅子604或房间中的任何其他对象(诸如该卧室角落中的五斗橱(未示出)、床头柜(未示出)以及灯(未示出))并且提供关于这些对象的信息。

如果用户决定要改变椅子并且从场景中删除其模拟对象，则设计系统可以在所显示的场景中使椅子对象变灰。用户可以访问其他椅子对象的库并且选择期望椅子，从而将其置于场景中。用户接着可以选择椅子的渲染属性，选择针对其的光照种类，以及被关闭或打开的光照的动画化。

用户可决定要改变场景的其他方面(未在图6中示出)。例如，用户可以通过依次选择五斗橱和床头柜这些对象中的每一者来改变它们的抛光。在选择对象之后，用户选择和编辑其渲染属性以改变其颜色和/或抛光。例如，用户可以选择各种各样的颜色的光亮和哑光抛光，并且依次查看每一者。

如上所提及的，用户在显示器上查看对居住空间的设计改变，其中将场景渲染成使得模拟对象对于查看者而言表现为与场景中的实际对象基本上处于相同地点。从而，查看者还在显示器视图之外的其余居住空间的上下文中查看场景。在查看对居住空间的设计修改之后，用户接着选择已经被改变的每一对象的购买选项。例如，对于椅子，设计系统可以呈现用于所选椅子的商店界面。设计系统可以呈现用于购买匹配新设计的家具的商店界面，或者可以向用户呈现服务选项，诸如家具重新抛光服务。

现在已经描述了示例实现，将描述这一系统被设计成在其中操作的计算环境。以下描述旨在提供对其中可实现此系统的合适的计算环境的简要、一般的描述。场景中的设计系统可以用众多通用或专用计算硬件配置来实现。可能适合的公知的计算设备的示例包括但不限于，平板或输入板计算机、移动电话、个人计算机、服务器计算机、手持式或膝上型设备(例如，笔记本计算机、蜂窝电话、个人数据助理)、多处理器系统、基于微处理器的系统、机顶盒、游戏控制台、可编程消费电子产品、网络PC、微型计算机、大型计算机、包括任何以上系统或设备的分布式计算环境等等。

图7示出了合适的计算系统环境的示例。该计算系统环境只是合适的计算环境的一个示例，并且不旨在对此类计算环境的使用范围或功能提出任何限制。也不应将计算环境解释为对该示例操作环境中示出的任一组件或其组合有任何依赖性或要求。

参考图7，示例计算环境包括计算机器，诸如计算机器700。在其最基本的配置中，计算机器700通常包括至少一个处理单元702和存储器704。计算设备可包括多个处理单元和/或附加共同处理单元，诸如图形处理单元720。取决于计算设备的确切配置和类型，存储器704可以是易失性的(如RAM)、非易失性的(如ROM、闪存等)或是两者的某种组合。该最基本配置在图7中由虚线706来示出。另外，计算机器700还可具有附加的特征/功能。例如，计算机器700还可包括附加存储(可移动和/或不可移动)，包括但不限于磁盘、光盘或磁带。在图7中通过可移动存储708和不可移动存储710示出这样的附加存储。计算机存储介质包括以用于存储诸如计算机程序指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。存储器704、可移动存储708和不可移动存储710全部都是计算机存储介质的示例。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备，或者可用于存储所需信息并且可由计算机器700访问的任何其它介质。任何这样的计算机存储介质都可以是计算机器700的一部分。

计算机器700还可包含使该设备能与其它设备进行通信的通信连接712。通信连接712包括通信介质的一个示例。通信介质通常以诸如载波或其他传输机制等已调制数据信号来承载计算机程序指令、数据结构、程序模块或其他数据，并包括任意信息传达介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改，从而改变了信号的接收设备的配置或状态的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。

计算机器700可具有各种输入设备714，如键盘、鼠标、笔、相机、触摸输入设备等。在这一场景中设计系统中，输入设备还包括一个或多个摄像机。还可包括诸如显示器、扬声器、打印机等输出设备716。所有这些设备在本领域是已知的并且在此不必详述。

输入和输出设备可以是自然用户接口(NUI)的一部分。NUI可被定义为使得用户能够以“自然”方式与设备交互而无需由诸如鼠标、键盘、遥控等输入设备强加的人为约束的任何接口技术。

NUI方法的示例包括依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、嗓音和语音、视觉、触摸、姿势、以及机器智能的那些方法。NUI技术的示例类别包括但不限于触敏显示、话音和语音识别、意图和目的理解、使用深度相机(如立体相机系统、红外相机系统、RGB相机系统、以及这些的组合)的运动姿势检测、使用加速度计、陀螺仪的运动姿势检测、面部识别、3D显示、头部、眼睛和注视跟踪、浸入式增强现实和虚拟现实系统，所有这些都提供更自然的接口，以及用于使用电场传感电极(EEG和相关方法)的传感大脑活动的技术。

这一设计系统可以在包括诸如程序模块等存储在存储介质上且由计算机器处理的计算机可执行指令和/或计算机解释的指令的软件的一般上下文中实现。一般而言，程序模块包括在由处理单元处理时指令处理单元执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。该系统可以在任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。

给定图2和3中的各个模块，所示模块之间的任何连接可以使用用于在一个进程内的各个操作之间共享数据、或在一个计算机上的不同进程之间共享数据、或在不同处理核、处理器或不同计算机上的不同进程之间共享数据的技术来实现，并且可以包括计算机网络和/或计算机总线上的通信。类似地，流程图中的步骤可以由相同或不同进程来执行、在相同或不同处理器上执行、在相同或不同计算机上执行。

作为替代或除此之外，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。

可以按所需的任何组合来使用此处所述的上述替换实施例的任一个或全部以形成另外的混合实施例。应理解，所附权利要求书中定义的主题不一定限于上述特定实现。上述特定实现仅仅作为示例公开。

Claims (10)

1.一种计算机实现的方法，包括：

将场景的图像数据接收到存储器中，所述图像数据从与显示器具有已知关系的一个或多个相机接收；

生成所述场景中的实际对象的模型，所述模型定义与所述场景中的实际对象相对应的模拟对象；

检测查看者相对于所述显示器的定向；以及

在所述显示器上渲染所述模拟对象，以使得所述模拟对象对于所述查看者而言表现为与所述场景中的实际对象处于基本上相同的地点，并且使得所显示的模拟对象能够通过用户姿势在所述显示器上在空间上被操纵。

2.如权利要求1所述的计算机实现的方法，其特征在于，生成实际对象的模型包括：

检测所述图像数据中的实际对象的轮廓；

将检测到的轮廓转换成与所述实际对象相对应的模拟对象；以及

接收描述所述实际对象的数据，并且将接收到的数据与对应的模拟对象相关联地存储。

3.如权利要求1到2中的任一项所述的计算机实现的方法，其特征在于，在所述显示器上渲染所述模拟对象，以使得所述模拟对象对于所述查看者而言表现为与所述场景中的实际对象处于基本上相同的地点，包括根据依赖于视图的深度纠正注视来渲染所述模拟对象。

4.如权利要求1到3中的任一项所述的计算机实现的方法，其特征在于，在所述显示器上渲染所述模拟对象，以使得所述模拟对象对于所述查看者而言表现为与所述场景中的实际对象处于基本上相同的地点，包括：

生成所述场景的三维模型；

确定所述显示器相对于所述场景的姿态；

确定所述查看者相对于所述显示器的姿态；以及

根据所确定的所述显示器和所述查看者的姿态在所述显示器上渲染所述场景。

5.如权利要求1至4中任一项所述的计算机实现的方法，其特征在于，进一步包括：

对模拟对象随时间的改变进行模拟。

6.如权利要求1至5中任一项所述的计算机实现的过程，其特征在于，进一步包括：

缩放和旋转所述模拟对象以匹配所述场景的对象的大小和定向。

7.一种制品，包括：

计算机存储；

存储在所述计算机存储上的计算机程序指令，当所述计算机程序指令被处理设备处理时，指令所述处理设备执行包括以下的方法：

将场景的图像数据接收到存储器中，所述图像数据从与显示器具有已知关系的一个或多个相机接收；

生成所述场景中的实际对象的模型，所述模型定义与所述场景中的实际对象相对应的模拟对象；

检测查看者相对于所述显示器的定向；以及

在所述显示器上渲染所述模拟对象，以使得所述模拟对象对于所述查看者而言表现为与所述场景中的实际对象处于基本上相同的地点，并且使得所显示的模拟对象能够通过用户姿势在所述显示器上在空间上被操纵。

8.一种设计系统，包括：

用于接收场景的图像数据的输入；

具有用于接收描述所述场景的数据的输入以及提供与所述场景中的实际对象相对应的模拟对象的输出的对象建模系统；

具有用于接收所述模拟对象的输入以及向显示器输出场景的渲染以使得模拟对象对于所述查看者而言表现为与所述场景中的实际对象处于基本上相同的地点的渲染系统；以及

使得用户能够在空间上操纵显示器上所显示的模拟对象的输入系统。

9.如权利要求8所述的设计系统，其特征在于，进一步包括：

处理相对于一个或多个模拟对象的用户输入以及修改所述模拟对象的一个或多个属性的输入系统。

10.如权利要求8或9所述的设计系统，其特征在于，进一步包括：

处理相对于一个或多个模拟对象的用户输入并且呈现可用于与所述模拟对象有关的购买的商品或服务的购买系统。