CN106575158A - 环境映射虚拟化机构 - Google Patents

Abstract

一种方法包括获取深度图像数据，将图像数据处理成环境的实时三维（3D）重构模型，操作数据集上的模型、纹理和图像，渲染经过修改的结果以用于显示，以及基于现有的空间和物理技能支持与显示器的交互。

Description

环境映射虚拟化机构

本申请要求保护2014年9月8日提交且目前在审的美国临时申请No. 62/047,200的优先权的权益。

技术领域

这里描述的实施例总体上涉及计算机。更特别地，实施例涉及交互式可视化和增强现实。

背景技术

现在，存在用于数据可视化的许多系统，它们在要求用户完成数据的可视化和含义之间的心理映射的抽象空间（例如图、图表、谷歌地图覆盖等等）中操作。这导致较不直观以及没有太多身临其境的体验，并且不会利用用户对环境的理解。目前在增强现实空间中的部署寻求通过在视觉上将内容覆盖在真实世界上来解决这一问题。虽然这是正确方向的一步，但是已将重点放在登记正确地点处的信息而不是产生在其中数据变换用户自己环境的视觉和交互特征的引人入胜体验。

附图说明

在附图的各图中以示例的方式且不是以限制的方式来图示实施例，在附图中相似参考数字指的是类似的元件。

图1图示根据一个实施例的映射虚拟化机构。

图2图示根据一个实施例的映射虚拟化机构。

图3A图示示例性增强现实应用的屏幕截图。

图3B图示示例性虚拟现实效果的屏幕截图。

图3C图示根据一个实施例的虚拟效果。

图4图示根据一个实施例的后处理流水线。

图5图示根据一个实施例的映射虚拟化过程。

图6A图示根据一个实施例的纹理操作实现的屏幕截图。

图6B图示根据一个实施例的虚拟现实实现。

图6C图示根据一个实施例的基于后处理图像的操作实现的屏幕截图。

图7图示根据一个实施例的适用于实施本公开的实施例的计算机系统。

具体实施方式

在后面的描述中，阐述了许多具体细节。然而，可以在没有这些具体细节的情况下实行如这里所描述的实施例。在其他实例中，没有详细示出公知电路、结构和技术，以便不模糊对本描述的理解。

图1图示计算设备100的一个实施例。根据一个实施例，计算设备100充当用于主控映射可视化机构110的主机机器。在此类实施例中，映射可视化机构110从一个或多个深度感测设备（例如相机阵列或深度相机）接收数据以创建在其中数据变换用户的环境的视觉和交互特征的引人入胜的体验。在另一实施例中，交互可视化和增强现实被实施成变换用户的现有视觉和空间环境，并且改变其呈现和行为以适合对使用深度感测、3D重构和动态渲染的组合的应用的需要。

在一个实施例中，用户的世界观察的视觉呈现（例如物理几何结构、纹理、后处理渲染效果）被改变以实现身临其境的、交互可视化。通过从深度感测设备收集实时深度数据并且将该数据处理成测定体积的3D模型、经过滤波的深度图或网格来实施改变。在另一实施例中，根据可视化的意图该空间信息随后经历动态渲染效果。

根据一个实施例，映射可视化机构110可以被用来可视化各种数据源，诸如传感器数据、音乐流、视频游戏状态等等。因此，用户可以以自然的方式来与数据交互，因为数据是在用户的即时环境中可视的。例如，在实时音乐分析期间收集的数据实现世界的现场变换，在其中现实世界对象看起来扩展到产生即兴迪斯科厅的感觉的节拍节奏和动态灯光效果。

在另一实施例中，映射可视化机构110可以被用于通过根据数据分析改变流行货架物品的呈现来可视化通过食品杂货店的步行交通的销售团队。如图2中所图示的，映射可视化机构110包括任何数目和类型的部件以有效地执行环境映射可视化，如将遍及该文档进一步描述的那样。

计算设备100还可以包括任何数目和类型的通信设备（诸如大计算系统，诸如服务器计算机、桌上型计算机等等），并且还可以包括机顶盒（例如基于因特网的电缆电视机顶盒等等）、基于全球定位系统（GPS）的设备等等。计算设备100可以包括充当通信设备的移动计算设备，诸如包括智能手机的蜂窝电话、个人数字助理（PDA）、平板电脑计算机、膝上型计算机（例如笔记本、上网本、超极本^TM系统等等）、e-阅读器、媒体因特网设备（“MID”）、智能电视、电视平台、可佩戴的设备（例如手表、手镯、智能卡、首饰、衣着用品等等）、媒体播放器等等。

计算设备100可以包括充当计算机设备100的硬件和/或物理资源和用户之间的接口的操作系统（OS）106。计算设备100还包括一个或多个处理器102、存储器设备104、网络设备、驱动器等等，以及输入/输出（I/O）源108（诸如触摸屏、触摸板、触摸垫、虚拟或普通键盘、虚拟或普通鼠标等等）。

要注意，遍及本文档可以可互换地使用比如“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机机器”、“设备”、“计算设备”、“计算机”、“计算系统”等等之类的术语。还要注意，遍及本文档可以可互换地使用比如“应用程序”、“软件应用程序”、“程序”、“软件程序”、“包“、“软件包”等等之类的术语。而且，遍及本文档可以可互换地使用比如“作业”、“输入”、“请求”、“消息”等等之类的术语。

图2图示根据一个实施例的映射可视化机构110。在一个实施例中，可以在充当通信设备（诸如智能电话、可佩戴设备、平板电脑计算机、膝上型计算机、桌上型计算机等等）的计算设备100处采用映射可视化机构110。在另一实施例中，映射可视化机构110包括任何数目和类型的部件，诸如深度处理模块201、可视化映射逻辑202、用户接口203以及渲染和视觉变换模块204。此外，计算设备100包括深度感测设备211和显示器213以促进映射可视化机构110的实现。

设想可以将任何数目和类型的部件添加到映射可视化机构110和/或从映射可视化机构110移除任何数目和类型的部件以促进包括添加、移除和/或增强某些特征的各种实施例。为了简洁、清楚且容易地理解映射可视化机构110，这里没有示出或讨论许多标准和/或已知部件，诸如计算设备的那些。设想如这里描述的实施例不限于任何特定技术、拓扑结构、系统、体系结构和/或标准，并且可以是动态的足以采用和适应任何将来的变化。

深度处理模块201包括使用三维（3D）对象扫描和模型创建算法（例如由微软公司®开发的KinectFusion™）的用户环境的实时测定体积重建。深度处理模块201还可以包括作为输出的深度图。在此类实施例中，深度图是直接从传感器211得到的或者作为投影来自累积模型的深度的最终结果得到的。在更复杂的实施例中，深度处理模块201结合景物理解、提供每个对象3D模型输出的元件。在此类实施例中，这是经由图像/点-云分割算法和/或经由用户接口203的用户反馈实现的。

可视化映射逻辑202接收数据并且考虑可视化意图（例如视频游戏、讲故事、数据分析等等）、以及指定变换的用户偏好。根据一个实施例，数据可以包括音频、财务数据、科学研究数据等等。在另一实施例中，数据可以被本地地存储在计算设备100处。然而，在其他实施例中，可以从外部源（例如服务器计算机）获取该数据。在此类实施例中，该数据可以是从平台或联网传感器上的别的地方获取的实时传感器数据。

渲染和视觉变换模块204执行动态可视化。在传统增强现实应用中，真实世界信息（例如几何结构、纹理、相机姿态等等）充当信息锚定在那里的背景。然而，数据和真实世界环境并不混合。同时在虚拟现实中，用数字信息来替换真实世界环境。根据一个实施例，视觉变换模块204使得真实世界信息能够经历变换来在可视化中对数据编码，同时可视化利用不同的外观和感觉来变换真实世界环境。因此，用户可以使用现有的物理和空间技能来识别经过变换的环境并与其交互。

图3A-3C图示增强现实、虚拟现实和由变换模块204执行的动态可视化之间的区别。图3A图示示例性增强现实应用的屏幕截图，在其中因为没有理解环境中的几何形状信息，所以增强现实的雪看起来被粘贴在真实世界视频的上面。图3B图示示例性虚拟现实效果的屏幕截图，在其中虚拟现实的雪效果没有映射到真实世界。图3C图示由变换模块204执行的虚拟效果。如图3C中所示，因为几何世界被计算所以雪被累积在对象的上面。在一个实施例中，雪的量会反映数据（例如传感器、视频游戏数据等等）。

根据一个实施例，动态可视化包括几何操作方案。几何变换指的是基于来自深度处理模块201的现有几何信息的场景修改、移除、动画制作和/或添加。在例如音乐中，场景的3D几何结构可以被动态调制以匹配可视化意图。该调制可以包括几何形状基于数据的位移、变形、添加或移除以可视化（例如你的书桌表面可能是变形的以对拓扑地形数据建模）。几何结构信息可以包括体积、网格和点云数据。

在另一实施例中，可以经由在体积/网格/点云上直接进行操作或者经由顶点着色器来实现几何操作。顶点着色器操作利用处理资源并且计算更高效。返回参考图3C，几何变换被示出以使得雪的量取决于几何信息（例如这种情况下表面法线）和要被可视化的数据源。此外，使用顶点着色器来实现雪的效果。因此，基于顶点的当前位置和法线来使顶点位移。位移的量还取决于要被可视化的数据。

在另一实施例中，视觉操作可以包括接收用于几何形状的对应纹理信息的纹理操作。纹理信息使得用户能够识别可视化信息和真实世界环境之间的连接。在一个实施例中，现场/关键帧纹理投影或测定体积（顶点）颜色获取被用于检索信息。除了意图传达可视化的纹理修改之外，纹理操作还可以能够包括将红-绿-蓝（RGB）颜色数据投影在模型上（例如重新着色以示出空间或时间温度数据）。因此，纹理操作提供可视化效果和真实世界环境的现场RGB信息之间的平衡。

在另一实施例中，通过重叠、添加、移除和混合颜色信息并改变UV映射（例如制作3D模型的表面的二维（2D）图像表示的三维（3D）建模过程）来实现纹理操作。在此类实施例中，纹理操作是使用RGB相机视频和模型的其他累积的颜色信息。图6A图示根据一个实施例的纹理操作实现的屏幕截图。在该示例中，基于音乐分析结果来改变现场视频上的纹理颜色。在一个实施例中，某一光谱中的较大量值示出绿色比紫色更多，同时使反映音乐数据的颜色和来自现场RGB相机馈送的颜色成倍增加。

在又另一实施例中，还可以在关于对齐-深度图（其可以被用于直接视觉效果或者作为一种降低用于直接模型操作的计算复杂性的方法）的图像空间中发生操作。例如，如果物理模拟（诸如轨迹）是在3D空间中可视化的，则使碰撞点之外的区域散焦或去饱和可能是值得期望的。如果可视化的意图是视频游戏，则后处理效果可能被用于利用不同的材料重新渲染现有对象（例如一旦建筑物被对方团队‘标示’它就突然表现为石头）。另一示例是将改变在可视化中传达的呈现和气氛的动态照明。

另一视觉变换过程具有基于图像的后处理的特征。图4图示后处理流水线的一个实施例。在一个实施例中，包括在深度处理模块201内的数据库410内的重构体积提供数据（例如深度、法线、辅助存储的数据、分割等等）来实现变换模块204内的渲染流水线415，以在图像空间中执行场景操作。这允许现有环境的丰富视觉变换。在另一实施例中，将辅助的每体素数据从数据库410传送到体积分割416处的分割图内以投影到图像空间内。随后，在后处理着色和合成模块417处分别从渲染流水线415和体积分割模块416接收光栅输出和深度图像图以用于进行合成。

根据一个实施例，可视化映射逻辑202可以在用户接口203处经由用户交互来接收偏好。因此，由于数据被渲染以映射环境，所以用户可以利用它们现有的身体和空间技能来与可视化自然地交互。例如，用户将他们的视角从左移动到右可以映射到在不同时间段中的科学数据收集。另一示例是用户向麦克风讲话将在音乐可视化期间在空间中发出“冲击波”。利用环境中的可视化，用户体验和交互变得更自然且身临其境。

图5图示根据一个实施例用于促进计算设备100处的映射可视化的过程。可以由处理逻辑来执行该过程，该处理逻辑可包括硬件（例如电路、专用逻辑、可编程逻辑等等）、软件（诸如在处理设备上运行的指令）、或其组合。在一个实施例中，可以由图1的映射可视化机构110来执行该过程。为了陈述清楚和简洁，可以以线性顺序来图示该过程；然而，预期可以以并行、异步或不同顺序来执行任何数目的它们。为了简洁起见，在下文中可以不讨论或重复参考图1-4讨论的许多细节。

在处理块510处，深度处理模块201从深度感测设备211获取RGB-D图像。在处理块520处，深度处理模块201将RGB-D图像数据处理成实时3D重构模型。然而，在其他实施例中，数据可以被处理成经过良好滤波的深度图。在处理块530处，渲染和视觉变换204根据一些数据集（例如音乐、空间、财务等等）上的期望可视化映射逻辑201直接操作和/或动态渲染模型。在处理块540处，最终结果被渲染以用于计算设备110处的显示器213。在各种实施例中，显示器213可以被实施为透视眼镜显示器、平板电脑、虚拟现实头盔或其他显示设备。图6B图示虚拟现实实现。

图7图示计算系统700的实施例。计算系统700表示一系列计算和电子设备（有线或无线的），包括例如桌上型计算系统、膝上型计算系统、蜂窝电话、个人数字助理（PDA）（包括蜂窝使能的PDA）、机顶盒、智能电话、平板电脑等等。可替代计算系统可以包括更多、更少和/或不同部件。计算设备700可以是与计算设备100相同或相似的或者包括计算设备100，如参考图1和2所描述的。

计算系统700包括总线705（或者例如传达信息的链路、互连或其他类型的通信设备或接口）和耦合到总线705的处理器710（其可处理信息）。尽管用单个处理器来图示计算设备700，但是电子系统700且可以包括多个处理器和/或协处理器，诸如中央处理器、图形处理器和物理处理器等等中的一个或多个。计算系统700还可以包括随机存取存储器（RAM）或其他动态存储设备720（被称为主存储器），其耦合到总线705并且可以存储由处理器710执行的指令和信息。主存储器720还可以在由处理器710执行指令期间用于存储临时变量或其他中间信息。

计算系统700还可以包括耦合到总线705的只读存储器（ROM）和/或其他存储设备730，其可以存储用于存储器710的静态信息和指令。数据存储设备740可以被耦合到总线705以存储信息和指令。数据存储设备740（诸如磁盘或光盘）并且对应驱动器可以被耦合到计算系统700。

计算系统700还可以经由总线705耦合到显示设备750（诸如阴极射线管（CRT）、液晶显示器（LCD）或有机发光二极管（OLED）阵列），以将信息显示给用户。用户输入设备760（包括字母数字和其他按键）可以被耦合到总线705以将信息和命令选择传达给处理器710。另一类型的用户输入设备760是光标控制770，诸如鼠标、轨迹球、触摸屏、触摸板或光标方向按键，以将方向信息和命令选择传达给处理器710并且控制显示器750上的光标移动。计算机系统700的相机和麦克风阵列790可以被耦合到总线705，以观察姿势、记录音频和视频、以及接收和传送视觉和音频命令。

计算系统700还可以包括（一个或多个）网络接口780以提供对网络的访问，该网络诸如局域网（LAN）、广域网（WAN）、城域网（MAN）、个人区域网（PAN）、蓝牙、云网络、移动网络（例如第三代（3G）等等）、内联网、因特网等等。（一个或多个）网络接口780可以包括例如具有天线785的无线网络接口，其可以表示一个或多个天线。（一个或多个）网络接口780还可以包括例如经由网络电缆787与远程设备通信的有线网络接口，该网络电缆787可以是例如以太网电缆、同轴电缆、光纤电缆、串行电缆或并行电缆。

（一个或多个）网络接口780可以提供对LAN的访问，例如通过遵循IEEE 802.11b和/或IEEE 802. llg标准，并且/或者无线网络接口可以提供对个人区域网的访问，例如通过遵循蓝牙标准。还可以支持其他无线网络接口和/或协议，包括先前的和后续版本的标准。

除经由无线LAN标准的通信之外或者代替经由无线LAN标准的通信，（一个或多个）网络接口580的通信可以使用例如时分多址（TDMA）协议、全球移动通信系统（GSM）协议、码分多址（CDMA）协议、和/或任何其他类型的无线通信协议来提供无线通信。

（一个或多个）网络接口780可以包括一个或多个通信接口（诸如调制解调器、网络接口卡）或其他公知接口设备（诸如用于耦合到以太网、令牌环或其他类型的物理有线或无线附件以用于例如提供支持LAN或WAN的通信链路的目的的那些接口设备）。以这种方式，计算机系统还可以经由传统网络基础设施（包括例如内联网或因特网）耦合到许多外围设备、客户端、控制面、控制台或服务器。

要认识到，对于某些实施方式可能优选比上述示例更少或更多的装备系统。因此，计算系统700的配置可以根据许多因素（诸如价格约束、性能要求、技术改进或其他境况）而随着实施方式改变。电子设备或计算机系统700的示例可以包括但不限于移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手机、单向寻呼机、双向寻呼机、消息传送设备、计算机、个人计算机（PC）、桌上型计算机、膝上型计算机、笔记本计算机、手持式计算机、平板电脑计算机、服务器、服务器阵列或服务器农场、万维网服务器、网络服务器、因特网服务器、工作站、迷你计算机、主框架计算机、超级计算机、网络家电、万维网家电、分布式计算系统、多处理器系统、基于处理器的系统、消费类电子产品、可编程消费类电子产品、电视、数字电视、机顶盒、无线接入点、基站、用户站、移动用户中心、无线电网络控制器、路由器、集线器、网关、桥接器、交换机、机器或其组合。

实施例可以被实施为以下各项中的任一个或组合：使用母板互连的一个或多个微芯片或集成电路、硬接线逻辑、由存储器设备存储且由微处理器执行的软件、固件、专用集成电路（ASIC）、和/或现场可编程门阵列（FPGA）。以示例的方式术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。

实施例可以被提供为例如计算机程序产品，其可以包括其上存储有机器可执行指令的一个或多个机器可读介质，机器可执行指令当被诸如计算机、计算机的网络或其他电子设备之类的一个或多个机器执行时，可能导致该一个或多个机器实施根据这里描述的实施例的操作。机器可读介质可以包括但不限于软式磁盘、光盘、CD-ROM（压缩盘-只读存储器）、和磁光盘、ROM、RAM、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁或光卡、闪速存储器、或适用于存储机器可执行指令的其他类型的介质/机器可读介质。

此外，实施例可以被下载为计算机程序产品，其中可以通过以载波具体化和/或由载波调制的一个或多个数据信号或者经由通信链路（例如调制解调器和/或网络连接）的其他传播介质将该程序从远程计算机（例如服务器）传递到请求计算机（例如客户端）。

对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等等的参考指示这样描述的（一个或多个）实施例可以包括特定特征、结构或特性，但是不是每个实施例都必须包括该特定特征、结构或特性。此外，一些实施例可以具有对于其他实施例描述的特征中的一些、所有或者不具有它们。

在下面的描述和权利要求中，可以使用术语“耦合”连同其派生词。“耦合”被用来指示彼此合作或交互的两个或更多元件，但是它们可以具有或不具有它们之间的介入物理或电气部件。

如在权利要求中所使用的，除非以其他方式明确指出，描述通用要素的序数词“第一”、“第二”、“第三”等等的使用仅仅指示提到相似要素的不同实例，并且不意图暗示如此描述的要素必须处于给定顺序，或者在时间、空间上排序的或者以任何其他方式。

以下条款和/或示例关于其他实施例或示例。示例中的细节可以在一个或多个实施例中的任何地方使用。不同实施例或示例的各种特征可以与所包括的一些特征和被排除的其他以各种不同方式组合以适合各种各样不同的应用。示例可以包括诸如方法、用于执行方法的动作的装置、至少一个机器可读介质（其包括当被机器执行时促使该机器执行方法的动作的指令）、或者用于促进根据这里描述的实施例和示例的混合通信的设备或系统的主题。

一些实施例关于示例1，其包括一种装置，该装置包括：深度感测设备，用于获取图像和深度数据；深度处理模块，用于从深度感测设备接收图像和深度数据并将该图像和深度数据处理成环境的实时三维（3D）重构模型；渲染和视觉变换模块，用于基于数据集操作模型、纹理和图像；以及用户接口，用于通过利用现有的空间和物理技能来实现与经过渲染的可视化的用户交互。

示例2包括示例1的主题，其中该深度处理模块将图像和深度数据处理成经过良好滤波的深度图。

示例3包括示例1和2的主题，其中该渲染和视觉变换模块进一步动态地渲染该模型。

示例4包括示例1-3的主题，其中该渲染和视觉变换执行几何操作以调制3D几何形状来匹配可视化意图。

示例5包括示例1-4的主题，其中该渲染和视觉变换执行纹理操作以为三维几何形状提供纹理信息。

示例6包括示例1-5的主题，其中该渲染和视觉变换执行基于后处理图像的操作。

示例7包括示例6的主题，其中该深度处理模块包括：姿态估计模块，用于在基于后处理图像的操作期间传送数据；以及重构体积。

示例8包括示例7的主题，其中该渲染和视觉变换包括渲染流水线，用于从色调估计模块和重构体积接收数据。

示例9包括示例8的主题，其中该渲染和视觉变换还包括体积分割模块，用于从重构体积接收数据。

示例10包括示例1-9的主题，还包括可视化映射逻辑，用于基于可视化意图和用户偏好来分配变换并且将该变换传送给渲染和视觉变换模块。

示例11包括示例1-10的主题，还包括显示设备，用于显示经过渲染的模型。

一些实施例关于示例12，其包括一种方法，该方法包括：获取深度图像数据，将图像数据处理成实时三维（3D）重构模型，操作数据集上的模型、纹理和图像，渲染经过修改的模型、纹理和图像以用于显示，以及基于现有的空间和物理技能支持与显示器的交互。

示例13包括示例12的主题，其中该处理包括将深度图像数据处理成经过良好滤波的深度图。

示例14包括示例12和13的主题，还包括动态渲染模型。

示例15包括示例12-14的主题，其中处理深度图像数据包括执行几何操作以调制3D几何形状来匹配可视化意图。

示例16包括示例12-15的主题，其中处理深度图像数据包括执行纹理操作以为三维几何形状提供纹理信息。

示例17包括示例12-16的主题，其中处理深度图像数据包括执行基于后处理图像的操作。

示例18包括示例12-17的主题，还包括基于可视化意图和用户偏好来分配变换以及将变换传送给渲染和视觉变换模块。

示例19包括示例12-18的主题，还包括显示经过渲染的模型。

一些实施例关于示例20，其包括一种计算机可读介质，该计算机可读介质具有当被处理器执行时促使该处理器执行权利要求12-19所述的方法的指令。

一些实施例关于示例21，其包括一种系统，该系统包括：用于获取深度图像数据的装置，用于将图像数据处理成实时三维（3D）重构模型的装置，用于操作数据集上的模型、纹理和图像的装置，用于渲染经过修改的结果以用于显示的装置，以及用于基于现有的空间和物理技能支持与显示器的交互的装置。

示例22包括示例21的主题，其中用于处理的装置包括将深度图像数据处理成经过良好滤波的深度图。

示例23包括示例21和22的主题，还包括用于动态渲染模型的装置。

示例24包括示例21-23的主题，其中用于处理深度图像数据的装置包括执行几何操作以调制3D几何形状来匹配可视化意图。

示例25包括示例21-24的主题，其中用于处理图像数据的装置包括执行纹理操作以为三维几何形状提供纹理信息。

一些示例关于示例26，其包括一种计算机可读介质，其具有当被处理器执行时促使该处理器执行以下动作的指令：获取深度图像数据，将图像数据处理成实时三维（3D）重构模型，操作数据集上的模型、纹理和图像，渲染经过修改的结果以用于显示，以及基于现有的空间和物理技能支持与显示器的交互。

示例27包括示例26的主题，其中该处理包括将深度图像数据处理成经过良好滤波的深度图。

示例28包括示例26和27的主题，具有当被处理器执行时促使该处理器进一步执行动态渲染模型的指令。

示例29包括示例26-28的主题，其中处理深度图像数据包括执行几何操作以调制3D几何形状来匹配可视化意图。

示例30包括示例26-29的主题，其中处理图像数据包括执行纹理操作以为三维几何形状提供纹理信息。

示例31包括示例26-30的主题，其中处理深度图像数据包括执行基于后处理图像的操作和渲染。

示例32包括示例26-31的主题，具有当被处理器执行时促使该处理器进一步执行基于可视化意图和用户偏好来分配变换以及将变换传送给渲染和视觉变换模块的指令。

示例33包括示例26-32的主题，具有当被处理器执行时促使该处理器进一步执行显示经过渲染的模型的指令。

附图和前面的描述给出实施例的示例。本领域技术人员将会认识到，所述要素中的一个或多个可以很好地组合到单个功能要素中。可替代地，某些要素可以被分成多个功能要素。来自一个实施例的要素可以被添加到另一实施例。例如，这里描述的过程的顺序可以被改变并且不限于这里描述的方式。此外，既不需要以所示的顺序来实施任何流程图中的动作，也不需要必需执行所有动作。而且，不依赖于其他动作的那些动作可以与其他动作并行执行。绝不通过这些具体示例来限制实施例的范围。诸如材料的结构、尺寸和使用的差别的许多变化（不管是否在说明书中明确给出）是可能的。实施例的范围至少与后面的权利要求给出的一样广泛。

Claims (25)

1.一种装置，其包括：

深度感测设备，用于获取图像和深度数据；

深度处理模块，用于从深度感测设备接收图像和深度数据并将该图像和深度数据处理成环境的实时三维（3D）重构模型；

渲染和视觉变换模块，用于基于数据集操作模型、纹理和图像；以及

用户接口，用于通过利用现有的空间和物理技能来实现与经过渲染的可视化的用户交互。

2.根据权利要求1所述的装置，其中该深度处理模块将图像和深度数据处理成经过良好滤波的深度图。

3.根据权利要求1所述的装置，其中该渲染和视觉变换模块进一步动态地渲染该模型。

4.根据权利要求1所述的装置，其中该渲染和视觉变换执行几何操作以调制3D几何形状来匹配可视化意图。

5.根据权利要求1所述的装置，其中该渲染和视觉变换执行纹理操作以为三维几何形状提供纹理信息。

6.根据权利要求1所述的装置，其中该渲染和视觉变换执行基于后处理图像的操作。

7.根据权利要求6所述的装置，其中该深度处理模块包括：

姿态估计模块，用于在基于后处理图像的操作期间传送数据；以及

重构体积。

8.根据权利要求7所述的装置，其中该渲染和视觉变换包括渲染流水线，用于从色调估计模块和重构体积接收数据。

9.根据权利要求8所述的装置，其中该渲染和视觉变换还包括体积分割模块，用于从重构体积接收数据。

10.根据权利要求1所述的装置，还包括可视化映射逻辑，用于基于可视化意图和用户偏好来分配变换并且将该变换传送给渲染和视觉变换模块。

11.根据权利要求1所述的装置，还包括显示设备，用于显示经过渲染的模型。

12.一种方法，其包括：

获取深度图像数据；

将图像数据处理成实时三维（3D）重构模型；

操作数据集上的模型、纹理和图像；

渲染经过修改的模型、纹理和图像以用于显示；以及

基于现有的空间和物理技能支持与显示器的交互。

13.根据权利要求12所述的方法，其中该处理包括将深度图像数据处理成经过良好滤波的深度图。

14.根据权利要求12所述的方法，还包括动态渲染模型。

15.根据权利要求12所述的方法，其中处理深度图像数据包括执行几何操作以调制3D几何形状来匹配可视化意图。

16.根据权利要求12所述的方法，其中处理深度图像数据包括执行纹理操作以为三维几何形状提供纹理信息。

17.根据权利要求12所述的方法，其中处理深度图像数据包括执行基于后处理图像的操作。

18.根据权利要求12所述的方法，还包括：

基于可视化意图和用户偏好来分配变换；以及

将变换传送给渲染和视觉变换模块。

19.根据权利要求12所述的方法，还包括显示经过渲染的模型。

20.一种计算机可读介质，其具有当被处理器执行时促使该处理器执行权利要求12-19所述的方法的指令。

21.一种系统，其包括：

用于获取深度图像数据的装置；

用于将图像数据处理成实时三维（3D）重构模型的装置；

用于操作数据集上的模型、纹理和图像的装置；

用于渲染经过修改的结果以用于显示的装置；以及

用于基于现有的空间和物理技能支持与显示器的交互的装置。

22.根据权利要求21所述的系统，其中用于处理的装置包括将深度图像数据处理成经过良好滤波的深度图。

23.根据权利要求21所述的系统，还包括用于动态渲染模型的装置。

24.根据权利要求21所述的系统，其中用于处理深度图像数据的装置包括执行几何操作以调制3D几何形状来匹配可视化意图。

25.根据权利要求21所述的系统，其中用于处理图像数据的装置包括执行纹理操作以为三维几何形状提供纹理信息。