CN106104634A - 物理的3d渲染器 - Google Patents

物理的3d渲染器 Download PDF

Info

Publication number
CN106104634A
CN106104634A CN201580012107.0A CN201580012107A CN106104634A CN 106104634 A CN106104634 A CN 106104634A CN 201580012107 A CN201580012107 A CN 201580012107A CN 106104634 A CN106104634 A CN 106104634A
Authority
CN
China
Prior art keywords
depth
physics
image
topology
replicated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580012107.0A
Other languages
English (en)
Other versions
CN106104634B (zh
Inventor
P·塞里恩
M·辛克莱尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106104634A publication Critical patent/CN106104634A/zh
Application granted granted Critical
Publication of CN106104634B publication Critical patent/CN106104634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/06Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes for surveying; for geography, e.g. relief models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

本文中所描述的物理3D渲染器将一个或多个被捕获的深度图像渲染为物理3D渲染。物理3D渲染器可以实时渲染物理3D表面和结构。在一个实施例中,3D渲染器从被捕获的图像中创建物理三维(3D)拓扑表面。为此,(例如,从深度相机或深度传感器)接收将被复制的表面或结构的深度图像。确定在与深度图像中的点相对应的点的密集分布处的深度信息。在一个实施例中,对应于深度图像的深度信息被馈送到阵列中的滑动轴上的致动器。每个滑动轴被调节到深度图像中的深度以创建像将被复制的表面或结构的物理3D拓扑表面。

Description

物理的3D渲染器
背景技术
在计算机图形学中,三维(3D)建模是通过将对象的表面定义为在数学术语中的3D模型的专用软件来开发三维对象的数学表示的过程。3D模型可以通过被称为3D渲染的过程而作为二维图像被显示在计算机显示器上。
用于3D计算机建模的模型可以是手动或自动创建并且通常使用由几何形状所连接的空间中的点来代表3D对象。
因为3D模型允许以成本有效和及时的方式将复杂的对象可视化,所以它们在许多不同的领域有用。例如,运动图像和娱乐行业使用3D模型来为运动图像和电脑游戏创建动画人物,而医疗行业使用模型来创建器官的详细模型。化学家经常建模化合物,并且工程界也经常建模新设备和结构的原型。除了这些针对3D模型的应用之外,3D地理模型已经被地球科学界使用了多年。
发明内容
提供本发明内容以便以简化形式介绍在下文的详细描述中被进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或者基本特征,其也不旨在用于限制所要求保护的主题的范围。
本文中所描述的物理3D渲染器将一个或多个所捕获的图像渲染为物理3D渲染。物理3D渲染器可以实时渲染物理3D表面和结构。在一个实施例中,3D渲染器从所捕获的图像中创建物理三维(3D)拓扑表面。为此,(例如,从深度相机或深度传感器)接收将被复制的表面或结构的深度图像。确定在与深度图像中的点对应的点的密集分布处的深度信息。在一个实施例中,对应于深度图像的深度信息被馈送到阵列中的滑动轴上的致动器。每个滑动轴被调节到深度图像中的深度以创建像将被复制的表面或结构的物理3D拓扑表面。
在物理3D渲染器的一个实施例中,由覆盖有外皮的空气喷头的阵列创建图像的物理3D渲染。在物理3D渲染器的这个实施例中,接收将被复制的结构或表面的深度图像。确定在与深度图像中的点对应的点的密集分布处的深度信息。将深度信息馈送到覆盖有外皮的空气喷头阵列,并且基于深度信息来调节通过阵列中的每个空气喷头输出的加压空气流以偏转外皮表面从而创建3D拓扑结构,3D拓扑结构构成将被复制的结构或表面的镜像。类似地,在3D渲染器的一些实施例中,加压气体可以被馈送到覆盖有外皮的囊或气球的阵列中。气球可被充气和放气,以创建特定的3D形状。
通过使用第二深度相机(或附加的深度相机或传感器)来观察被渲染的表面的正面或背面并且将其与由第一深度相机所捕获的图像进行比较,可以验证被渲染的拓扑以获得更高的精确度。从相机所拍摄的图像之间的深度差异可以被用来相应地调节所创建的3D拓扑表面。
附图说明
考虑下面的描述、所附的权利要求和附图,本公开内容的具体特征、方面和优点将变得更好理解,其中:
图1描绘了物理3D渲染器如何可被用来创建镜像被复制的表面的物理3D拓扑结构或表面的一个实施例的示意图。
图2描绘了用于实践本文中所描述的物理3D渲染器的一个示例性实施例的过程的流程图。
图3描绘了用于实施本文中所描述的物理3D渲染器的另一示例性实施例的过程的流程图。
图4描绘了用于实践本文中所描述的物理3D渲染器的又一个示例性实施例的系统的示意图。
图5示出了可以在本文中所描述的物理3D渲染器的一个实施例中使用的示例性相机系统。
图6是可用于实践物理3D渲染器的示例性计算环境的示意图。
具体实施方式
在物理3D渲染器的以下描述中参考了附图,附图形成说明书的一部分,并且通过图示示例的方式示出,通过图示示例可以实践本文中所描述的物理3D渲染器。但是应该理解的是,可以利用其它实施例并且可以进行结构变化而未脱离所要求保护的主题的范围。
1.0物理3D渲染器
以下部分提供了对物理3D渲染器以及用于实施物理3D渲染器的过程和系统的示例性实施例的介绍。还提供了实时物理3D渲染器的各种实施例和部件的细节。
作为初步事项,随后的一些附图描述了在一个或多个结构部件的上下文中的概念,所述结构部件被不同地称为功能、模块、特征、元件等。附图中所示的各种部件可以以任何方式实现。在一种情况下,附图中的各种部件被示为分成不同的单元可以反映对应的不同的部件在实际实现中的使用。可替代地或另外地,附图中所图示的任何单个部件可由多个实际部件来实现。可替代地或另外地,附图中的任何两个或更多分离部件的描绘可以反映由单个实际部件所执行的不同的功能。
其它附图以流程图的形式描述了概念。以这种形式,某些操作被描述为构成以特定顺序被执行的不同的块。这样的实现是说明性的和非限制性的。本文描述的某些块可被归组在一起并且在单个操作中被执行,某些块可以被拆开分为多个部件块,并且某些块可以以与本文中示出的顺序不同的顺序来被执行(包括执行块的并行方式)。在流程图中所示出的块可以以任何方式被实现。
1.1介绍
本文描述的物理3D渲染器可以基于实时图像(例如深度图像)反馈来创建3D拓扑结构或表面。在一个实施例中,3D拓扑结构模仿3D镜子,其中,人走向它并且它们的深度“图像”例如由根据它们的面部特征的高度而在高度上变化的轴或柱阵列来渲染。
图1提供了物理3D渲染的一个实施例可以如何被运用的描述。如图1中所示,第一相机系统102捕获将将被复制的表面或结构的深度图像。在此描绘中,第一相机102捕获人的头部104的前视图的深度图像。来自深度图像的深度信息被馈送到在阵列106中的滑动轴或柱上的致动器。每个轴/后高度随着由第一相机系统所捕获的特征的深度而变化。
图1中所示的实施例的许多变化是可能的。例如,阵列的滑动轴/柱可以被外皮覆盖,例如拉伸织物或弹性体108。
此外,第二相机110可以被用来验证滑动轴的深度(例如从阵列的背面)。为此,深度图像/信息由第二相机110捕获并且与由第一深度相机102所拍摄的将被复制的表面的深度图像(例如,人的头部104)进行比较以验证轴的深度准确地模仿了将被复制的表面。如果存在差异,则可以调节滑动轴的深度。
第一相机102和将被复制的表面104通常共位(co-located),但是所创建的物理3D拓扑结构/表面和第二相机110可以位于远离将被复制的表面104的位置。来自将被复制的第一相机/表面的位置的数据(未示出)可以使用网络向远程位置转送。
1.2.3用于实践物理3D渲染器的示例性过程
下面的段落描述了用于实践物理3D渲染器的各种示例性过程。
图2描绘了用于实践本文中所描述的物理3D渲染器的示例性过程200。物理3D渲染器从寻求被复制的表面的一个或多个深度图像来创建物理三维(3D)拓扑表面。
如在块202中所示,将被复制的表面或结构的深度图像被接收。将被复制的表面或结构的深度图像可以由具有深度相机或深度传感器的相机系统(比如示例性相机系统500,这将相对于图5更详细地讨论)来获取。深度图像例如可以从表面或结构的前视点被复制。将被复制的表面或结构例如可以是人的脸部或对象。
如块204中所示,在与深度图像中的点对应的点的密集分布处的深度信息被确定。在一些实施例中,捕获深度图像的相机系统计算此深度信息。
如块206中所示,在点的密集分布处的深度信息被馈送到阵列中与深度信息的位置对应的滑动轴上的致动器。可以通过针对对应于由第一相机(例如,前视图相机)所拍摄的深度图像中的位置的深度创建查找表并且将此查找表与从阵列的背面所拍摄的类似查找表进行比较,来确定深度图像和在阵列上的点之间的对应关系。可以比较由两个相机所测量的深度。在查找表中的深度值之间的差异可以被反馈给任何致动器,针对该任何致动器两个查询表不同意更正位置,直到该两个表同意。因此,每个滑动轴被调节到深度图像中的深度以创建将被复制的表面或结构类似的物理3D拓扑表面或结构,如块208中所示。在物理3D渲染器的一个实施例中,一个以上的轴可以被每个致动器控制。
在物理3D渲染器的一个实施例中,气动(pneumatics)被用于调节轴的深度。在物理3D渲染器的另一个实施例中,压电致动器被用于调节轴的深度。在物理3D渲染器的又一实施例中,伺服被用于调节轴的深度。本领域的普通技术人员将认识到,存在调节阵列中的轴的深度的许多可能的方式。
在物理3D渲染器的一个实施例中,滑动轴的间距确定所创建的3D拓扑表面的分辨率。与如果具有较少的轴并且轴之间具有较大的间距相比,当有更紧密地位于一起的更多的轴时所创建的3D拓扑表面的分辨率将越大,并且所创建的3D拓扑表面将能够显示更多细节。在一个实施例中,轴阵列具有紧间距以提供高的分辨率。在其它实施例中,对于较大的结构或表面,伺服驱动组件可被用于以较低的分辨率来渲染这些大型结构或表面。
在3D渲染器的一些实施例中,轴的远端可以在其上具有端盖以提供光滑的表面。端盖例如可以是圆形或者它们可以是正方形或长方形。
在物理3D渲染器的一个实施例中,滑动轴覆盖有外皮。外皮可用来平滑所创建的3D拓扑表面的表面,以更加类似于将被复制的表面。在物理3D渲染器的一个实施例中,通过将彩色的图像投影到外皮的表面上来着色外皮的表面。例如,将被复制的表面的彩色图像可以在深度图像被捕获的同时被相机系统所拍摄。彩色图像然后可以在所创建的物理3D拓扑表面被配置为代表相应的深度图像的同时被投影到阵列或阵列的外皮上。
在物理3D渲染器的一些实施例中,阵列中的至少一个轴并且可能所有的轴包含用以从所述轴的远端发出光的在轴内的至少一个发光源。在一些实施例中,发光源可以发射彩色的光。在物理3D渲染器的一些实施例中,三个光源位于轴中,一个红色,一个绿色和一个蓝色。这允许所创建的物理3D拓扑表面通过以类似于在像素颜色调和中使用的方式混合各轴中的颜色来被着色为任何颜色或颜色的组合。例如,所创建的物理3D拓扑表面可以被着色以匹配将被复制的表面的颜色。
当新的深度图像和/或新的深度信息被接收时,所创建的物理3D拓扑表面被更新以反映新的深度信息,如块210中所示。在3D渲染器的一个实施例中,可以实时更新3D拓扑表面以反映新的深度信息。
在物理3D渲染器的一些实施例中,所创建的3D拓扑表面通过拍摄它的一个或多个深度图像并且将这些与所拍摄的将被复制的表面的深度图像中的深度信息进行比较来验证。所拍摄的创建的3D拓扑表面的一个或多个深度图像可从不同的视点来拍摄,比如例如从所创建的3D拓扑表面的背面或从它的一侧来拍摄。然后,这些附加的深度图像可以被用来验证轴的深度对应于来自将被复制的表面的图像的深度信息。如果存在差异,则可以调节所创建的物理3D拓扑表面的滑动轴的深度以适当地反映将被复制的表面的深度。例如,在一个实施例中,利用深度相机从所渲染的物理3D拓扑表面的前视图中测量每个“像素”位置并且将其与由另一深度相机从所渲染的物理3D拓扑表面的背面所拍摄的捕获的图像中的值进行比较。用于每个图像/相机的查找表可以被创建并且被比较以调节每个滑动轴至适当的深度。
图3描绘了用于实践物理3D渲染器的另一实施例的另一示例性过程300。如块302中所示,将被复制的结构的深度图像被接收。
在与深度图像中的点对应的点的密集分布处的深度信息被确定,如块304中所示。深度信息被馈送到覆盖有外皮的空气喷头的阵列,如块306中所示。如块308中所示,基于深度信息调节由阵列中的每一空气喷头输出的加压空气流以偏转外皮的表面来创建3D拓扑结构。本领域的普通技术人员将认识到:除了空气之外还可以使用许多其它类型的压缩气体来偏转外皮的表面。
在物理3D渲染器的一个实施例中,喷头的间距确定所创建的3D拓扑表面的分辨率。与如果具有喷头之间间距更大间距的较少喷头相比,当有紧密地位于一起的更多喷头时,所创建的3D拓扑表面的分辨率更大,并且所创建的3D拓扑表面能够显示出更多的细节。
在物理3D渲染器的一个实施例中,通过将彩色的图像投影到覆盖该空气喷头的外皮的表面来对外皮的表面着色。
在物理3D渲染器的一些实施例中,至少一个喷头以及可能所有的喷头与从各喷头发出光的至少一个发光源相关联。发光源可以是彩色的。在物理3D渲染器的一些实施例中,三个光源位于每个喷头中或者与每个喷头相关联,例如,一个红色、一个绿色和一个蓝色。这允许所创建的物理3D拓扑表面被着色成任何颜色或颜色的组合。例如,所创建的物理3D拓扑表面可以被着色以匹配将被复制的表面的颜色。在这些实施例中,为了让光亮通过外皮,外皮可为稍微透明的。
当接收到新的深度图像和/或新的深度信息时,更新物理3D拓扑表面以反映新的深度信息,如块310中所示。在3D渲染器的一个实施例中,可以实时更新3D拓扑表面以反映新的深度信息。
在物理3D渲染器的一些实施例中,可以拍摄所创建的物理3D拓扑表面的一个或多个附加的深度图像,以验证所创建的物理3D拓扑表面或结构匹配将被复制的表面/结构。然后,此附加的深度图像可被用于调节引起外皮的位移的轴的空气压力。例如,第二深度相机或传感器可以被用来从所创建的物理3D拓扑表面的正面、侧面或背面获得深度信息并且来自这些图像的深度信息可与所取得的将被复制的表面的深度信息进行比较。如果存在差异,则所创建的物理3D拓扑表面的深度可以通过调节喷头的压力来进行调节。
已经描述了用于实践物理3D渲染器的示例性过程,下一章节描述了可以用于实践本技术的示例性系统。
1.2.4用于实践实时物理3D渲染器的示例性系统
图4示出了用于实践本文中所描述的物理3D渲染器的一个实施例的说明性系统400。第一相机系统402(其包括深度相机或深度传感器408和可选的RGB相机410或类似相机)捕获将被复制的表面406的深度图像(或深度信息)404。在深度图像内的点处的深度信息可由第一相机系统402来计算,例如在相机系统402中的图像处理模块中。深度信息可以被发送到驻留在计算设备600上的3D拓扑计算模块412,诸如将相对于图6而被更详细地讨论的。可选地,将被复制的表面406的深度图像404可以被发送到3D拓扑计算模块412,在其中深度确定模块414确定与深度图像内的点对应的深度信息。针对其的深度信息被计算的点的分布可以是相当密集的,从而所创建的3D物理拓扑表面的拓扑结构被详细化并且反映将被复制的表面406。深度图像或深度信息404可以通过网络416被发送到3D拓扑计算模块412并且3D拓扑计算模块412驻留在其上的计算设备600可以驻留在计算云上。所捕获的一个或多个深度图像404可以经由通信链路而被传输到系统,通信链路诸如例如无线链路或其它通信链路。
针对从相机系统402所接收的每个深度图像404计算将被复制的表面的深度信息。(在点的密集分布处的)深度信息被馈送到3D拓扑计算模块412,在其中深度命令模块418向阵列420馈送在与将被复制的表面对应的点的密集分布处的深度信息。阵列420渲染物理3D拓扑表面或结构,从而它如先前所讨论的那样模仿将被复制的表面406。阵列420例如可以是布置在壳体内的滑动轴的阵列,或者可以是偏转外皮的表面的加压空气喷头阵列。在滑动轴的阵列的情况下,深度信息被馈送到阵列420中的滑动轴的致动器上。使用致动器将阵列420的每个滑动轴调节到深度图像中的它的相应的一个或多个点的深度,以创建像将被复制的表面的3D物理拓扑表面。
通过使用一个或多个附加的相机或深度传感器来验证所创建的3D拓扑表面匹配将被复制的表面的拓扑,从而被渲染的物理3D拓扑可以被验证以获得更高的精度。例如,第二深度相机422可被用来捕获由阵列420所创建的被渲染的物理3D拓扑表面的一个或多个深度图像424并且将这些深度图像与由第一深度相机捕获的将被复制的表面的一个或多个图像进行比较。可以在深度调节模块426中相应地调节由两个相机系统402,422所拍摄的图像404,424之间的深度差异,从而由阵列420所配置的所创建的物理3D拓扑表面精确地代表将被复制的表面406。
如前文所讨论的那样,在物理3D渲染器的一些实施例中,创建3D拓扑表面的阵列420覆盖有外皮,该3D拓扑表面模仿将被复制的表面406。在物理3D渲染器的一些实施例中,投影器428将灰度或彩色图像430投影到阵列420(或阵列的外皮)上以对被设置来代表将被复制的表面的阵列进行着色。从深度命令模块418所发送的深度命令以及彩色/灰度图像430可以通过第二网络432被发送。
1.3各种部件和实施例的细节
用于实践3D物理渲染器的示例性过程和系统已被呈现,下面的段落提供了物理3D渲染器的一些示例性实施例和组件的更详细描述。这些例如包括被用来捕获将被复制的表面的相机系统、被配置为代表用来代表将被复制的表面的3D拓扑表面/结构的阵列,以及被用来对阵列着色的投影器。
1.3.1深度相机/深度传感器系统
图5示出了可与该技术一起使用的一种类型的相机系统502的概览。在一般情况下,相机系统502可以使用一个或多个数据捕获技术来捕获将被复制的表面504。例如,相机系统502可以通过使用任何种类的电磁辐射照射表面来调查该表面,电磁辐射包括可见光、红外光、无线电波等中的一项或多项。
相机系统502可以可选地包括对场景进行沐浴(bath)的照明源506,在该场景中将被复制的表面位于红外光中。例如,红外光可以对应于提供元件的形式(例如,点,线等)的结构化的光。结构化的光在它投射(cast)在场景中的对象的表面时发生变形。深度相机510可以捕获结构化的光发生变形的方式。基于那个信息,深度相机510可以导出场景的不同部分和(例如图像处理模块512中的)相机系统502之间的距离。可替代地或另外地,深度相机可以使用其它技术来产生深度图像,诸如飞行时间(time-of-flight)技术、立体对应(stereoscopic correspondence)技术等等。
可替换地或另外地,相机系统502捕获场景的其它图像。例如,视频相机508可以捕获包含将被复制的表面504的场景的灰度视频图像或场景的RGB视频图像。
由华盛顿州雷蒙德市的微软公司提供的控制器可以被用来实现外部相机系统的至少一些部分。
正如先前所讨论的那样,在物理3D渲染器的一些实施例中,为了验证所创建的3D拓扑结构的拓扑,运用一个或多个附加的相机。例如,第二深度相机或传感器可以被用来获得所创建的物理3D拓扑表面的深度信息,并且可以将此深度信息与从将被复制的表面的深度图像取得的深度信息进行比较。如果存在差异,则可以调节在所创建的物理3D拓扑表面的各点处的深度。
1.3.2阵列
被用来创建代表将被复制的表面的3D拓扑表面的阵列可以具有各种结构。例如,在物理3D渲染器的一个实施例中,阵列由通过致动器所驱动的滑动轴制成,该致动器改变阵列中的轴的深度。在另一个实施例中,通过调节由外皮覆盖的加压空气喷头的阵列以偏转外皮从而创建3D拓扑表面,来创建代表将被的复制的表面的物理3D拓扑表面。在下面的段落中讨论这些类型的阵列配置。然而,许多其它类型的阵列配置是可能的——只要它们能够模仿将被复制的表面的拓扑。
1.3.2.1滑动轴的阵列
如前面所讨论的那样,在物理3D渲染器的一个实施例中,来自将被复制的表面的深度图像的深度信息被馈送到阵列中的滑动轴上的致动器,并且每个滑动轴被调节到深度图像中的深度以创建像将被复制的表面或结构的物理3D拓扑表面。在物理3D渲染器的各种实施例中,阵列的轴可以具有许多不同的配置。例如,滑动轴可以具有多种类型的横截面。例如,横截面可以是圆形,或者横截面可以是正方形或长方形。
在物理3D渲染器的一个实施例中,滑动轴的间距和横截面确定所创建的3D拓扑表面的分辨率。与如果具有轴之间较大间距的较少较小的轴相比,当具有更紧密地位于一起的较多较小的轴时,所创建的3D拓扑表面的分辨率将越大并且所创建的3D拓扑表面将能够显示出更多的细节。在一个实施例中,轴阵列具有紧密间距以提供高的分辨率。在其它实施例中,对于大的结构或表面,伺服驱动组件可以被用来通过使用较大的轴横截面和/或较高的轴间距来以较低的分辨率渲染这些大的结构或表面。
在3D渲染器的一些实施例中,例如当阵列覆盖有外皮时,轴的远端可以在其上具有端盖以提供更光滑的表面。在许多不同的配置中可以配置端盖。端盖例如可以是圆形,或者它们可以是正方形或长方形。许多不同的端盖配置是可能的。
阵列的轴可以被保持在壳体中,阵列的轴壳体中滑动。滑动这些轴,从而它们从壳体突出不同的量以便模仿将被复制的表面。在3D渲染器的一个实施例中,气动被用来调节阵列中的轴的深度。在3D渲染器的另一个实施例中压电致动器被用来调节阵列中的轴的深度。在物理3D渲染器的又一实施例中,伺服被用来调节轴的深度。本领域的普通技术人员将认识到:存在调节轴的深度的许多可能的方式。此外,在物理3D渲染器的一些配置中,多个轴可以由一个致动器控制。在一个气动实施例中,有一个空气压力源并且一切均被垂直于(plumbed)共同的网络。阵列中对应于深度图像中的一个像素或一组像素的轴由计算机控制的阀门来控制。
在物理3D渲染器的一个实施例中,滑动轴覆盖有外皮。在物理3D渲染器的一个实施例中,外皮的表面通过将彩色的图像投影到外皮的表面上来进行着色。
在物理3D渲染器的一些实施例中,至少一个轴并且有可能所有的轴包含用以从轴的远端发出光的在轴内的至少一个发光源。发光源可以被着色。在物理3D渲染器的一些实施例中,三个光源(一个红色,一个绿色和一个蓝色)位于轴中,以允许所创建的物理3D拓扑表面被着色成任何颜色或颜色的组合。例如,所创建的物理3D拓扑表面可以被着色以匹配将被复制的表面的颜色。这例如通过将将被复制的表面的彩色图像中的像素颜色匹配到阵列内的光源(其被着色以匹配像素颜色)来完成。
1.3.2.2加压喷头的阵列
在物理3D渲染器的一个实施例中,深度信息被馈送到覆盖有外皮的空气(或其它类型的气体)喷头的阵列。每个喷头可以被封装在外皮内的隔间内。基于深度信息调节由阵列中的每个喷头输出的加压空气/气体流以偏转外皮的表面从而创建3D拓扑结构。像上面讨论的滑动轴阵列那样,空气喷头可以与允许阵列进行着色的彩色光相关联。在一个实施例中,采用具有外皮覆盖的空气囊的阵列,每个囊创建在外皮拓扑上的软点。
1.3.3外皮
如前面所讨论的那样,在物理3D渲染器的许多实施例中,阵列覆盖有外皮。覆盖阵列(例如,无论轴或加压喷头)的外皮在轴的阵列的情况下提供了光滑的表面,而在使用空气喷头的阵列的配置中,当用加压空气或气体进行填充时外皮提供了3D拓扑结构。在一些实施例中,外皮可以由诸如例如弹性体的拉伸材料制成。在实施例中,阵列的滑动轴或喷头装备有灯,用于外皮的材料可以有些透明以便让光亮通过外皮。在使用具有加压空气或其它气体的喷头的物理3D渲染器的实施例中,外皮是气密的并被附接到阵列的壳体。
1.3.4投影器
在物理3D渲染器的一些实施例中,投影器被用来将图像投影到所创建的3D拓扑结构上,诸如例如投影到覆盖阵列的外皮上。在投影器中的图像可以通过常规的方法制定大小并且与阵列对准以便将将被复制的表面的图像投影到所创建的物理3D拓扑表面上。
2.0示例性应用场景:
物理3D渲染器可以被使用在不同的场景和应用中。在下文的段落中讨论许多可能的使用场景的一些示例性使用场景。
2.1远程呈现
物理3D渲染器的一个实施例可以被用来通过使用一个或多个深度图像来创建在远程位置处的人或对象的物理3D表示。这样可以允许例如在远程位置中的士兵感受他刚出生的孩子的脸或者协助远程手术的外科医生感受到进行手术的人的解剖结构。
2.2用于训练的模拟的地貌
物理3D渲染器的一个实施例可以被用来创建用于训练在某些地形中进行操作的人员的模拟的地貌。例如,可以创建一个地形的物理3D地貌,以便搜索和救援人员熟悉远程的、未知的位置。在一个实施例中,以类似于搜索和救援行动的方式,物理3D渲染器的实施例可以被用来创建地带的物理3D地貌以便训练针对轰炸或担保运行的军事人员。
物理3D渲染器的一些实施例可以被用来提供用于盲人的各种应用。例如,电影或视频的场景可以以3D(视频盲文video brail)被渲染。类似地,物理3D渲染器的形式可以被用来创建专门的电子阅读器,该专门的电子阅读器可以让盲人以盲文读书。
物理3D渲染器的一些实施例可以被用于游戏。例如,真实3D棋子可以由远程玩家移动用于主机玩家进行体验。
3.0示例性操作环境:
本文描述的物理3D渲染器的实施例可在多种类型的通用或专用计算系统环境或配置中操作。图6示出了在其上可以实现如本文描述的物理3D渲染器的各种实施例和元件的通用计算机系统的简化示例。值得注意的是,在图6所示的简化的计算设备600中由虚线或点划线代表的任何框代表简化的计算设备的替代实施例。如下文所述,任何或所有这些替代实施例可以与在整个本文件中所描述的其它替代实施例结合使用。典型地在具有至少一些最小计算能力的设备中找到简化的计算设备600,所述设备例如是个人计算机(PC)、服务器计算机、手持计算设备、膝上型或移动式计算机、诸如蜂窝电话和个人数字助理(PDA)的通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、以及音频或视频媒体播放器。
为允许设备实施本文所描述的物理3D渲染器实施例,该设备应当具有足够的计算能力和系统存储器以支持基本计算操作。具体而言,图6中所示的简化的计算设备600的计算能力一般由一个或多个处理单元612示出,并且还可以包括一个或多个图形处理单元(GPU)614,这两者中的任一个或全部与系统存储器616通信。注意,简化的计算设备600的处理单元612可以是专用微处理器(诸如数字信号处理器(DSP)、甚长指令字(VLIW)处理器、现场可编程门阵列(FPGA)、或其它微控制器)或者可以是具有一个或多个处理核的常规中央处理单元(CPU)。
另外,图6中所示的简化的计算设备600还可以包括其它部件,诸如通信接口618。简化的计算设备600还可以包括一个或多个常规计算机输入设备620(例如定点设备、键盘、音频(例如语音)输入设备、视频输入设备、触觉输入设备、姿势识别设备、用于接收有线或无线数据传输的设备等)。简化的计算设备600还可以包括其它光学部件,诸如一个或多个常规计算机输出设备622(例如显示设备624、音频输出设备、视频输出设备、用于传输有线或无线数据传输的设备等)。注意,用于通用计算机的典型通信接口618、输入设备620、输出设备622和存储设备626是本领域技术人员所公知的,并且将不在此详细描述。
图6中所示的简化的计算设备600还可以包括各种计算机可读介质。计算机可读介质可以是可由计算机600经由存储设备626访问的任何可用介质,并且可以包括是可移动628和/或不可移动630的易失性和非易失性介质,该介质用于存储诸如计算机可读或计算机可执行指令、数据结构、程序模块或其它数据之类的信息。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质是指有形的计算机可读或机器可读介质或存储设备,诸如数字多功能盘(DVD)、紧致盘(CD)、软盘、磁带驱动器、硬盘驱动器、光盘驱动器、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、盒式磁带、磁带、磁盘存储或其它磁存储设备。
诸如计算机可读或计算机可执行指令、数据结构、程序模块等信息的保持还可通过使用各种上述通信介质(与计算机可读介质相对)中的任一种来编码一个或多个已调制的数据信号或载波或其它传输机制或通信协议来实现,并且可以包括任何有线或无线信息传递机制。注意,术语“已调制的数据信号”或“载波”一般是指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。例如,通信介质可以包括诸如有线网络或直接线连接等携带一个或多个已调制的数据信号的有线介质,以及诸如声学、射频(RF)、红外线、激光和其它无线介质等用于传送和/或接收一个或多个已调制的数据信号或载波之类的无线介质。
此外,可以按计算机可执行指令或其它数据结构的形式存储、接收、传送或者从计算机可读或机器可读介质或存储设备和通信介质的任何所需组合中读取具体化本文描述的各种物理3D渲染器的实施例的部分或全部的软件、程序和/或计算机程序产品。
最终,还可以在由计算设备执行的诸如程序模块等计算机可执行指令的一般上下文中描述此处描述的物理3D渲染器实施例。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。还可以在分布式计算环境中实施物理3D渲染器实施例,在所述分布式计算环境中由通过一个或多个通信网络所链接的一个或多个远程处理设备执行任务或者在该一个或多个设备的云中执行任务。在分布式计算环境中,程序模块可以位于包括媒体存储设备的本地和远程计算机存储介质两者中。附加地,上述指令可以部分地或整体地作为可以包括或不包括处理器的硬件逻辑电路来实现。
4.0其它实施例
注意,遍及说明书中的前述任意或全部实施例可以以任何期望的组合使用以形成附加的混合实施例。此外,虽然以特定于结构特征和/或方法行为的语言描述了主题,但是应当理解的是,在随附的权利要求中限定的主题不一定局限于上述的具体特征或行为。上述的具体特征和行为作为实现权利要求的示例的形式而被公开。

Claims (10)

1.一种用于从一个或多个图像创建物理三维(3D)拓扑表面的计算机实现的过程,包括:
接收将被复制的表面的深度图像;
确定在与所述深度图像中的点相对应的点的密集分布处的深度信息;
将所述深度信息馈送至阵列中的滑动轴上的致动器,使得每个滑动轴被调节至所述深度图像中的深度以创建所述物理3D拓扑表面。
2.根据权利要求1所述的计算机实现的过程,其中所创建的所述3D拓扑表面在新的深度图像被接收时改变。
3.根据权利要求1所述的计算机实现的过程,其中所创建的所述3D拓扑表面随着所述将被复制的表面的改变而实时地改变。
4.根据权利要求1所述的计算机实现的过程,还包括:通过将所创建的所述3D拓扑表面的深度图像与所述将被复制的表面的深度图像进行比较来验证所创建的所述3D拓扑表面。
5.根据权利要求4所述的计算机实现的过程,其中所创建的所述3D拓扑表面的所述深度图像捕获所创建的所述3D拓扑表面的背面。
6.根据权利要求1所述的计算机实现的过程,其中至少一个轴还包括所述轴内的至少一个发光源以从所述轴的远端发出光。
7.根据权利要求6所述的计算机实现的过程,其中所述发光源产生不同颜色的光。
8.根据权利要求7所述的计算机实现的过程,其中所创建的所述3D拓扑表面能够使用所述不同颜色的光而被着色,以复制所述将被复制的表面的颜色。
9.根据权利要求4所述的计算机实现的过程,还包括:将所述将被复制的表面的彩色图像投影到外皮上,以便对所创建的所述3D拓扑表面着色。
10.一种用于从图像中创建3D拓扑结构的方法,包括:
接收将被复制的结构的深度图像;
确定在与所述深度图像中的点相对应的点的密集分布处的深度信息;
将所述深度信息馈送至被外皮覆盖的空气喷头的阵列;
基于所述深度信息来调节由所述阵列中的每个空气喷头输出的加压空气流,以偏转所述外皮的表面,从而创建所述3D拓扑结构。
CN201580012107.0A 2014-03-07 2015-02-27 用于从图像创建物理3d拓扑表面的方法和系统 Active CN106104634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/200,950 US9805506B2 (en) 2014-03-07 2014-03-07 Physical 3D renderer
US14/200,950 2014-03-07
PCT/US2015/017871 WO2015134293A2 (en) 2014-03-07 2015-02-27 Physical 3d renderer

Publications (2)

Publication Number Publication Date
CN106104634A true CN106104634A (zh) 2016-11-09
CN106104634B CN106104634B (zh) 2019-05-17

Family

ID=52829305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580012107.0A Active CN106104634B (zh) 2014-03-07 2015-02-27 用于从图像创建物理3d拓扑表面的方法和系统

Country Status (5)

Country Link
US (1) US9805506B2 (zh)
EP (1) EP3114651B1 (zh)
KR (1) KR102331828B1 (zh)
CN (1) CN106104634B (zh)
WO (1) WO2015134293A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846378B (zh) * 2017-01-23 2019-12-03 中山大学 一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法
DE102019106684B4 (de) 2019-03-15 2022-08-25 Technische Universität Dresden System zur haptischen Interaktion mit virtuellen Objekten für Anwendungen in der virtuellen Realität

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242807B2 (en) * 2003-05-05 2007-07-10 Fish & Richardson P.C. Imaging of biometric information based on three-dimensional shapes
US20130301907A1 (en) * 2012-05-10 2013-11-14 Samsung Electronics Co., Ltd. Apparatus and method for processing 3d information
CN103578129A (zh) * 2013-11-13 2014-02-12 北京像素软件科技股份有限公司 一种三维场景物理渲染方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2736908B2 (ja) * 1988-12-28 1998-04-08 株式会社日立製作所 形状入出力装置
US7009595B2 (en) 2002-01-03 2006-03-07 United States Of America Extended refreshable tactile graphic array for scanned tactile display
CN102835119B (zh) 2010-04-01 2016-02-03 英特尔公司 支持自动立体显示器上的实时3d图像渲染的多核心处理器
US9547838B2 (en) * 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242807B2 (en) * 2003-05-05 2007-07-10 Fish & Richardson P.C. Imaging of biometric information based on three-dimensional shapes
US20130301907A1 (en) * 2012-05-10 2013-11-14 Samsung Electronics Co., Ltd. Apparatus and method for processing 3d information
CN103578129A (zh) * 2013-11-13 2014-02-12 北京像素软件科技股份有限公司 一种三维场景物理渲染方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SARAH GRIFFITHS: ""The hi-tech tabletop that creates a 3D version of YOU that moves in realtime"", 《DAILY MAIL》 *

Also Published As

Publication number Publication date
EP3114651B1 (en) 2019-05-22
CN106104634B (zh) 2019-05-17
US9805506B2 (en) 2017-10-31
WO2015134293A2 (en) 2015-09-11
US20150254898A1 (en) 2015-09-10
EP3114651A2 (en) 2017-01-11
KR102331828B1 (ko) 2021-11-25
KR20160134718A (ko) 2016-11-23
WO2015134293A3 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
US20190200003A1 (en) System and method for 3d space-dimension based image processing
Alexander et al. The digital emily project: photoreal facial modeling and animation
CN107016704A (zh) 一种基于增强现实的虚拟现实实现方法
WO2015098807A1 (ja) 被写体と3次元仮想空間をリアルタイムに合成する撮影システム
RU2433487C2 (ru) Способ проецирования изображения на поверхности реальных объектов
CN109903393B (zh) 基于深度学习的新视角场景合成方法和装置
CN109086798A (zh) 一种数据标注方法和标注装置
CN101968892A (zh) 根据一张人脸照片自动调整三维人脸模型的方法
US9955120B2 (en) Multiuser telepresence interaction
CN104091366B (zh) 基于二维阴影信息的三维模型智能数字化生成方法和系统
JP2018124939A (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
CN107067428A (zh) 增强现实投影装置及方法
CN110458924A (zh) 一种三维脸部模型建立方法、装置和电子设备
CN106104634B (zh) 用于从图像创建物理3d拓扑表面的方法和系统
Kuratate et al. Mask-bot''-a life-size talking head animated robot for AV speech and human-robot communication research
EP3980975B1 (en) Method of inferring microdetail on skin animation
WO2018071338A1 (en) Virtual reality telepresence
KR20180064744A (ko) 무인 비행체를 이용한 비행 체험 방법 및 장치
Gupta et al. Training in virtual environments
CN116863046B (zh) 一种虚拟口型生成方法、装置、设备及存储介质
US20240226759A1 (en) Show effect system for an amusement park
Jędrasiak et al. Interactive application using augmented reality and photogrammetric scanning
Wang Research on the production and application of virtual reality technology based on immersion and interaction in 3D animation scene
CN116612215A (zh) 一种基于ar技术的动漫角色制作方法
Morishima et al. HYPER MASK-Projecting a Virtual Face onto a Moving Real Object.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant