CN107533184A - 用于增强式佩珀尔幽灵幻像的三维图像源 - Google Patents

用于增强式佩珀尔幽灵幻像的三维图像源 Download PDF

Info

Publication number
CN107533184A
CN107533184A CN201680026967.4A CN201680026967A CN107533184A CN 107533184 A CN107533184 A CN 107533184A CN 201680026967 A CN201680026967 A CN 201680026967A CN 107533184 A CN107533184 A CN 107533184A
Authority
CN
China
Prior art keywords
image
source
depth
holographic
image source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680026967.4A
Other languages
English (en)
Inventor
阿什利·克劳德
本杰明·康韦
T·P·森基埃威茨兹
J·M·贝姆克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VENTANA 3D LLC
Original Assignee
VENTANA 3D LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VENTANA 3D LLC filed Critical VENTANA 3D LLC
Publication of CN107533184A publication Critical patent/CN107533184A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J5/02—Arrangements for making stage effects; Auxiliary stage appliances
    • A63J5/021—Mixing live action with images projected on translucent screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/08—Trick photography
    • G03B15/10—Trick photography using back-projection, i.e. blending artificial background with real foreground
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/10—Projectors with built-in or built-on screen
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G03B21/606—Projection screens characterised by the nature of the surface for relief projection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)

Abstract

本文中的系统及方法涉及用于增强式佩珀尔(Pepper)幽灵幻像的三维图像源。在一个实施例中，说明成型反射面(bounce)，以允许将反射面扭曲为不同的形状，从而赋予其增强的三维(3D)效果。例如，该反射面可包括特定的形貌(凸起部)，或者可实际包括各种3D形状(例如立方体、半球等)。在另一个实施例中，说明多级图像源，以允许使用多个图像源(例如投影反射面及/或面板显示器)并相对透明的观看屏幕将其置于不同的高度，从而投影看似处于各种深度的图像，以增加该佩珀尔幽灵幻像的三维(3D)效果。此外，在一个实施例中，可(例如动态地)调整该图像源的高度，使相应的全息图像改变其对观众的深度透视，从而进一步增强该3D效果。

Description

用于增强式佩珀尔幽灵幻像的三维图像源
相关申请
本申请要求由Crowder等人于2015年3月9日提交的名称为“CONTOURED BOUNCEFOR ENHANCED PEPPER’S GHOST ILLUSION”、序列号为62/130,244的美国临时申请以及由Crowder等人于2015年3月9日提交的名称为“MULTI-LEVEL IMAGE SOURCE FOR ENHANCEDPEPPER’S GHOST ILLUSION”、序列号为62/129,987的美国临时申请的优先权，各该申请的内容通过参考包含于此。
技术领域
本揭露通常涉及全息投影(holographic projection)，尤其涉及用于增强式佩珀尔幽灵幻像(Pepper’s Ghost Illusion)的三维图像源，例如成型反射面(contouredbounce)及/或多级图像源。
背景技术
“佩珀尔幽灵幻像”是一种已知数百年的幻像技术(以推广该效果的人John HenryPepper命名)，历史上已用于剧院、鬼屋、黑暗骑乘、以及魔术技巧。它使用平板玻璃、有机玻璃或塑料膜以及特殊照明技术使对象(object)看似出现或消失，变为透明，或使一个对象变形为另一个对象。传统上，为使幻像作用，观众必须能够看到一个主房间，但不能看到一个隐藏的房间。该隐藏的房间可被涂黑，其中仅有浅色对象。当将光投射至该房间时，仅该浅色对象反射该光并呈现为叠加于该可见房间中的幽灵般半透明的图像。
值得注意的是，佩珀尔幽灵幻像系统自19世纪以来基本保持不变，随着时间推移只不过增加了投影系统的使用，该投影系统引导或反射光束至透明有角度的屏幕上，而不在隐藏房间中使用现场演员。也就是说，在全息投影领域中出现了一些技术，其通过用投影机作为光源将具有全黑背景的物体或人的图片发送至平坦的高增益反射表面(也称为“反射面(bounce)”)例如白色或灰色投影屏幕上来大体模仿佩珀尔幽灵幻像。该反射面通常与该透明屏幕表面保持约45度角。
例如，现场音乐表演的最新趋势是使用表演者的全息投影(例如实时流式传输的、预录制的或重构的)。图1显示传统的(通常大型的)全息投影系统100的一个例子。尤其，艺术家(或其他对象)的流式(或录制的、或生成的)图像可被投影至反射表面上，以使其呈现于有角度屏幕上且观众看到该艺术家或对象，而不是该屏幕。如果该屏幕是透明的，则其允许其他对象(例如其他现场艺术家)站在该屏幕的背景中，并从观众的角度观看时看似正站在该全息投影旁边。
不过，尽管有其历史根源，但全息投影技术还是一个新兴领域，尤其就增强该幻像及/或管理该系统的设置的各种态样而言。
发明内容
依据本文中的一个或多个实施例，显示并说明用于增强式佩珀尔幽灵幻像的三维图像源。尤其，说明各种实施例，其确定一个或多个全息对象的所需三维性；基于该一个或多个全息对象的该所需三维性，在全息屏幕与对应该一个或多个全息对象的一个或多个图像源之间设置位置关系以在该全息屏幕与该一个或多个图像源之间创建变化的距离；以及基于以该一个或多个图像源之间的该位置关系显示的一个或多个图像，在该一个或多个图像源上显示与该一个或多个全息对象对应的该一个或多个图像以通过该全息屏幕呈现一个或多个三维全息对象。
依据本文中的一个或多个特定实施例，显示并说明用于增强式佩珀尔幽灵幻像的成型反射面。尤其，说明各种实施例，其允许将反射面扭曲为不同的形状，以赋予其增强的三维(3D)效果。例如，该反射面可包括特定的形貌(凸起部)，或者可实际包括各种3D形状(例如立方体、半球等)。在一个实施例中，可使用两个或更多投影机，以自不同的角度/侧面投影映射该反射面，从而创建更逼真的3D效果，并允许从该显示器旁走过的人看到逼真的透视。
依据本文中的一个或多个额外的特定实施例，显示并说明用于增强式佩珀尔幽灵幻像的多级图像源。尤其，说明各种实施例，其允许使用多个图像源(例如投影反射面及/或面板显示器)并相对透明的观看屏幕将其置于不同的高度，从而投影看似处于各种深度的图像，以增加该佩珀尔幽灵幻像的三维(3D)效果。此外，在一个实施例中，可(例如动态地)调整该图像源的高度，使相应的全息图像改变其对观众的深度透视，从而进一步增强该3D效果。
下面还说明其他特定实施例、延伸或实施细节。
附图说明
结合附图参照下面的说明可更好地理解本文中的实施例，该些附图中类似的附图标记表示相同或功能类似的元件，其中：
图1显示熟知的全息投影技术的一个例子；
图2显示基于投影的全息投影系统的一种替代布置，其中，投影机位于地板上，而反射面位于天花板上；
图3显示使用视频面板显示器的全息投影系统的一个例子，该面板位于透明屏幕下方；
图4显示使用视频面板显示器的全息投影系统的一个例子，该面板位于透明屏幕上方；
图5显示一个示例简化的全息投影系统(例如通信网络)；
图6显示头像控制系统的一个简化例子；
图7A至图7B显示依据本文中所述的一个或多个实施例，图像源的高度差如何对应全息对象的感知深度差；
图8显示依据本文中所述的一个或多个实施例的成型图像源的一个例子；
图9显示依据本文中所述的一个或多个实施例的成型图像源(人脸)的另一个例子；
图10显示依据本文中所述的一个或多个实施例的成型图像源(半球)的另一个例子；
图11显示依据本文中所述的一个或多个实施例的成型图像源(城市景观)的另一个例子；
图12A至图12C显示依据本文中的一个或多个实施例当使用成型反射面时3D立方体的侧面至侧面(side-to-side)透视的一个例子；
图13显示依据本文中所述的一个或多个实施例将成型反射面用于增强式佩珀尔幽灵幻像的一个示例简化过程；
图14显示依据本文中所述的一个或多个实施例的处于不同高度的多个图像源的一个例子，导致它们的相应显示图像在观众看来处于不同的深度；
图15A至图15B示例依据本文中所述的一个或多个实施例如何改变该些图像源的高度，从而导致该些对象的感知深度的相应变化；
图16A至图16B示例依据本文中所述的一个或多个实施例如何改变单个图像源的高度，从而导致该对象的感知深度的相应变化；
图17A至图17B显示依据本文中所述的一个或多个实施例的基于深度的视频撷取装置的例子；
图18A至图18D显示依据本文中所述的一个或多个实施例的基于深度的视频撷取的一个例子；
图19显示依据本文中所述的一个或多个实施例将多级图像源用于增强式佩珀尔幽灵幻像的一个示例简化过程；以及
图20显示依据本文中所述的一个或多个实施例针对增强式佩珀尔幽灵幻像的三维图像源的一个示例简化过程。
具体实施方式
如上所述，“佩珀尔幽灵幻像”是一种使用平板玻璃、有机玻璃或塑料膜及特殊照明技术来制作人或物体的全息投影的幻像技术。尤其，图1显示用投影机作为光源将具有全黑背景的物体或人的图片发送至平坦的高增益反射表面(或“反射面”)例如白色或灰色投影屏幕上的全息投影的一个例子。该反射面通常与该透明屏幕表面保持约45度角。
图2显示基于投影的全息投影系统的一种替代布置，其中，投影机210位于地板上，而反射面240位于天花板上。火柴人表示观众260，也就是说，从该侧，观众可看到全息投影。在此布置中，可获得与图1相同的效果，不过对于是使用如图1中还是图2中的投影机210的特定位置有不同考虑。
尽管该基于投影的系统适于许多情形，尤其大型应用，但以此方式使用投影机有一定问题。例如，如果释放气体(例如来自烟雾机的烟)，则观众260可看到光从哪里来，从而破坏效果。另外，投影机通常不会明亮到足以照彻气体，从而使反射的图像看起来暗淡、似幽灵。而且，投影机大而笨重，导致增加空间要求及装配难度。
因此，通过使用视频面板显示器270例如LED或LCD面板、移动电话、平板电脑、便携式电脑或监控器作为光源而不是基于投影的系统可建立基本参照图3及图4的另一个示例全息投影系统。尤其，这些基于面板的系统允许全息投影进行任意尺寸设置，例如从个人的“迷你”显示器(例如电话、平板电脑等)直到较大的全舞台尺寸显示器(例如定制尺寸的LCD或LED面板)。与通常的配置类似，在该图像光源与该反射但透明的表面(透明的屏幕)之间的较佳角度为约45度角，不论将该显示器置于该透明屏幕下方(图3)还是上方(图4)。
再次，该火柴人表示观众260，也就是说，从该侧，观众可看到该全息投影。要注意的是，该系统通常提供约165度的观看角度。(另外，要注意的是，可设计各种装饰及道具来隐藏各种硬件组件及/或建立总体场景，但出于清楚目的省略此类物品)。
该透明屏幕通常为平坦表面，其具有透明玻璃的类似光属性(例如玻璃，塑料如有机玻璃或张紧塑料膜)。如图所示，使用张紧架(tensioning frame)220以将透明膜拉伸成稳定、无皱(例如，且抗振)的反射透明表面(也就是说，显示/反射该全息投影的光图像，但允许观众透过它看到背景)。一般来说，对于较大的显示器，使用张紧塑料膜作为反射表面可能更容易，因为玻璃或硬质塑料(例如有机玻璃)难以安全地运输及装配。
该光源本身可为任意合适的视频显示面板，例如等离子体(plasma)屏幕、LED墙、LCD屏幕、监控器、TV、平板电脑、移动电话等。可使用各种尺寸。当在视频面板显示器270上显示图像时(例如静止或运动的)，例如在原本黑色(或其他稳定的深色)背景内的人或物体，接着将该图像反射至该透明屏幕上(例如张紧膜或其他)，以佩珀尔幽灵幻像的方式向观众(显示为火柴人)呈现。不过，与使用现场演员/对象的原始佩珀尔幽灵幻像不同，且与基于投影的全息系统不同，视频面板显示器的使用减少或消除穿过气体(例如雾)的“光束”效果，从而使该全息投影具有更清晰且不受污染的视觉效果。(要注意的是，可使用各种扩散层来降低通过使用视频面板显示器所创建的视觉效果，例如莫尔效应(Moiré effect))。另外，使用视频面板显示器270可帮助隐藏投影机装置，且可降低该全息系统的总体尺寸。
另外，一些视频面板例如LED墙能够生成与投影机能够生成的图像相比更明亮的图像，这样，即使在明亮的照明条件下(其通常降低图像质量)也能够使该佩珀尔幽灵幻像保持有效。自LED墙生成的该更明亮的图像也使膜后面的对象与使用投影时相比被更好地照亮。
此外，通过在该光源上显示具有黑色背景的物体或人的图像，其被反射至该透明平坦的表面上，从而看似该物体或人正自己浮动或立着。依据通常的佩珀尔幽灵幻像技术，可将舞台或背景放置在该透明膜后面及/或前面，因此看似该物体或人正站在该舞台上，且其他物体或甚至人也可位于该透明膜的任一侧上。
在特定的实施例中，为缓解建立佩珀尔幽灵显示时的大空间要求(例如，为显示逼真的全息投影，在该透明屏幕后面通常需要大的深度量)，在该透明屏幕后可放置光学幻像背景，以在该屏幕后创建深度幻像(产生深度感知或“透视”，其在全息投影后面给出较大的深度或距离呈现)。
一般来说，全息投影可用于各种原因，例如娱乐、演示、零售、广告、视觉化、视频特效等。该全息图像可由投影机或视频面板本地的电脑产生，或者可远程生成并流式传输或以另外方式发送至本地电脑。
例如，通过将表演者的视频图像作为视频流式传输并将其透影至全息投影系统上，可在全球范围内传输真实的音乐会或夜总会体验，以获得现场娱乐体验。例如，全息实时流式传输音乐会至全球范围内的卫星场所同时保持现场音乐会体验帮助艺术家触及新的市场及新的收入流，同时将现场表演带给全世界范围内的更多粉丝。卫星场所可经配置而具有与实际演出相同的音乐会感觉：强烈的灯光效果、很好的音质、酒吧、商品等。唯一的区别是表演者实际不在现场，而是自广播场所全息投影。从广播场所的音板直接流式传输音乐并将其发送至卫星场所的先进音响系统。通过顶级的LED屏幕及激光，灯光秀可配合表演。
例如，图5显示一个示例简化的全息投影系统(例如通信网络)，其中，网络500包括一个或多个源(source)A/V组件510、一个或多个“广播”计算装置520(例如本地计算装置)、通信网络530(例如公共因特网或其他通信媒体，例如专用网络)、一个或多个“卫星”计算装置540(例如远程计算装置)，以及一个或多个远程A/V组件550。
在上面的例子中，广播场所可包括源A/V组件510，例如表演艺术家正在此处亲自表演(例如，唱片骑师(disk jockey；DJ)正在播放唱片)。接着，可使用本文中的技术以将该音频及视频自该广播位置流式传输(中继、传送、转播等)至卫星场所，其中远程A/V组件550位于该卫星场所。例如，在该广播位置的该DJ可使关联的音频、视频，以及甚至相应的电子效果(灯光、烟火等)直接流式传输至具有相同高质量音响的该卫星场所的A/V系统，好像该音乐家/艺术家正在亲自演奏/歌唱。
另例如，在计算中，“头像(avatar)”是用户(或者用户的另一个自我或其他性格)的图形表示。头像通常可采取二维(2D)形式或三维(3D)形式，且通常在电脑游戏或其他虚拟世界中被用作动画角色(例如，除仅代表因特网论坛中的用户的静态图像以外)。为控制头像或其他电脑动画模型(其中，值得注意的是，本文中使用术语“头像”来表示可由用户控制的人形或非人形电脑动画对象)，用户输入系统将用户动作转换成头像运动。
图6显示头像控制系统的一个简化例子。尤其，如系统600中所示，视频撷取/处理装置610经配置以撷取一个或多个对象的视频图像，尤其包括可具有关联的位置及/或运动625的一个或多个用户620。所撷取的视频数据可包括颜色信息(information)、位置/地点信息(例如深度信息)，其可通过各种身体跟踪及/或骨骼跟踪算法处理，以检测用户620的各种跟踪点(例如骨头、关节等)的位置。头像映射系统650可附有头像模型640，从而通过各种映射算法，该头像映射系统能够在用户620所控制的显示器660上激活头像665。作为示例，依据本文中的技术，显示器660可包括模型动画头像665的全息投影，例如允许个人交互地控制角色的全息投影。(值得注意的是，头像映射系统650可实时提供其控制功能或作为录制/后期制作视频供给，且可与视频处理系统630共位，远离该视频处理系统定位，或者作为分开的组件，以允许其既在该视频处理系统本地又远离该视频处理系统)。
-增强式佩珀尔幽灵幻像的成型反射面-
如上所述，本文中的增强式佩珀尔幽灵幻像的成型反射允许将反射面扭曲为不同的形状，从而赋予其增强的三维(3D)效果。
例如，全息图像的深度感知可基于若干因素，例如对象的尺寸、对象的位置等，但在佩珀尔幽灵幻像系统中最重要的是基于图像源与全息屏幕(玻璃、膜等)的距离。这显示于图7A及图7B中，其中，图像源270(例如视频面板显示器)的“高度”差对应对象275的感知深度差。具体地说，在图7A中，图像源270更靠近全息屏幕220(距离d1)，因此对象275看似更靠近观众260(距离d2)。相反，在图7B中，图像源270较远(d1’)，因此目标275看似更远离观众(d2’)。
本文中的技术的一个态样利用此特征，不过本文中的技术也提供系统以增强观众的全息对象(人、物体、头像等)的3D感知。尤其，如图8中所示，成型图像源270(例如投影机反射面，不过成型面板显示器可由平板显示器的阵列创建)可以形貌成形，以包括不同高度的区域271a/271b(也就是与该全息屏幕具有不同的距离d1a及d1b)，从而导致所显示的图像275a/275b在观众看来具有处于不同深度的区域(距离d2a及距离d2b)。在一个示例应用情况下，全息人可位于延伸更靠近该屏幕的一个区域中的“前面及中心”，而一个或多个对象可位于远离该屏幕的另一个区域的“背景中”，例如对于歌手与伴舞、演讲者与观众、人与其后面的物体等。
除不同对象的位置外，本文中的技术可以强调所显示对象的特定特征的方式用特定形貌(凸起或凹入部)成型该图像源。例如，如图9中所示，图像源270(例如反射面)可被成型为人脸的三维形状(部分271a)。然后通过将人脸的图像投影至该图像源上，观众260所看到的全息图像275将具有非常逼真的深度透视。
又例如，如图10至图11中所示，也可使用其他3D形状(例如立方体、半球等)。例如，图10显示各种对象可被投影于其上的半球，例如地球或其他星球，如此，对于观众，它们的3D曲率将非常逼真。同时，图11显示使用一个或多个立方体或矩形形状来创建3D沉浸式城市景观。
依据本文中的技术的另一个态样，并依据本发明，可使用两个或更多投影机(或显示面板)以自不同的角度/侧面投影映射该反射面。例如，如图12A至图12C中所示，上面在图11中所示的城市的简化版可包括单个建筑物或立方体(轮廓271a)，其具有侧面“A”、“B”及“C”。当反射面270与全息屏幕220(膜/玻璃/等)保持45度角时，在3D轮廓上成像的使用创建更逼真的三维效果，并允许依据观众观看该屏幕的角度获得全息对象275的不同透视/视图(例如，从该显示器旁走过的人可在此走过期间看到变化的逼真透视)。
例如，当投影机将建筑物立面映射至该立方体形状时，该膜上的图像通常看起来是建筑物。不过，从一个侧面(图12A)，用户可能看到更多的侧面“A”。另一方面，当直接在该屏幕的前面时(图12B)，用户可能看到更多的侧面“B”，以及更少的侧面“A”及“C”。观众一旦位于该屏幕的左边(图12C)，侧面“C”即开始变为主导。以此方式，当人站在该全息系统的远侧时，他们将看到该建筑物(或城市，或所显示的任意对象/场景)的多侧，但当他们走向中心时，他们将看到该建筑物(城市/等)的前侧，目前这对于平坦反射面是不可能的。
因此，本文中的技术可用以创建全息对象之间的深度差、三维成型对象，或创建一个或多个对象的变化透视3D视图。一般来说，针对设置的特定视觉目的，可静态设计该图像源(一般来说，例如反射面)，不过动态变化可能发生(例如，从后面延伸该反射面，以改变当前的成型)。此类动态变化可手动地或通过活塞、液压千斤顶等方式自动进行。
图13显示依据本文中所述的一个或多个实施例将成型反射面用于增强式佩珀尔幽灵幻像的一个示例简化过程。该简化过程1300可开始于步骤1305，并进至步骤1310，在该步骤中提供成型反射面(一般来说，图像源)。在步骤1315中，例如通过如上所述的一个或多个投影机将图像投影至该成型反射面上。如此，在步骤1320中，观众可看到如上所述的增强式3D成像，无论是为了更好的3D真实感，还是当走过该全息系统时看到透视变化。该过程终止于步骤1325。
有利地，本文中的技术提供用于增强式佩珀尔幽灵幻像的成型反射面。尤其，如上所述，本文中所述的技术允许将反射面扭曲为不同的形状，从而赋予其增强的3D效果。通过使用两个或更多投影机或面板来获得不同的角度/侧面，创建更逼真的3D效果，以允许从该显示器旁走过的人看到逼真的透视。
-增强式佩珀尔幽灵幻像的多级图像源-
如上所述，用于增强式佩珀尔幽灵幻像的多级图像源允许相对透明的观看屏幕将多个图像源(例如投影反射面及/或面板显示器)置于不同的高度，从而投影看似处于各种深度的图像，以增加该佩珀尔幽灵幻像的三维(3D)效果。
再次，全息图像的深度感知可基于若干因素，例如对象的尺寸、对象的位置等，但在佩珀尔幽灵幻像系统中最重要的是基于图像源与全息屏幕(玻璃、膜等)的距离。这显示于上面的图7A及图7B中，其中，该图像源的高度差对应对象的感知深度差(图7A中较近，图7B中较远)。
本文中的技术还利用此特征，并提供系统以不同于上述的另一种方式增强观众的全息对象(人、物体、头像等)的3D感知。尤其，如图14中所示，可在不同的高度(也就是与全息屏幕220具有不同的距离d1a/d1b)使用多个图像源270a/270b(例如显示面板及/或投影反射面)，从而导致其相应显示的图像275a/275b在背景250前面在观众260看来处于不同的深度d2a/d2b。
在一个示例应用情况下，一个全息人可位于“前面及中心”，而一个或多个其他人可位于“背景中”，例如对于歌手与伴舞、演讲者与观众、人与其后面的物体等。要注意的是，尽管仅显示两个图像源，但可使用任意数目，且呈任意关系。例如，尽管它们并排显示，但也可能为其他布置，例如在前或在后，或多个对象的组合。
此外，尽管该些图像源的高度差可经配置且为静态，但在本发明的一个实施例中，可(例如手动或动态)调整该些图像源的高度，使相应的全息图像改变其对观众的深度透视，从而进一步增强该3D效果。
例如，如图15A及图15B中所示，可改变该些图像源的高度，从而导致该些对象的感知深度的相应变化。以此方式，可创建动态显示，例如改变哪些对象动态位于前景及背景中。例如，当两个全息人与观众对话时，正在说的一个人可被拉至前面，而将另一个人拉至后面。这也可用于表演或演示，其中，各种对象基于它们在显示期间的不同时间的不同深度而加以突出。
此外，如图16A及图16B中所示，相同的概念可用于移动单个图像源，从而相应移动单个对象的深度。
依据本文中的一个或多个实施例，该一个或多个图像源的高度可基于相应显示程序(program)中的预配置时序(例如，以控制一个或多个马达)或者基于手动调整高度的舞台工作人员而改变。在另一个实施例中，可基于对象的检测深度动态移动该图像源，无论是实时流式传输还是预录制。
为以此方式实施基于对象-深度的图像源高度控制，录制对象的视频撷取装置可包括能够检测对象距离的相机。商业可用的一个此类示例相机是可从MICROSOFTTM获得的KINECTTM相机系统，如此，本文中所使用的特定术语可涉及这样的特定实施。不过，应当注意，本文中的技术不限于KINECTTM系统，且可结合本文中所述的实施例同等地使用其他合适的视频撷取及处理系统。
作为示例，如图17A中所示，基于深度的视频撷取装置900可包括两个主要组件，即视频相机910及深度撷取组件920。例如，视频相机910可包括“红、绿、蓝”(RGB)相机(也被称为彩色视频图形阵列(video graphics array；VGA)相机)，且可为任意合适的速率(例如每秒30或60帧(frame per second；fps))以及任意合适的分辨率(例如640x480或更大，如“高清”分辨率，例如1080p、4K等)。
深度撷取组件920可包括两个独立的镜头，如图17B中所示，例如红外(infrared；IR)发射器922，用以以红外光撒满撷取空间，以及IR相机924，用以于该IR光在撷取空间内被对象反射时接收来自该IR发射器的该IR光。例如，所检测的IR光越亮，则该对象越靠近相机。IR相机的一个特定例子是单色CMOS(互补金属氧化物半导体)传感器。值得注意的是，尽管不必要，但IR相机924(或通常的深度撷取组件920)可具有与视频相机910相同的帧速率及分辨率(例如30fps及640x480分辨率)。还要注意，尽管视频相机910与深度撷取组件920被显示为集成装置，但该两个组件可分开设置(包括独立设置的示例IR发射器922及IR相机924)，只要有足够的校准以基于该独立设置的组件之间的深度协作确定该视频图像的部分即可。
基于来自相机900的图像，通过使用所撷取的深度信息(例如IR信息)可设置及/或确定所撷取对象的相应深度范围。例如，图18A显示可由视频相机910撷取的一个示例源图像1010。相反，图18B显示可由深度撷取组件920撷取的一个示例的基于深度的图像1020，例如基于来自RF发射器922的反射IR光由IR相机924撷取的IR图像。尤其，图18B中的图像1020可限于(手动或动态地)仅显示给定对象(人、物体等)的所需深度范围，例如基于对象的IR反射的强度。
依据本文中的一个或多个实施例，经选择以产生图18B中的图像1020的深度范围可在运行中调整(例如基于对象检测技术由技术人员手动地或动态地)，以控制相机可“看到”的东西。例如，本文中的技术因此支持实时事件期间的对象跟踪，例如个人表演者在舞台上走动。例如，如图18C中所示，显示示例场景的顶视图，其中，通过“近”深度阈值1034及“远”深度阈值1032可设置所需深度范围1030。例如，可提示用户按压键盘上的“-”或“+”键来分别相应降低及增加该近阈值，并按压“<”或“>”键来分别相应降低及增加该远阈值。可用其他技术(以及尤其用户输入/键)，例如以定义中心深度(与相机的距离)并接着定义围绕该中心深度所撷取的距离的深度，或定义近或远深度阈值并接着定义更远或更近的深度(涉及该近或远深度阈值)。这也可结合其他身体跟踪算法(例如如下所述)。
接着，通过将图18B中的图像1020的深度信息(IR相机信息)与图18A的视频图像1010重叠，本文中的技术“切除”不在所需深度范围内的任意事物，从而允许相机“看到”(显示)在该设置范围的任意事物，如图18D中的所得图像1040所示。以此方式，可移除背景图像，以将想要的人/物体与视频相机910所撷取的视觉场景的其余部分隔离(要注意的是，因此也可移除前景图像)。
通过允许如上所述的深度范围的动态及实时调整，移动的物体或人于移动时可被“跟踪”，以相应地保持于该深度范围内。值得注意的是，身体跟踪算法例如骨骼跟踪算法可用以跟踪人在相机的视野内到处走动时此人的深度。例如，在一个实施例中，被骨骼跟踪的个人(一旦聚焦于所需深度范围内的特定个人)的透视(相对尺寸)可导致该深度范围的相应变化：例如，尺寸降低意味着远离相机的移动，因此相应增加聚焦深度，而尺寸增加意味着朝向相机的移动，因此相应降低聚焦深度。也可使用其他骨骼技术，例如简单增加或降低深度(例如，扫描朝向相机或远离相机的聚焦深度)或通过增加该深度范围的总体尺寸(例如以扩大该深度范围的方式移动该近深度阈值与远深度阈值的其中之一或两者)。
基于正被全息描绘的对象的所设置、跟踪、调整及/或确定的深度，基于该深度信息可相应调整这里的图像源，以在全息图像中描绘类似的透视态样。例如，如果一个人走向相机，而另一个离开相机(无论是同一相机还是不同相机)，基于各人与相机的距离/深度变化依据上面的技术可调整该图像源。
要注意的是，图像源与全息膜的的距离不需要匹配实际测量的距离，且不需要为线性关系。也就是被简化为“较近”或“较远”，而不是任意特定的算法确定感知深度及相应图像源高度。
还要注意，尽管图像源被显示为位于系统的“地板”上，但图像源也可位于系统的天花板或侧面/墙壁上或其任意组合(通常与全息屏幕/膜成约45度角)。本文中的视图仅为示例，并不意味着限制本文中的实施例的范围。
图19显示依据本文中所述的一个或多个实施例将多级图像源用于增强式佩珀尔幽灵幻像的一个示例简化过程。简化过程1900可开始于步骤1905并进至步骤1910，在该步骤中，确定全息对象的所需深度(例如，基于上述任意输入)。如此，基于所需深度，在步骤1915中可将针对该对象的相应图像源移动至离全息屏幕一定距离。在步骤1920中显示图像(也就是，在步骤1915中的该距离设置期间如果尚未显示)，且相应地，在步骤1925中，观众可看到处于相应深度的该对象。此简化过程终止于步骤1930，尤其具有继续调整对象的深度的能力。
有利地，本文中的技术还提供用于增强式佩珀尔幽灵幻像的多级图像源。尤其，如上所述，本文中所述的技术允许使用多个图像源(例如投影反射面及/或面板显示器)并相对透明的观看屏幕将其置于不同的高度，从而投影看似处于各种深度的图像，以增加该佩珀尔幽灵幻像的3D效果。此外，通过调整该些图像源的高度(例如动态地)，相应的全息图像改变其对观众的深度透视，以进一步增强该3D效果。
尽管显示并说明示例实施例，但应当理解，可在本文中的实施例的精神及范围内作各种其他修改及变更。例如，本文中所述的实施例可结合使用自各种源产生的全息投影图像，例如实时流式传输的、预录制的、重构的、电脑生成的等。另外，任意提及“视频”或“图像”或“图片”无需将实施例限于它们是动画还是时序照片还是静止图像等。而且，本文中可使用任意全息成像技术，且上面所提供的说明仅为示例实施例，无论针对二维还是三维全息图像。
还应当注意，尽管如上所述，过程1300及1900内的特定步骤是可选的，但图13及图19中所示的步骤仅为说明示例，如需要可包括或排除特定的其他步骤。另外，尽管显示步骤的特定顺序，但此顺序仅为示例，可使用该些步骤的任意合适的安排，而不背离本文中的实施例的范围。而且，尽管独立说明过程1300及1900，但各过程的特定步骤可包含于彼此过程中，且该些过程并不意味着相互排斥。
上述不同的实施例同样适用。也就是说，尽管上面通常分开说明成型反射面及多级图像源，但每一项的各种概念可用于彼此的实施例，例如基于对象的变化深度移动成型反射面、动态地成型反射面或以其他方式等。因此，通常参照图20的本文中的技术(具有开始于步骤2005的过程2000)涉及确定一个或多个全息对象的所需三维性(步骤2010)；在全息屏幕与对应该一个或多个全息对象的一个或多个图像源之间设置位置关系，以基于该一个或多个全息对象的该所需三维性在该全息屏幕与该一个或多个图像源之间创建变化的距离(步骤2015)；以及在该一个或多个图像源上显示与该一个或多个全息对象对应的一个或多个图像，以基于以该一个或多个图像源之间的该位置关系显示的该一个或多个图像通过该全息屏幕呈现一个或多个三维全息对象(步骤2020，过程2000示例终止于步骤2025)。
另外，本文中的实施例通常可结合一个或多个计算装置(例如，个人电脑、便携式电脑、服务器、专门配制的电脑、基于云的计算装置、相机等)执行，其可通过各种局部及/或网络连接互连。本文中所述的各种动作可专门涉及该些装置的其中一种或多种，不过本文中任意提及特定类型的装置并不意味着限制本文中的实施例的范围。
上述说明涉及特定实施例。不过，显然，可对所述实施例作其他变更及修改而实现其优点的其中一些或全部。例如，明确考虑本文中所述的特定组件及/或元件可实施为软件储存于有形的(非暂时性)电脑可读媒体上(例如硬盘/CD/RAM/EEPROM/等)，其具有执行于电脑、硬件、固件或其组合上的程序(program)指令。因此，此说明仅为示例，而不是以其他方式限制本发明的范围。因此，所附权利要求意图覆盖落入本文中的实施例的真实精神及范围内的所有此类变更及修改。

Claims (15)

1.一种方法，包括：
确定一个或多个全息对象的所需三维性；
基于该一个或多个全息对象的该所需三维性，在全息屏幕与对应该一个或多个全息对象的一个或多个图像源之间设置位置关系以在该全息屏幕与该一个或多个图像源之间创建变化的距离；以及
基于以该一个或多个图像源之间的该位置关系显示的一个或多个图像，在该一个或多个图像源上显示与该一个或多个全息对象对应的该一个或多个图像以通过该全息屏幕呈现一个或多个三维全息对象。
2.如权利要求1所述的方法，其中，该位置关系是基于该一个或多个图像源的成型图像源。
3.如权利要求1所述的方法，其中，该位置关系是基于该一个或多个图像源的可移动图像源。
4.如权利要求1所述的方法，其中，该位置关系是基于该一个或多个图像源的不同图像源的不同距离。
5.一种方法，包括：
提供成型图像源；
提供全息屏幕，其经配置以依据该成型图像源上的图像呈现全息对象；
在该成型图像源上显示该图像；以及
基于在该成型图像源上所显示的该图像，通过该全息屏幕呈现三维全息对象。
6.如权利要求5所述的方法，其中，该成型图像源为投影反射面。
7.如权利要求5所述的方法，其中，显示包括自多个投影机的投影。
8.如权利要求5所述的方法，还包括：
动态改变该成型图像源的轮廓。
9.如权利要求5所述的方法，还包括：
在该成型图像源上显示第二图像；
其中，通过该全息屏幕呈现的该三维全息对象是基于显示于该成型图像源的第一轮廓上的该图像以及独立显示于该成型图像源的第二轮廓上的该第二图像。
10.一种方法，包括：
确定全息对象的所需显示深度；
基于该所需显示深度，将对应该全息对象的图像源移动至离全息屏幕的一距离；以及
在该图像源上显示与该全息对象对应的图像。
11.如权利要求10所述的方法，还包括：
基于显示程序中的预配置时序，确定该所需显示深度。
12.如权利要求10所述的方法，还包括：
手动移动该图像源。
13.如权利要求10所述的方法，还包括：
基于检测该全息对象的深度关联于初始撷取与该全息对象对应的该图像的视频输入，确定该所需显示深度。
14.如权利要求10所述的方法，还包括：
确定第二全息对象的第二所需显示深度；
基于该第二所需显示深度，将对应该第二全息对象的第二图像源移动至离全息屏幕的第二距离；以及
在该第二图像源上显示与该第二全息对象对应的第二图像。
15.如权利要求10所述的方法，其中，该图像源是经成型。
CN201680026967.4A 2015-03-09 2016-03-09 用于增强式佩珀尔幽灵幻像的三维图像源 Pending CN107533184A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562130244P 2015-03-09 2015-03-09
US201562129987P 2015-03-09 2015-03-09
US62/130,244 2015-03-09
US62/129,987 2015-03-09
PCT/US2016/021514 WO2016145048A1 (en) 2015-03-09 2016-03-09 Three-dimensional image source for enhanced pepper's ghost illusion

Publications (1)

Publication Number Publication Date
CN107533184A true CN107533184A (zh) 2018-01-02

Family

ID=56880563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026967.4A Pending CN107533184A (zh) 2015-03-09 2016-03-09 用于增强式佩珀尔幽灵幻像的三维图像源

Country Status (5)

Country Link
US (1) US20160266543A1 (zh)
EP (1) EP3268780A4 (zh)
CN (1) CN107533184A (zh)
CA (1) CA2979211A1 (zh)
WO (1) WO2016145048A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141880A (zh) * 2019-05-22 2019-08-20 青岛博海数字创意研究院 一种基于空中成像的沉浸式延展舞台系统
WO2021036333A1 (zh) * 2019-08-28 2021-03-04 北京市商汤科技开发有限公司 立体显示装置
WO2021052104A1 (zh) * 2019-09-17 2021-03-25 荆门市探梦科技有限公司 一种全息显示系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108267861B (zh) * 2017-01-03 2020-08-04 京东方科技集团股份有限公司 显示设备及其操作方法、显示系统
GB201801762D0 (en) * 2018-02-02 2018-03-21 Interesting Audio Visual Ltd Apparatus and method
US11394549B1 (en) 2021-01-25 2022-07-19 8 Bit Development Inc. System and method for generating a pepper's ghost artifice in a virtual three-dimensional environment
US20220253153A1 (en) * 2021-02-10 2022-08-11 Universal City Studios Llc Interactive pepper's ghost effect system
US11899348B2 (en) 2022-03-02 2024-02-13 Universal City Studios Llc Show effect system for attraction system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745197A (en) * 1995-10-20 1998-04-28 The Aerospace Corporation Three-dimensional real-image volumetric display system and method
US5923469A (en) * 1995-10-12 1999-07-13 Videotronic Systems Eye contact rear screen imaging
US20110249087A1 (en) * 2010-04-08 2011-10-13 City University Of Hong Kong Multiple view display of three-dimensional images
CN202120033U (zh) * 2011-05-19 2012-01-18 红蝶科技(深圳)有限公司 一种三维图像显示装置
CN103235472A (zh) * 2004-04-01 2013-08-07 穆森系统有限公司 用于佩珀尔虚像幻影的投影设备和方法
CN103686140A (zh) * 2013-12-30 2014-03-26 张瀚宇 一种基于预定场地的三维物体的投影制作方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3808406A1 (de) * 1987-09-29 1989-04-06 Wolfgang Lettner Vorrichtung zur erzeugung von durch spiegelung entstehenden luftbildern
US5528425A (en) 1993-10-06 1996-06-18 Design Magic, Inc. Apparatus and method for creating optical illusion effects
US5880711A (en) * 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
US6042235A (en) 1996-11-08 2000-03-28 Videotronic Systems Videoconferencing eye contact spatial imaging display
US5782547A (en) * 1996-11-08 1998-07-21 Videotronic Systems Magnified background image spatial object display
US8042947B1 (en) * 2000-10-07 2011-10-25 Metaio Gmbh Information system
US6323971B1 (en) * 2000-10-23 2001-11-27 Zebra Imaging, Inc. Hologram incorporating a plane with a projected image
KR100425293B1 (ko) * 2001-02-01 2004-03-30 삼성전자주식회사 입체 영상 표시 장치
GB0910117D0 (en) * 2008-07-14 2009-07-29 Holicom Film Ltd Method and system for filming
US8692738B2 (en) * 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
CN104054023B (zh) * 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的系统和方法
US8888295B2 (en) * 2012-07-02 2014-11-18 Disney Enterprises, Inc. Reflective surface tensioning and cleaning system for pepper's ghost illusion
US8734260B2 (en) * 2012-09-28 2014-05-27 Elektroncek D.D. Three-dimensional auditorium wagering system
US20150325055A1 (en) * 2012-12-17 2015-11-12 Anil Kumar Balakrishna Display apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923469A (en) * 1995-10-12 1999-07-13 Videotronic Systems Eye contact rear screen imaging
US5745197A (en) * 1995-10-20 1998-04-28 The Aerospace Corporation Three-dimensional real-image volumetric display system and method
CN103235472A (zh) * 2004-04-01 2013-08-07 穆森系统有限公司 用于佩珀尔虚像幻影的投影设备和方法
US20110249087A1 (en) * 2010-04-08 2011-10-13 City University Of Hong Kong Multiple view display of three-dimensional images
CN202120033U (zh) * 2011-05-19 2012-01-18 红蝶科技(深圳)有限公司 一种三维图像显示装置
CN103686140A (zh) * 2013-12-30 2014-03-26 张瀚宇 一种基于预定场地的三维物体的投影制作方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141880A (zh) * 2019-05-22 2019-08-20 青岛博海数字创意研究院 一种基于空中成像的沉浸式延展舞台系统
CN110141880B (zh) * 2019-05-22 2020-06-19 青岛博海数字创意研究院 一种基于空中成像的沉浸式延展舞台系统
WO2021036333A1 (zh) * 2019-08-28 2021-03-04 北京市商汤科技开发有限公司 立体显示装置
US11425362B2 (en) 2019-08-28 2022-08-23 Beijing Sensetime Technology Development Co., Ltd. Stereoscopic display device
WO2021052104A1 (zh) * 2019-09-17 2021-03-25 荆门市探梦科技有限公司 一种全息显示系统

Also Published As

Publication number Publication date
EP3268780A1 (en) 2018-01-17
CA2979211A1 (en) 2016-09-15
EP3268780A4 (en) 2018-11-14
US20160266543A1 (en) 2016-09-15
WO2016145048A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
CN107533184A (zh) 用于增强式佩珀尔幽灵幻像的三维图像源
US9849399B2 (en) Background imagery for enhanced pepper&#39;s ghost illusion
US10277813B1 (en) Remote immersive user experience from panoramic video
KR102077108B1 (ko) 콘텐츠 체험 서비스 제공 장치 및 그 방법
US10692288B1 (en) Compositing images for augmented reality
KR101435447B1 (ko) 방향 전환이 가능한 관람용 의자를 포함하는 다면 상영 시스템 및 방법
US20100253700A1 (en) Real-Time 3-D Interactions Between Real And Virtual Environments
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
US20050264858A1 (en) Multi-plane horizontal perspective display
US20050219695A1 (en) Horizontal perspective display
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
US10859852B2 (en) Real-time video processing for pyramid holographic projections
US20160139562A1 (en) Enhanced pepper&#39;s ghost illusion using video panel displays
KR20180052496A (ko) 가상 공연 스튜디오 시스템
US9989775B2 (en) Dual-sided pepper&#39;s ghost illusion
KR20220109379A (ko) 홀로그램 디스플레이 장치 및 사용 방법
US10384144B2 (en) Travel case for portable Pepper&#39;s Ghost Illusion setup
US11587284B2 (en) Virtual-world simulator
Broll Augmented reality
US20210065659A1 (en) Image processing apparatus, image processing method, program, and projection system
JPH04204842A (ja) 映像シミュレーション・システム
Cebulla Projection-based augmented reality
US9645404B2 (en) Low-profile bounce chamber for Pepper&#39;s Ghost Illusion
KR101895281B1 (ko) 증강현실 환경에서의 막대형 물체를 캡처하기 위한 장치 및 그 방법
Pastor Augmenting reality: On the shared history of perceptual illusion and video projection mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180102

WD01 Invention patent application deemed withdrawn after publication