CN116209972A - 用于提供来自3d电影的全息体验的方法 - Google Patents

用于提供来自3d电影的全息体验的方法 Download PDF

Info

Publication number
CN116209972A
CN116209972A CN202180043042.1A CN202180043042A CN116209972A CN 116209972 A CN116209972 A CN 116209972A CN 202180043042 A CN202180043042 A CN 202180043042A CN 116209972 A CN116209972 A CN 116209972A
Authority
CN
China
Prior art keywords
images
display
image
observer
perspective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180043042.1A
Other languages
English (en)
Inventor
斯蒂恩·斯文斯多普·克雷纳伊弗森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lilfixon Co ltd
Original Assignee
Lilfixon Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lilfixon Co ltd filed Critical Lilfixon Co ltd
Publication of CN116209972A publication Critical patent/CN116209972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于3D显示系统的微移动透视校正的方法。所述方法包括提供3D显示系统，所述3D显示系统包括用于向从观察角度观察所述3D图像的观察者显示3D图像的显示屏，其中所述观察角度被定义为所述观察者的眼睛与所述显示屏上的点之间的视线之间的角度。从具有3D场景表示的数据文件生成3D图像，所述3D场景表示包括用于显示右眼图像和左眼图像的原始相机角度。提供控制器和跟踪系统，用于跟踪所述观察者的位置并且确定观察角度的变化。从所述数据文件中并且根据所述观察角度的变化合成第一偏移3D图像和第二偏移3D图像，使得所述原始相机角度被所述观察者感知为旋转到第一合成相机角度和第二合成相机角度，并且生成3D图像并将其显示在所述显示屏上。

Description

用于提供来自3D电影的全息体验的方法
背景技术
通常通过记录左眼透视图和右眼透视图来创建3D电影。
当用户观看3D电影时，左眼透视图指向用户的左眼，并且右眼透视图指向用户的右眼。这可以例如通过佩戴过滤掉相关图像的特殊3D眼镜或者使用具有向用户的左眼和右眼发射不同图像的方向像素的显示器来控制。
这样，用户体验到有立体感的3D。一个问题是，当用户移动他的头部时，左端右眼透视图像保持不变，这与真实世界中发生的情况不同，在真实世界中，用户体验到视角变化，这种视角变化是非常明显的，即使是非常小的头部移动。这给人一种“整个世界”总是转向你的印象，因此你从相同的视角体验它。这是一种非常令人分心的假象，并且经常被认为是当观看3D电影时相当一部分观众抱怨不舒服、甚至头痛和恶心的主要原因之一。另一个问题是，估计有5-10％的人可能具有某种程度的受损立体视觉，并且一些人可能完全看不到立体深度，而是依赖于其他深度线索，例如用优势眼感知的微移动视差变化来感知深度，并且因此与在观看2D电影相比，他们可能根本不会从观看传统立体3D电影中受益。
光场显示器可以提供“环视”功能，因此当用户移动头部时，视角会发生变化。例如，Dimenco“模拟现实”单观察者自动立体显示器(www.dimenco.eu)包括眼睛跟踪系统，该眼睛跟踪系统可以控制实时计算机图形渲染器渲染从连续更新的相机位置记录的虚拟场景，因此视角与用户眼睛的对应位置相匹配。但这适用于实时渲染的虚拟场景，而不适用于录制的3D电影。
代替渲染虚拟场景的透视图，可以潜在地使用插值视图合成。即，可以使用先进的插值技术，从3D电影中包含的两个透视图中综合估计和生成透视图。这些技术是众所周知的，并且可以包括从两个透视图中估计深度图，使用一个或两个透视图以及用于估计“隐藏表面”的算法来合成与用户眼睛位置相对应的第三透视图。这些技术最近取得了巨大的进步，其中一些技术受益于诸如卷积神经网络等人工智能(AI)技术。然而，在实现这种原理时存在若干问题。
第一个问题是，由于若干原因，我们不希望用户在电影的宽范围的透视图之间自由选择。一个原因是视图合成技术仅在合成的视角相对接近原始视角之一，即接近3D电影中的透视图之一时运转良好。另一个原因是(除了在所谓的“VR电影”中，这是电影制作中一个非常小的领域)在电影中(包括在3D电影中)讲故事的一个重要方面是由导演而不是用户选择视角。
第二个问题出现在不止一个观看者的情况下。
发明内容
根据本发明的第一方面，上述目的和优点以及许多其他目的和优点将从本发明的描述中变得显而易见，这些目的和优点通过以下方式获得：
一种用于3D显示系统的微移动透视校正的方法，所述方法包括：
一种用于对第一组图像的透视图进行更新的显示系统的方法，所述方法包括：
-提供包括显示屏的所述显示系统，所述显示屏用于向从观察角度观察所述显示器的所述观察者显示所述第一组图像，
-提供包括所述第一组图像或用于渲染所述第一组图像的一组3D模型的数据，
所述第一组图像从第一视角描绘场景，
-提供控制器和跟踪系统，所述跟踪系统用于跟踪或检测所述观察者的眼睛位置，
-借助于所述控制器和所述跟踪系统确定所述观察角度，
-当所述观察者移动时，根据所述观察角度生成并且显示包括第一偏移图像的第二组图像，
所述第二组图像的每个相应图像从相应视角描绘所述场景，所述相应视角中的每一个具有构成相对于所述第一视角的角度的偏移，
-减小根据时间的所述偏移，使得相应的视角随着时间移动更接近所述第一视角，或者
-在场景变化时将所述偏移设置为零。
具体实施方式
图1图示了显示系统的示例。
眼睛1观察显示器2。
检测器/跟踪系统3能够检测眼睛(或观察者的其他身体部分)1并且计算观察角度V。
提供了场景的3D内容表示4，其可以包括3D内容的表示。这可以是具有一系列左眼图像和右眼图像的3D电影。内容/数据中的图像从预期的相机角度/视角(即电影导演优选或预期从其观看相应场景的视角)描绘电影的场景。
透视图图像生成器5能够接收3D内容表示4和观察角度V，观察角度V可以由水平分量Vx’和垂直分量Vy’构成，并且透视图图像生成器5能够计算并向显示器2输出透视图像，即从不同于预期视角(由数据内容定义的视角)的视角描绘场景的图像，因此生成的图像将具有与原始图像相比具有偏移/角度的视角。可以生成左眼图像和右眼图像，并且显示给观察者的左眼和右眼，以获得3D效果。
因此，当观察者移动时，图像将跟随观察者，从而产生全息效果。
可以通过将水平分量Vx计算为垂直平面与穿过眼睛1的线和显示器上的点之间的角度，并且将垂直分量Vy计算为水平面与穿过眼睛1的线和所述点之间的角度来定义观察角度V。所述点可以是显示器2的中心。
图2A示出了所公开的发明的配置的示例，其中眼睛1在水平方向上移动。
可以包括约束函数7。约束函数7可以在时域和空域中约束输入角度V，即，它可以约束输出角度，使得它仅能在输入变化之后的时间窗口期间偏离零，并且它可以约束输出角度，使得它仅能在有限的角度范围内偏离零。
约束函数7可以从眼睛跟踪和检测子系统6接收观察角度V的表示，执行V的高通滤波，并且向透视图图像生成器5输出所得的滤波角度V’。
高通滤波器滤除低频内容并且使高频内容通过，即，观察者的缓慢移动可能不会导致生成具有偏移透视的图像，但是观察者的快速移动可能导致生成具有偏移透视的图像。代替高通滤波器，可以使用作为指令存储在显示器的存储器中的算法。
约束函数7可以对水平分量Vx执行高通滤波，并且对垂直分量Vy执行高通滤波。
高通滤波器的时间常数T可以被定义为半衰期除以0.69，其中半衰期是从阶跃函数被输入到高通滤波器时直到输出值已经衰减到初始响应的一半的间隔。
高通滤波器的时间常数T可以在2-15秒的范围内，诸如3-10秒、诸如4-8秒、诸如5秒。
可替代地，高通滤波器的时间常数可以是用户可调节的。
进一步地，时间常数T可以基于图像内容动态地更新。
例如，在检测到相机运动的场景中，时间常数可以减小，并且时间常数的减小可以取决于相机运动的量和/或特征。
图2b示出了类似于图2A的配置的示例，其中眼睛1在垂直方向上移动。
眼睛1可以是观察显示器2上的立体图像的人的左眼或右眼，并且显示器2可以是立体显示器或立体显示系统的一部分。
一副3D眼镜(未示出)的眼睛开口可以位于眼睛1与显示器2之间。可替代地，显示器2可以具有自动立体能力。可替代地，显示器2可以被包括在头戴式显示系统中。在又一可替代配置中，眼睛1可以是立体视觉受损的人的眼睛，例如优势眼，并且显示器2可以是单视场显示器。
可以包括检测器3，并且该检测器可以位于固定到显示器2的位置。检测器3例如可以是在可见或红外光谱中操作的相机。检测器3还可以包括无源红外检测器。
3D内容表示4可以例如包括存储在计算机存储器中的虚拟3D模型。虚拟3D模型可以使用例如商业Unity或Unreal格式或其他标准或定制的虚拟3D模型格式(如在计算机游戏行业中众所周知的)来存储。可替代地或另外，3D内容表示4可以包括3D场景的多个包含的透视图图像。例如，3D内容表示4可以包括场景或物体的左眼透视图图像和右眼透视图图像，这在3D电影行业中是众所周知的。可替代地或另外，3D内容表示4可以以光场显示领域中已知的格式(例如JPEG Pleno格式)提供。可替代地，3D内容表示4可以包括例如呈左眼透视图像序列和右眼透视图像序列的格式的3D电影或3D电影的一部分的表示。可替代地，3D电影可以是已经为附加透视图图像的快速渲染而准备的格式，例如，该格式可以是多平面图像序列，如下面所引用的论文中所描述的。3D内容表示可以是包括完整3D电影的存储介质，或者它例如可以是视频流缓冲器。
透视校正图像可以基本上等于修改后的原始透视图图像，因此观察到的3D场景围绕3D场景中的旋转中心旋转了旋转角度V”。
原始透视图图像可以被定义为由被包括在3D内容表示4中的虚拟相机捕捉的图像。可替代地，原始透视图图像可以被定义为3D内容表示4中所包括的多个透视图图像之一。
例如，如果眼睛1是人的左眼，则原始透视图图像可以被定义为被包括在3D内容表示4中的左眼透视图图像，并且如果眼睛1是人的右眼，则原始透视图图像可以被定义为被包括在3D内容表示4中的右眼透视图图像。
旋转中心可以例如这样的位置，该位置在3D场景中基本上与原始透视图图像的水平中间相对应，并且远离例如在地平线上与原始透视图图像相对应的观察点。
透视图图像生成器5可以包括能够使用所包含的透视图图像中的至少一个作为输入来计算视图合成的电路。例如，它可以包括执行视图合成算法的处理器。视图合成算法可以例如类似于Zhou等人的论文“立体放大：使用多平面图像学习视点合成[StereoMagnification:Learning view synthesis using multiplane images]”(加州大学伯克利分校，2018年5月，《美国计算机学会图形学汇刊(ACM Trans.Graph.)》，第37卷，第4期，第65条，出版日期：2018年8月)。(该论文在此引入作为参考)。
可以预先计算一组多平面图像，每个多平面图像与构成电影的图像序列中的图像相对应，并且可以在展示期间从多平面图像计算透视图。可替代地或另外，合成的3D场景的计算可以使用所包括的透视图图像中的至少一个作为输入来执行，并且它可以进一步包括合成的3D场景的透视渲染。透视图图像生成器可以包括深度学习神经网络，例如卷积神经网络，例如Flynn等人2016年在拉斯维加斯《IEEE Xplore》上发表的论文“深度立体：学习从世界图像中预测新的视点图[DeepStereo:Learning to Predict New Views from theWorld’s Imagery]”。
可以包括控制器9。控制器9能够读取3D内容表示，并且利用从3D内容表示4计算出的或直接从3D内容表示4输入的值来更新高通滤波器中的时间常数T。
视频序列可以存储在3D内容表示4中，并且可以提供具有一组时间代码间隔和一组对应时间常数的对应表格并且将其存储在控制器9中。该表可以存储在3D内容表示4中并且由控制器9读取，或者可以由控制器9根据视频序列来计算该表。控制器9可以进一步连接到透视图图像生成器5，并且指示透视图图像生成器5回放视频序列，即，将视频帧序列输出到显示器2，并且将表格中的设定时间常数同步输出到高通滤波器7。
因此，控制器可以在视频序列回放期间更新时间常数T，以优化体验。例如，在具有适度相机运动的场景中，T可以减少到3秒，并且在具有快速相机运动的场景中，T可以减少到1秒。进一步地，当在图像内容中检测到场景切换时，控制器可以将时间常数减小到基本为零。这种将时间常数减小到基本为零的方法可能具有这样的效果，即，V’并且因此V”被快速设置为零，并且因此所显示的图像突然恢复到原始的透视图像，其优点是这种突然变化是不明显的，因为它与场景切换同步发生。控制器利用3D电影的特定间隔的优化时间常数来更新高通滤波器的时间常数T的这种配置的优点可以在许多情况下减少观察到合成透视图直到再次观察原始透视图的时间。
控制器9可以包括用于在回放期间基本实时地执行自动相机运动检测和场景切换检测的软件。软件可以查看当前的视频帧，并且将其与前一帧进行比较。另外，它可以查看3D内容表示4中的后续视频帧。
可替代地，相机运动检测和场景切换检测可以在回放之前执行，并且可以在回放时作为元数据与用于与视频帧序列同步的装置一起提供，例如作为时间编码的元数据，其可以包含在视频流中或者单独提供。
可以使用例如包括光流分析和镜头转换检测的相机运动检测算法(例如使用视频压缩和自动场景索引技术领域中已知的算法)来自动执行相机运动检测和场景切换检测。可替代地，相机运动检测和场景切换检测可以由视频操作者执行，视频操作者可以将信息输入到元数据文件中，例如具有对应的一组时间常数的时间代码间隔的表格。或者它可以作为自动检测和人工质量控制以及自动检测系统的输出校正的组合来执行。
进一步地，约束函数7可以包括限制器，其限制输出V’。限制器可以将水平分量Vx限制在最小水平值Vx,min与最大水平值Vx,max之间，并且将垂直分量Vy限制在最小垂直值Vy,min与最大垂直值Vy,max之间。可替代地，限制器可以将合成总角度V限制在最小角度Vmin和最大角度Vmax内。限制器可以是对称的，即，(Vx,min＝-Vx,max和Vy,min＝-Vy,max)或(Vmin＝-Vmax)。可以选择(Vx,min、Vx,max、Vy,min和Vy,max)或(Vmin和Vmax)，使得限制器的输出基本上始终在角度范围内，在该角度范围内，透视图图像生成器5可以在期望的时间间隔内计算可接受图像质量的透视校正图像。限制器可以包括sigmoid或tanh函数。限制器8可以包括滞后函数。
因此，当眼睛1移动时，观察角度V的变化在由角度Vx,min、Vx,max、Vy,min和Vy,max定义的界限内，观察到的图像最初被透视校正，产生自然和真实的体验，特别是在显示器2是立体显示器的情况下。在随后的时间窗口Twin期间(即，“回落时段”期间)，高通滤波器将V’缓慢地减小到基本上为0度。这将被体验为观看角度朝向电影导演或游戏制作者所期望的原始观看角度的缓慢变化。如果低通滤波器的时间常数被适当地调整，视角的这种缓慢且小的变化在大多数情况下可以被体验为轻微的相机移动，或者如果相机已经在移动，则被体验为非常轻微变化的相机移动，因此不会在体验时使人分心。当角度V’低于阈值角度Vt时，在其输入到透视图图像生成器5之前，可以将其设置为零。Vt可以是例如1/10度。V’低于Vt可以被描述为眼睛1处于静止状态。因此，当眼睛1处于静止状态时，它可以看到原始透视图图像。
可替代地，约束函数7可以包括平滑化操作和差分操作，其中平滑化操作取输入V，并且差分操作取来自低通滤波器和V的输出作为输入，并且其中差分操作输出V’。
平滑化操作可以被构造或选择为具有阶跃响应，在该阶跃响应中时间窗口Twin中的输出从基本上为零逐渐变为平滑化操作的基本输入值，并且在时间窗口Twin的开始处具有低梯度，在时间窗口Twin的结束处具有低梯度，以及在时间窗口Twin的开始与结束之间具有较高梯度。换句话说，阶跃响应可以具有渐进特性和渐出特性。例如，阶跃响应可以近似类似于“smoothstep函数”、“smootherstep函数”、Sigmoid函数、Tanh函数或Arctan函数。平滑化操作可以例如具有基本上是Sigmoid函数、Smoothstep函数、Smootherstep函数、Tanh函数或Arctan函数的导数的传递函数。这样的函数的渐进和渐出特性可以进一步有助于减少“回落时段”期间视角的显著变化。
图3A示出了教导配置的示例的流程图，其中变化响应滤波器10被实现为离散时间操作，例如在处理器上执行的软件代码。
在这种配置中，可以以基本上相等的间隔重复一系列步骤，例如，可以对显示器2上显示的一系列图像中的每个图像(视频帧)重复该系列步骤。
原理是，对于每个视频帧，经由来自眼睛跟踪和角度检测子系统6的输入来检测自上一个视频帧以来观察角度是否有变化，如果有，则将变化记录添加到列表中，其中变化记录指定水平方向和/或垂直方向(Vx和/或Vy)的变化量以及变化的时间戳。(这些操作显示在流程图底部的两个方框中)。
进一步地，对于每个视频帧，变化响应滤波器10的输出V’使用列表上的变化记录中的数据并且使用平滑化操作来更新。
进一步地，对于每个视频帧，可以检测是否有任何变化记录已经过期，即，当前时间是否已经过了变化记录中的时间戳加上时间窗口Twin。
图3B示出了详述图3A中标记为“使用列表上的每个变化记录更新V’”的操作的流程图。
每个记录可以存储指示当前视频帧的时间的“当前时间”Tnow和指示前一视频帧的时间的“前一时间”Tprev。对于列表上的每个记录，该操作可以用时间增量dT更新Tnow。时间增量dT可以计算为1/(Twin*帧速率)，其中Twin以秒为单位测量，并且其中帧率是每秒的视频帧数。另外，该操作可以在添加dT之前用Tnow的值更新前一时间Tprev。进一步地，该操作可以在输出在0与1之间的平滑化函数中计算dS从Tprev到Tnow的变化，例如，对于0≤x≤1，Smoothstep函数S(x)＝3x2+2x3，其中，当x>1时，可以将S(x)设置为零。例如，dS可以计算为dS＝S(Tnow/Twin)–S(Tprev/Twin)＝3*(Tnow/Twin)2+2*(Tnow/Twin)3–(3*(Tprev/Twin)2+2*(Tprev/Twin)3)。进一步地，该操作可以通过从输出值V’中减去存储在变化记录中的角度变化值dV乘以dS的积来计算约束函数7的输出V’的更新值，因此V’＝V’–dV*Ds。如上所描述的，当检测到场景切换时，控制器9可以将时间窗口Twin改变为非常小的值，例如视频帧的持续时间，即，Twin＝1s/帧速率。因此，存储在变化记录中的所有角度变化对V’的影响可以基本上完全消除，并且V’可以在一个视频帧的持续时间内被设置为零，并且所有变化记录可以过期。这样，将会突然跳回到优选的透视图，这可能是不可感知的，因为它与场景变化一致。
图3C示出了详述标记为“从列表中移除任何过期的变化记录”的操作的流程图。
这里的原理是，将当前时间Tnow已经超过变化的时间戳Tstamp加上时间窗口Twin的记录从列表中删除。这些变化记录不再有任何作用，可以被删除以节省内存。
图3C示出了详述标记为“向列表添加变化记录”的操作的流程图。该操作最初将检测到的从前一视频帧到该视频帧的角度变化添加到约束滤波器7的输出V’上。则它将变化记录添加到列表中，并且将等于检测到的改变的值dV存储在变化记录中，并且进一步存储当前时间的时间戳Tstamp。因此，创建存储关于角度变化量的信息的变化记录，该信息具有发生该变化记录的时间戳，并且将该记录添加到列表。
图3A至图3C中的所有角度值和角度变化值可以在水平方向和垂直方向两者上被存储和处理，例如V可以表示矢量值Vx,Vy。
图4A示出了在具有静态相机的场景期间约束滤波器7的输出的示例的曲线图，其中时间窗口Twin(在曲线图上表示为T)在该场景期间是恒定的。
在上曲线图中，x轴表示时间，并且y轴表示秒。在下曲线图中，x轴表示时间，并且y轴表示角度。下曲线图中的实线表示观察角度V，并且虚线表示约束滤波器7的输出V’。该曲线图说明了当V有变化时(即，眼睛1正在移动时)，则输出V’最初跟随V的变化，并且紧接着跟随Smoothstep函数，并且逐渐缓慢地减小，直到它基本上达到零。因此，当轻微移动时，观察者体验了视角的自然变化，之后体验了不可察觉的或稍微可察觉的缓慢相机行进回到原始视角。
图4B示出了类似的曲线图，但是其中在视频内容中存在快速的相机移动。
在该示例中，Twin也是恒定的，但是更小，因此相机返回到原始视角更快，但是由于原始视频内容中的快速相机移动，可能仍然是察觉不到的。
图4C示出了类似的曲线图，但是是针对这样的场景，其中相机是静止的，并且其中约束函数中包括开始延迟，使得在V’开始下降到零之前有一个时间间隔，即在观察者移动之后直到观察者体验到相机开始缓慢移动回到原始视角之前有一个短的时间段。
这种开始延迟可以进一步降低所感知的相机移动回到原始视角的可感知性和/或减少视觉上诱发的晕动病，因为所体验的相机移动与观察者的移动是分离的。
图4D示出了类似的曲线图，但是这次是针对包括场景变化(场景切换)的视频序列。实质上，在场景切换时，控制器简单地将时间窗口Twin设置为视频帧的持续时间(例如1/30秒)，因此在场景变化时V’立即被设置为0，并且视角变化被场景变化隐藏。
图5示出了包括一组眼睛的所公开发明的可替代配置的示例的俯视图，其中该组眼睛中的一只眼睛可以是一组N个观察者中的一个观察者的左眼或右眼，其中N可以大于1，例如5。
显示器2能够在持续时间T内显示一组M个可显示的透视图图像，其中M例如可以是6，并且T可以是1/60秒。因此，观察者的眼睛可以观察到每秒60帧的帧速率。T可以被最小化以最大化观察者的眼睛观察到的帧速率，因此它可以最小化显示到透视图像之间的时间间隔，这些透视图像最初可以基本上同时被记录。可替代地，两个透视图像可以以它们之间的第一时间间隔被记录，并且以它们之间的第二时间间隔被显示，其中，所述第一时间间隔和所述第二时间间隔基本上相等。
显示器2可以进一步能够显示该组眼睛内的眼睛子组的透视图，使得该组眼睛内和该眼睛子组外的眼睛看不到所述透视图。因此，在持续时间T的间隔期间，每只眼睛基本上仅能看到一幅透视图图像。
例如，显示器2可以在持续时间T的第一间隔T1期间向所有左眼显示第一左眼透视图像，并且向所有右眼显示第一右眼透视图像，在该持续时间中所有眼睛都处于静止状态。在另一示例中，显示器2可以在第二间隔T2期间(其中移动的左眼和移动的右眼不处于静止状态，并且其他眼睛处于静止状态)向处于静止状态的左眼显示第一左眼透视图，向处于静止状态的右眼显示第一右眼透视图，向移动的左眼显示第二左眼透视图，并且向移动的右眼显示第二右眼透视图。因此，即使眼睛的数量2*N(在该示例中为2*5＝10)大于可显示的透视图像的数量M(在该示例中为6)，所有观察者也可以体验期望的微移动透视校正。事实上，在M＝6和N＝10的该示例中，两个观察者可能正在移动，而所有的观察者仍然在体验期望的微移动透视校正。这是一个优点，因为在显示器2的实际实现方式中，可显示的透视图的数量M可能是有限的。
显示器2例如可以是在与透视图图像生成器5同步的占空比中操作的时分复用显示器，每个占空比具有持续时间T，并且每个占空比包括M个时隙，并且M个可显示透视图图像中的一个可以在一个时隙期间显示。可以选择时间间隔T，使得观察者基本上不会体验到使人分心的闪烁，例如它可以选择为1/60秒。因此，显示器的最小帧速率Rf必须为Rf＝M/T。在以上示例中，这对应于Rf＝6/(1/60)＝360fps。
显示器2例如可以是高帧率显示器，例如LED视频墙、微LED显示器、OLED显示器或者诸如Fujitsu DynaFlash的高帧速率投影仪。观察者可以佩戴电子快门眼镜(未示出)，该电子快门眼镜包括位于眼睛1与显示器2之间的至少一个快门，并且其中，所述快门与显示器2同步，使得其可以在显示第一透视图像的第一时隙期间基本上打开，并且在显示第二透视图像的第二时隙期间基本上关闭。因此，眼睛1将在第一时隙中被显示器照亮并且看到所显示的透视图像，并且在第二时隙中，眼睛1将基本上不被显示器照亮，并且基本上看不到在第二时隙中所显示的透视图像。可替代地，它可以是包括方向像素的显示器，例如光场显示器或自动多视点显示器。显示器可以例如是自动多视点的并且以占空比时分复用的，该占空比至少包括具有在与第一组眼睛相对应的第一组方向上发射的光的第一时隙和具有在与第二组眼睛相对应的第二组方向上发射的光的第二时隙，例如具有方向性背光的快速LCD显示器，其方式类似于针对高帧速率显示器所描述的操作，然而，代替由观察者佩戴的同步快门眼镜，可以对应于快门眼镜中的快门基本上打开和关闭而基本上打开或关闭在朝向至少眼睛1的方向上的光的发射。因此，类似于快门眼镜的操作，眼睛1将在第一时隙中被显示器照亮并且看到所显示的透视图像，并且在第二时隙中，眼睛1将基本上不被显示器照亮，并且基本上看不到在第二时隙中所显示的透视图像。
眼睛跟踪和角度检测子系统6能够检测多于一只眼睛，例如观察显示器的所有眼睛，并且它能够计算多于一只眼睛的V，并且输出与显示器2的占空比和/或透视图图像生成器同步的V的计算值。可以包括运动检测器(未示出)，例如PID检测器，并且当检测到运动时，该运动检测器可以初始化眼睛跟踪和角度检测子系统6的操作。这可以节省眼睛跟踪和角度检测子系统6中的处理时间，并且减少关于眼睛移动的透视校正的时延。
在所公开的本发明的配置的示例中，当观察者正在移动时，即如果所述观察者的眼睛的V”高于Vt，控制器9可以从眼睛跟踪和角度检测子系统6接收输入，并且控制器9可以指示透视图图像生成器5根据所述观察者的左眼透视图(V’)和右眼透视图(V’)生成透视图像，并且控制器9可以识别占空比中显示暗图像的时隙，将时隙号指配给每个透视图像，并且指示显示器在每个指配的时隙期间分别照亮所述观察者的左眼和右眼。
图6示出了在所有眼睛都处于静止状态的情况下的时隙/图像表和观察者/眼睛表的示例，这可以进一步帮助解释上述配置的操作。
观察者/眼睛表示出了眼睛的列表以及时隙号，其中对应的眼睛被显示器照亮，即，显示器或显示控制器可以安排时隙或时间窗口，并且为每个时隙指配要显示的图像。时隙中的一些可以保留给暗图像，即，保留给观察者移动并且偏移图像应该放置在该时隙中的情况。偏移图像是视角与电影导演意图不同的图像。
从观察者/眼睛表可以看出，在时隙0期间，显示器可以照亮所有的左眼，并且在时隙1期间，显示器可以照亮所有的右眼。
时隙表/图像示出了时隙号列表以及对应的时隙期间显示的图像描述。
第一条目是时隙号0，并且表中的图像描述是：“左透视图(0)”，其表示可以在时隙0期间显示透视校正为0的左原始图像，即，可以显示没有透视校正的旨在用于左眼的原始图像。
第二条目是时隙号1，并且表中的图像描述是：“右透视图(0)”，其指示可以在时隙1期间显示透视校正为0的右原始图像，即，可以显示没有透视校正的旨在用于右眼的原始图像。
在其他时隙期间，显示器可能是暗的。
图7示出了在一名观察者(例如被称为观察者2)正在移动而所有其他眼睛处于静止状态的情况下的时隙/图像表和观察者/眼睛表的示例。
在这种情况下，观察者2的左眼可以在时隙2期间被照亮，并且指示由V”(观察者2)校正的左原始透视图像的被称为“左透视图(V”(观察者2))”的图像可以在时隙2期间被显示，观察者2的右眼可以在时隙3期间被照亮，并且指示由V”(观察者2)校正的右原始透视图像的被称为“右透视图(V”(观察者2))”的图像可以在时隙3期间被显示。
因此，观察者2的左眼可以看到“左透视图(V”(观察者2))”图像，并且观察者2的右眼可以看到“右透视图(V”(观察者2))”图像。V”(观察者2)指定角度值，该角度值可以是为观察者2的左眼计算的V”和为观察者2的右眼计算的V”之间的角度。
例如，它可以被计算为针对观察者2的左眼计算的V”和针对观察者2的右眼计算的V”的平均值。
可替代地，V”(观察者2)可以使用到观察者2的头部的点(例如质心)的角度V来计算。
由于V”的计算涉及限幅和高通滤波，因此观察者右眼的V”与左眼的V”之间的差异可能相对接近，并且V”的这种近似可能是足够的。因此，观察者2可以看到根据她的头部移动进行透视校正的原始左眼和右眼透视图像。
控制器9能够动态地调整显示器2的占空比，使得从占空比中消除显示器2处于黑暗的时隙。控制器9可以延长其他时隙的持续时间，以保持占空比持续时间，或者它可以缩短占空比持续时间。另外，控制器9可以指示显示器2在时隙期间降低亮度强度，因此基本上保持了平均亮度。
要点集合
1.一种用于3D显示系统的微移动透视校正的方法，所述方法包括：
-提供包括显示屏的所述3D显示系统，所述显示屏用于向从观察角度观察所述3D图像的观察者显示3D图像，
所述观察角度被定义为所述观察者的眼睛与所述显示屏上的点之间的视线之间的角度，
所述3D图像是从具有3D场景表示的数据文件生成的，所述3D场景表示包括用于向所述观察者的右眼显示右眼图像和向所述观察者的左眼显示左眼图像的原始相机角度，
-提供控制器和跟踪系统，所述跟踪系统用于跟踪或检测所述观察者的位置，
-借助于所述控制器和所述跟踪系统确定所述观察角度到偏移观察角度的变化，
-从所述数据文件中并且根据所述观察角度的所述变化合成第一偏移3D图像，使得所述原始相机角度被所述观察者感知为旋转到第一合成相机角度，
-从所述第一偏移3D图像生成第一偏移右眼图像和第一偏移左眼图像，
-借助于所述显示屏显示所述第一偏移右眼图像和所述第一偏移左眼图像，
-从所述数据文件合成第二偏移3D图像，使得所述第二偏移3D图像具有在所述原始相机角度与所述第一相机角度之间的第二合成相机角度，
-从所述第二偏移3D图像生成第二偏移右眼图像和第二偏移左眼图像，
-借助于所述显示屏显示所述第二偏移右眼图像和所述第二偏移左眼图像。
2.一种用于对第一组图像的透视图进行更新的显示系统的方法，所述方法包括：
-提供包括显示屏的所述显示系统，所述显示屏用于向从观察角度观察所述显示器的所述观察者显示所述第一组图像，
-提供包括所述第一组图像或用于渲染所述第一组图像的一组3D模型的数据，
所述第一组图像从第一视角描绘场景，
-提供控制器和跟踪系统，所述跟踪系统用于跟踪或检测所述观察者的眼睛位置，
-借助于所述控制器和所述跟踪系统确定所述观察角度，
-当所述观察者已经移动时，根据所述观察角度生成并且显示包括第一偏移图像的第二组图像，
所述第二组图像的每个相应图像从相应视角描绘所述场景，所述相应视角中的每一个具有构成相对于所述第一视角的角度的偏移。
3.根据前述要点中任一项所述的方法，独立于所述跟踪系统的输出合成所述第二偏移3D图像。
4.根据前述要点中任一项所述的方法，所述第一合成相机角度不同于所述原始相机角度。
5.根据前述要点中任一项所述的方法，所述第一合成相机角度从所述原始相机角度旋转了所述观察角度的所述变化的一个百分比。
6.根据前述要点中任一项所述的方法，所述第二偏移3D图像在所述第一偏移3D图像之后生成。
7.根据前述要点中任一项所述的方法，所述数据文件构成电影，或者所述数据文件包括3D图像序列。
8.根据前述要点中任一项所述的方法，
包括用于滤除所述观察者的所述位置的缓慢变化的滤波器，或者
根据时间合成偏移3D图像序列，使得每个偏移3D图像的所述合成相机角度逐渐朝向所述原始相机角度旋转回来。
9.根据前述要点中任一项所述的方法，定义了用于将所述合成相机角度朝向所述原始相机角度旋转回来的时间窗口，所述时间窗口优选地在2秒与15秒之间，诸如不超过10秒，并且优选地为4到6秒。
10.根据前述要点中任一项所述的方法，当所述观察者保持所述偏移观察角度并且所述原始相机角度被保持时，合成所述第二偏移3D图像。
11.根据前述要点中任一项所述的方法，所述3D显示系统是自动立体显示器、诸如虚拟现实头盔的头戴式显示器，或者所述3D显示系统包括立体滤波器。
12.根据前述要点中任一项所述的方法，定义角度阈值，使得所述第一合成相机角度被限制为小于所述角度阈值的角度，
所述角度阈值优选地在5至20度之间，诸如10度。
13.根据前述要点中任一项所述的方法，所述观察角度优选地具有水平分量，或者所述观察角度具有垂直分量。
14.根据前述要点中任一项所述的方法，包括跟踪从多个观察角度观察所述3D图像的多个观察者。
15.根据前述要点中任一项所述的方法，包括提供占空比控制器，所述占空比控制器用于定义3D图像序列，以便借助于所述显示屏向所述多个观察者顺序地显示。
16.根据前述要点中任一项所述的方法，指配多个时间窗口，所述时间窗口定义用于左眼图像或右眼图像或暗屏的时隙，在所述时隙中，所述显示屏不显示图像或显示亮度降低的图像，所述用于暗屏的时隙构成了用于具有变化的观察角度的观察者的合成的偏移右眼图像或合成的偏移左眼图像的可用时隙。
17.根据前述要点中任一项所述的方法，所述视角定义相机角度。
18.根据前述要点中任一项所述的方法，所述相机角度被定义为观察点与由所述场景表示描述的场景中的点之间的角度。
19.根据前述要点中任一项所述的方法，所述观察角度被定义为正交于所述显示表面的线以及所述观察者的眼睛位置与所述显示屏上的点之间的线之间的角度。
20.根据前述要点中任一项所述的方法，包括变化响应函数，所述变化响应函数构成对所述跟踪系统的所述输出进行操作的约束函数，
-其中，所述变化响应函数当被输入时，阶跃函数最初输出基本上等于输入值的值，并且然后随着时间逐渐将其输出改变到基本上为零。
21.根据前述要点中任一项所述的方法，
-其中，所述变化响应函数是高通滤波器。
22.根据前述要点中任一项所述的方法，
-其中，所述变化响应函数包括将所述观察角度作为输入的平滑化函数和将所述观察角度和来自所述平滑化函数的输出作为输入的差分函数，并且其中，所述变化响应函数的输出被设置为所述差分函数的输出。
23.根据前述要点中任一项所述的方法，
-其中，所述平滑化函数输出在所述时间维度上平滑化的值。
24.根据前述要点中任一项所述的方法，
-其中，所述平滑化函数是低通滤波器。
25.根据前述要点中任一项所述的方法，
-其中，选择所述平滑化函数，使其具有类Sigmoid的阶跃响应。
26.根据前述要点中任一项所述的方法，
-其中，选择所述平滑化函数，使其具有基本上等于“Smoothstep”函数的阶跃响应，即，S(X)＝3X2–2x3。
27.根据前述要点中任一项所述的方法，
-其中，选择所述平滑化函数，使其具有基本上等于“Smoothstep”函数的阶跃响应，即，S(X)＝6x5–15X4+10X3。
28.根据前述要点中任一项所述的方法，
-其中，选择所述平滑化函数，使其具有基本上等于tanH或ArcTan的阶跃响应。
29.根据前述要点中任一项所述的方法，
-其中，所述平滑化函数是类Sigmoid函数、SmoothStep函数、SmootherStep函数、tanH函数或Arctan函数的导数。
30.根据前述要点中任一项所述的方法，
-其中，所述平滑化函数具有延迟响应。
31.根据前述要点中任一项所述的方法，
-其中，所述平滑化函数包括延迟时间常数。
32.根据前述要点中任一项所述的方法，
-其中，包括控制器，并且其中，所述控制器能够确定所述场景中的变化并且修改所述平滑化函数。
33.根据前述要点中任一项所述的方法，
-其中，所述控制器能够通过分析所述场景表示来确定所述场景中的变化。
34.根据前述要点中任一项所述的方法，
-其中，所述控制器能够通过分析描述所述场景的特性的元数据来确定所述场景中的变化。
35.根据前述要点中任一项所述的方法，
-其中，所述变化响应函数被实现为离散时间操作。
36.根据前述要点中任一项所述的方法，
-其中，所述离散时间操作与视频帧速率是时间同步的。
37.根据前述要点中任一项所述的方法，
-其中，所述元数据基本上是在所述显示器显示所述场景的同时生成的。
38.根据前述要点中任一项所述的方法，
-其中，所述元数据是在所述显示器显示所述场景之前生成的。
39.根据前述要点中任一项所述的方法，
-其中，所述元数据与所述场景中的变化是时间同步的。
40.根据前述要点中任一项所述的方法，
-其中，所述元数据包括关于所述场景变化的数据。
41.根据前述要点中任一项所述的方法，
-其中，所述元数据包括关于所述场景中相机运动的数据。
42.根据前述要点中任一项所述的方法，
-其中，所述元数据包括关于所述场景中的场景变化(“镜头检测点”)的数据。
43.根据前述要点中任一项所述的方法，
-进一步包括箝位函数，其中所述箝位函数限制所述相机偏移角度。
44.根据前述要点中任一项所述的方法，
-其中，所述箝位函数是类Sigmoid函数。
45.根据前述要点中任一项所述的方法，
-其中，所述箝位函数是Smoothstep函数、Smootherstep函数、tanH函数或Arctan函数。
46.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括3D场景模型
47.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括关于所述3D场景模型在一段时间内的变化的信息。
48.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括所述场景的左眼透视图像和右眼透视图像
49.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括多平面图像。
50.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括多平面图像，并且所述变化响应函数被消除，因此根据所述观察角度生成所述更新的透视图图像。
51.根据前述要点中任一项所述的方法，
-其中，所述定义相机角度的数据包括虚拟相机的位置。
52.根据前述要点中任一项所述的方法，
-其中，所述定义相机角度的数据包括从所述相机角度记录的所述场景的透视图像。
53.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括图像序列。
54.根据前述要点中任一项所述的方法，
-其中，所述变化响应函数具有衰减时间，所述衰减时间被定义为从输入阶跃被输入时开始到所述输出变回零或低于阈值时结束的时间间隔。
55.根据前述要点中任一项所述的方法，
-其中，所述变化响应函数能够执行将衰减时间改变为从控制器输入的新衰减时间。
56.根据前述要点中任一项所述的方法，
-其中，所述响应函数能够在衰减时间中进行这种变化而所述衰减函数的所述输出基本上没有突然变化。
57.根据前述要点中任一项所述的方法，
-其中，在衰减时间改变之后，偏移时间被添加到所述响应函数的所述输入，因此所述衰减函数的所述输出基本上没有突然变化。
58.根据前述要点中任一项所述的方法，
-其中，所述控制器能够在所述场景中存在少量相机运动时将所述变化响应函数的所述衰减时间设置为比存在大量相机运动时更大的值。
59.根据前述要点中任一项所述的方法，
-其中，所述控制器能够在所述场景中存在少量物体运动时将所述变化响应函数的所述衰减时间设置为比存在大量物体运动时更大的值。
60.根据前述要点中任一项所述的方法，
-其中，当图像序列中存在场景切换时，所述控制器能够指导所述变化响应函数将其输出设置为基本上为零。
61.根据前述要点中任一项所述的方法，
-其中，当图像序列中存在场景切换时，所述控制器能够将所述变化响应函数的所述衰减时间设置为基本上为零。
62.根据前述要点中任一项所述的方法，
-其中，所述控制器能够通过分析所述场景来确定相机运动的量、物体运动或场景切换的存在。
63.根据前述要点中任一项所述的方法，
-其中，所述控制器能够通过读取与所述场景变化同步的元数据来确定相机运动的量、物体运动或场景切换的存在
64.根据前述要点中任一项所述的方法，
-其中，所述相机是一对立体相机中的一个。
65.根据前述要点中任一项所述的方法，
-其中，所述相机是物理相机。
66.根据前述要点中任一项所述的方法，
-其中，所述相机是虚拟相机。
67.根据前述要点中任一项所述的方法，
-其中，所述显示器是3D显示器
68.根据前述要点中任一项所述的方法，
-其中，所述显示器是自动立体显示器。
69.根据前述要点中任一项所述的方法，
-其中，所述显示器是头戴式显示器。
70.根据前述要点中任一项所述的方法，
-其中，所述显示器位于一副VR眼镜中。
71.根据前述要点中任一项所述的方法，
-其中，所述显示器位于一副AR眼镜中。
72.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括存储在连接到所述显示器的设备中的计算机文件。
73.根据前述要点中任一项所述的方法，
-其中，所述数据输入包括流式数据文件。
74.根据前述要点中任一项所述的方法，
其中，所述数据输入包括实况视频数据流。

Claims (10)

1.一种用于对第一组图像的透视图进行更新的显示系统的方法，所述方法包括：
-提供包括显示屏的所述显示系统，所述显示屏用于向从观察角度观察所述显示器的所述观察者显示所述第一组图像，
-提供包括所述第一组图像或光场数据集或用于渲染所述第一组图像的3D模型的数据，
所述第一组图像从第一视角描绘场景，
-提供控制器和跟踪系统，所述跟踪系统用于跟踪或检测所述观察者的眼睛位置，
-借助于所述控制器和所述跟踪系统确定所述观察角度，
-当所述观察者移动眼睛位置时，根据所述观察角度生成并且显示包括第一偏移图像的第二组图像，
所述第二组图像的每个相应图像从相应视角描绘所述场景，所述相应视角中的每一个具有构成相对于所述第一视角的角度的偏移，
-减小根据时间的所述偏移，使得相应的视角随着时间移动更接近所述第一视角，或者
-在场景变化时将所述偏移设置为零。
2.根据前述权利要求中任一项所述的方法，所述控制器和所述跟踪系统被布置用于跟踪第二观察者和第三观察者，所述第二观察者从第二观察角度观察所述显示器，并且所述第三观察者从第三观察角度观察所述显示器。
3.根据前述权利要求中任一项所述的方法，借助于所述控制器和所述跟踪系统确定所述第二观察角度和所述第三观察角度。
4.根据前述权利要求中任一项所述的方法，当所述第二观察者和所述第三观察者保持其相应的位置时，向所述第二观察者和所述第三观察者显示所述第一组图像。
5.根据前述权利要求中任一项所述的方法，在所述观察者移动眼睛位置之后，生成并且显示所述第二组图像。
6.根据前述权利要求中任一项所述的方法，所述第二组图像的生成和显示相对于所述观察者的移动具有延迟，所述延迟在0.5至6秒的范围内，诸如1至2秒。
7.根据前述权利要求中任一项所述的方法，所述第一组图像包括多个图像。
8.根据前述权利要求中任一项所述的方法，所述第一组图像包括多个图像。
9.根据前述权利要求中任一项所述的方法，所述第二组图像包括多个图像。
10.根据前述权利要求中任一项所述的方法，通过使所述跟踪系统的输出通过高通滤波器来减小所述偏移。
CN202180043042.1A 2020-04-21 2021-04-21 用于提供来自3d电影的全息体验的方法 Pending CN116209972A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20170622.3 2020-04-21
EP20170622 2020-04-21
PCT/EP2021/060416 WO2021214154A1 (en) 2020-04-21 2021-04-21 A method for providing a holographic experience from a 3d movie

Publications (1)

Publication Number Publication Date
CN116209972A true CN116209972A (zh) 2023-06-02

Family

ID=70480069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180043042.1A Pending CN116209972A (zh) 2020-04-21 2021-04-21 用于提供来自3d电影的全息体验的方法

Country Status (4)

Country Link
US (1) US20230156171A1 (zh)
EP (1) EP4139776A1 (zh)
CN (1) CN116209972A (zh)
WO (1) WO2021214154A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3397602B2 (ja) * 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
EP2724542B1 (en) * 2011-06-22 2018-10-24 Koninklijke Philips N.V. Method and apparatus for generating a signal for a display

Also Published As

Publication number Publication date
US20230156171A1 (en) 2023-05-18
EP4139776A1 (en) 2023-03-01
WO2021214154A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
US9716874B2 (en) Continuous adjustable 3Deeps Filter Spectacles for optimized 3Deeps stereoscopic viewing, control method and means therefor, and system and method of generating and displaying a modified video
US8208009B2 (en) Stereoscopic image generation using retinal rivalry in scene transitions
US9094675B2 (en) Processing image data from multiple cameras for motion pictures
US8228327B2 (en) Non-linear depth rendering of stereoscopic animated images
EP2724542B1 (en) Method and apparatus for generating a signal for a display
US6496598B1 (en) Image processing method and apparatus
US10237537B2 (en) System and method for creating an interactive virtual reality (VR) movie having live action elements
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP4623222B2 (ja) 映像信号処理装置、映像信号処理方法及び映像信号処理システム、プログラム、並びに記録媒体
US20150348273A1 (en) Depth modification for display applications
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
WO1998009445A1 (en) Method for producing a synthesized stereoscopic image
EP3080986A1 (en) Systems and methods for producing panoramic and stereoscopic videos
CA2783588C (en) Method and apparatus for optimal motion reproduction in stereoscopic digital cinema
US9161018B2 (en) Methods and systems for synthesizing stereoscopic images
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
US20230156171A1 (en) A method for providing a holographic experience from a 3d movie
Tseng et al. Automatically optimizing stereo camera system based on 3D cinematography principles
JP2012100015A (ja) 三次元映像再生装置
JP2024148528A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5501150B2 (ja) 表示装置及びその制御方法
US20140267635A1 (en) Enhanced 3D Display Method and System
JP2006521614A (ja) 画像処理
AU8964598A (en) Image processing method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination