CN112292853A - 用于显示三维图像序列的方法和系统 - Google Patents

用于显示三维图像序列的方法和系统 Download PDF

Info

Publication number
CN112292853A
CN112292853A CN201980038117.XA CN201980038117A CN112292853A CN 112292853 A CN112292853 A CN 112292853A CN 201980038117 A CN201980038117 A CN 201980038117A CN 112292853 A CN112292853 A CN 112292853A
Authority
CN
China
Prior art keywords
image
dimensional
bit
dimensional image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980038117.XA
Other languages
English (en)
Inventor
伊尔马斯·奥斯马尼斯
克里斯·奥斯马尼斯
加特斯·瓦尔特斯
伦迪吉斯·斯穆库里斯
尤娜·坎德尔
罗伯茨·査贝尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lethbus Technology Co ltd
Lightspace Technologies SIA
Original Assignee
Lethbus Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lethbus Technology Co ltd filed Critical Lethbus Technology Co ltd
Publication of CN112292853A publication Critical patent/CN112292853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了一种显示三维图像序列的方法，所述方法包括：(i)生成数据流，数据流包括与三维图像序列中的每个图像相关联的多个图像平面；(ii)生成与数据流相关联的位平面流，位平面流包括与三维图像序列中的每个图像相关联的多个位平面；(iii)异步地缓冲位平面流，以提供与第一三维图像相关联的第一多个位平面；以及(iv)基于第一多个位平面，投影与第一三维图像相关联的第一多个图像平面，以显示第一三维图像，对第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供为止。

Description

用于显示三维图像序列的方法和系统
技术领域
本公开总体涉及三维成像，并且更具体地，涉及显示三维图像序列的方法。此外，本公开还涉及用于显示上述三维图像序列的体显示(volumetric display)系统，例如包括多平面体显示、体显示驱动、图形处理单元和投影机的体显示系统。
背景技术
在过去的几十年里，显示技术取得了重大的技术进步，可以实现逼真的二维成像，以及三维成像。一般来说，采用二维显示器(例如，液晶显示器、基于发光二极管的显示器等等)通过利用双目视差来进行三维成像。在这种情况下，给定的三维物体/场景的不同二维视图显示在(i)针对观看者的右眼和左眼的分别的二维显示器上，或(ii)观看者的右眼和左眼共享的单个二维显示器上。当这些不同的二维视图在观看者的大脑中结合起来时，观看者就会感知到给定的三维物体/场景的深度。
然而，存在与使用二维显示器进行三维成像相关的局限性。首先，使用双目视差进行深度感知会导致视觉辐辏调节冲突(vergence-accommodation conflict)。其次，这种二维显示器通常以近眼设备(例如，抬头显示器、头戴式显示器、虚拟现实设备、增强现实设备等)的形式来实现，且长时间使用这种近眼设备会导致观看者的不适和眼疲劳。因此，如今，正在开发在三维显示器上显示三维物体/场景。
目前，为了克服上述二维显示器的局限性，正在开发用于三维成像目的的自动立体显示器。自动立体显示器有各种类型，包括但不限于多视图型显示器和立体型(volumetric-type)显示器。多视图型显示器通常通过采用例如视差障碍，从不同位置重现可观察到的给定的三维物体/场景的多个视图。然而，这种多视图类型的显示器存在一些问题，例如，视图内突然变化、光照强度降低以及成像分辨率降低。
立体型显示器可以采用投影设备将光投射到三维体积、主动发光体素或光学活性介质中，来创建给定的三维物体/场景的三维图像。然而，存在与各种立体型显示器相关联的许多限制，例如，图像分辨率差、难以全色呈现、难以扩展、计算密集型数据处理、难以实时成像、要求移动部件(例如移动屏幕)精确平衡等等。
因此，根据上述讨论，存在克服与上述现有三维成像显示技术相关联的缺陷的需求。
发明内容
本公开旨在提供一种显示三维图像序列的方法。
本公开还旨在提供一种用于显示三维图像序列的体显示系统。
本公开旨在提供一种解决方案，以解决与三维图像显示相关联的现有问题，例如图像分辨率低、难以全色呈现、难以实时成像等。本公开的目的是提供一种至少部分地克服现有技术中遇到的问题，并提供高图像分辨率、全彩显示、可扩展性以及实时成像的解决方案。
在一方面，本公开的实施例提供一种显示三维图像序列的方法，所述方法包括：
(i)生成数据流，所述数据流包括与所述三维图像序列中的每个图像相关联的多个图像平面；
(ii)生成与所述数据流相关联的位平面流，所述位平面流包括与所述三维图像序列中的每个图像相关联的多个位平面；
(iii)异步地缓冲所述位平面流，以提供与第一三维图像相关联的第一多个位平面；以及
(iv)基于所述第一多个位平面，投影与所述第一三维图像相关联的第一多个图像平面，以显示所述第一三维图像，对所述第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供为止。
在另一方面，本公开的实施例提供一种用于显示三维图像序列的体显示系统，所述体显示系统包括：
-包括多个光学扩散器的多平面体显示器，其中，所述体显示器的至少一个平面通过电可控的光学扩散器来实现；
-耦接到所述多平面体显示器的体显示驱动，所述体显示驱动被配置为控制所述多平面体显示器的操作；
-图形处理单元，被配置为生成包括数据流，所述数据流包括与所述三维图像序列中的每个图像相关联的多个图像平面；以及
-投影机，所述投影机可通信地耦接到所述图形处理单元和所述体显示驱动，所述投影机包括：光源、空间光调制器、投影装置、逻辑块、存储单元和驱动模块，所述逻辑块可通信地耦接到存储单元，以及所述驱动模块耦接到所述光源、所述空间光调制器、所述投影装置、所述逻辑块和所述存储单元，其中：
-所述逻辑块被配置为生成与所述数据流相关联的位平面流，所述位平面流包括与所述三维图像序列中的每个图像相关联的多个位平面；
-所述存储单元被配置为异步地缓冲所述位平面流，以向所述驱动模块提供与第一三维图像相关联的第一多个位平面；以及
-所述驱动模块被配置为控制所述光源、所述空间光调制器以及投影装置基于所述第一多个位平面投影与所述第一三维图像相关联的第一多个图像平面，以在所述多平面体显示器上显示所述第一三维图像；对所述第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供给所述驱动模块为止。
本公开的实施例实质上消除或至少部分地解决了现有技术中的上述问题，并且能够无缝地显示三维图像序列，从而提高用户观看这种三维图像序列的体验。
本公开的其他方面、优点、特征和目标将从附图以及结合后面所附权利要求进行解释的说明性实施例的详细描述中显而易见。
可以理解的是，在不偏离所附权利要求所定义的本公开的范围的情况下，本公开的特征容许以各种方式组合。
附图说明
当结合附图阅读时，可以更好地理解上述发明内容以及下面对说明性实施例的详细描述。为了说明本公开的目的，图中示出了本公开的示例性结构。然而，本公开并不限于本文所公开的具体方法和工具。此外，本领域的技术人员将理解，附图不是按比例绘制的。在可能的情况下，类似的元件已用相同的数字表示。
现在将仅以示例性的方式，参照以下附图来描述本公开的实施例，其中：
图1示出了根据本公开的实施例的用于显示三维图像序列的体显示系统的示意图。
图2示出了根据本公开的实施例的体显示系统的存储单元的结构的方框图。
图3示出了根据本公开的实施例的显示三维图像序列的方法的步骤；以及
图4示出了根据本公开的实施例的生成数据流的方法的步骤。
在附图中，采用下划线数字表示下划线数字所在的项目或下划线数字相邻的项目。无下划线数字涉及由连接无下划线数字与项目的线所标识的项目。当数字没有下划线并附有相关箭头时，无下划线数字用于标识箭头所指向的一般项目。
具体实施方式
以下详细描述说明了本公开的实施例以及能够实现它们的方法。尽管已经公开了一些实施本公开的模式，但本领域的技术人员将认识到，执行或实施本公开的其他实施例也是可能的。
在一方面，本公开的实施例提供一种显示三维图像序列的方法，所述方法包括：
(i)生成数据流，所述数据流包括与所述三维图像序列中的每个图像相关联的多个图像平面；
(ii)生成与所述数据流相关联的位平面流，所述位平面流包括与所述三维图像序列中的每个图像相关联的多个位平面；
(iii)异步地缓冲所述位平面流，以提供与第一三维图像相关联的第一多个位平面；以及
(iv)基于所述第一多个位平面，投影与所述第一三维图像相关联的第一多个图像平面，以显示所述第一三维图像，对所述第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供为止。
在另一方面，本公开的实施例提供一种用于显示三维图像序列的体显示系统，所述体显示系统包括：
-包括多个光学扩散器的多平面体显示器，其中，所述体显示器的至少一个平面通过电可控的光学扩散器来实现；
-耦接到所述多平面体显示器的体显示驱动，所述体显示驱动被配置为控制所述多平面体显示器的操作；
-图形处理单元，被配置为生成包括数据流，所述数据流包括与所述三维图像序列中的每个图像相关联的多个图像平面；以及
-投影机，所述投影机可通信地耦接到所述图形处理单元和所述体显示驱动，所述投影机包括：光源、空间光调制器、投影装置、逻辑块、存储单元和驱动模块，所述逻辑块可通信地耦接到存储单元，以及所述驱动模块耦接到所述光源、所述空间光调制器、所述投影装置、所述逻辑块和所述存储单元，其中：
-所述逻辑块被配置为生成与所述数据流相关联的位平面流，所述位平面流包括与所述三维图像序列中的每个图像相关联的多个位平面；
-所述存储单元被配置为异步地缓冲所述位平面流，以向所述驱动模块提供与第一三维图像相关联的第一多个位平面；以及
-所述驱动模块被配置为控制所述光源、所述空间光调制器以及投影装置基于所述第一多个位平面投影与所述第一三维图像相关联的第一多个图像平面，以在所述多平面体显示器上显示所述第一三维图像；对所述第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供给所述驱动模块为止。
本公开提供了用于显示三维图像序列的上述方法和上述体显示系统。术语“三维图像”指的是体三维图像(volumetric three-dimension images)，即，在体显示单元上构成三维图像的图像。上述方法速度快且计算简单，因此，可以实时地或近实时地显示三维图像序列。此外，上述方法使得能够适应生成位平面流的速率的变化和显示三维图像序列的速率的变化。因此，体显示系统的不同组件的不同操作速率被管理以使得三维图像序列被无缝地显示给用户。此外，体显示系统简单、鲁棒且用户友好。术语实时地或近实时地指的是当用户使用系统时，以用户不会观察到明显的延迟的方式显示图像。举例来说，如果系统用于显示其方向可由用户界面控制的物体的三维图像，则输入和视觉反馈之间的滞后应使得用户不会受到干扰。例如，超过150msec(毫秒)的延迟可能是不可取的。
可以理解的是，上述显示方法不限于显示三维图像序列，也可以用于显示单个图像。在这种情况下，数据流包括单个图像，且为了显示单个图像实施步骤(i)至(iv)。
在步骤(i)中，生成数据流。值得注意的是，图形处理单元被配置为生成数据流。在整个本公开中，术语“图形处理单元”涉及被配置为处理至少一个给定的三维图像以获得其组成的多个图像平面的专用硬件、软件、固件或这些硬件、软件、固件的组合。可以理解的是，图形处理单元通常包括数千个核(实际上是处理核等)，该数千个核使得能够并行处理多个三维图像。此外，图形处理单元被配置为以相当高的计算速率并行处理三维图像序列，以生成与三维图像序列中的每个图像对应的多个图像平面。通过利用应用程序编程接口(API)(可能以各种组合，例如，
Figure BDA0002818919950000071
CUDATM、
Figure BDA0002818919950000072
)来传送计算任务，以在图形处理单元上执行。
如前所述，数据流包括与三维图像序列中的每个图像相关联的多个图像平面。换句话说，数据流包括三维图像序列中的所有图像的所有组成的图像平面。例如，如果三维图像序列包括4个图像，每个图像具有5个图像平面，则数据流包括与这4个图像相关联的共20个图像平面。数据流可以指像素流。
可以理解的是，三维图像序列可以涉及三维视频(例如，三维虚拟游戏、三维教程等等)。
在整个本公开中，术语“图像平面”涉及给定的三维图像的二维部分(即，切片或片段)。值得注意的是，三维图像序列的每一个图像是其组成的多个图像平面的组合。举例来说，给定的三维图像IMG1可以描绘山脉、河流和房屋。在这样的例子中，可能有3个图像平面与给定的三维图像IMG1相关联，其中第一个图像平面描绘山脉，第二个图像平面描绘河流，第三个图像平面描绘房屋。在这种情况下，给定的三维图像IMG1可以理解为第一图像平面、第二图像平面和第三图像平面的拼接(也可以称为堆栈)(即，组合)。
可选地，与给定的三维图像相关联的给定的多个图像平面的数量基于给定的三维图像中待表示的光学深度的数量。在这种情况下，如果给定的三维图像以预定数量的光学深度来描绘物体，则与给定的三维图像相关联的图像平面的数量等于光学深度的预定数量。
可选地，(i)中的生成数据流包括：
(a)获取三维图像序列；
(b)对三维图像序列中的至少一个图像进行预处理；
(c)将三维图像序列中的每个图像分解成与每个图像对应的多个图像平面；
(d)对三维图像序列中的至少一个图像进行后处理；
(e)对三维图像序列中的每个图像对应的多个图像平面进行重新采样；以及
(f)将三维图像序列中的每个图像存储为该每个图像的重新采样的多个图像平面的拼接。可选地，图形处理单元被配置为实现上述步骤(a)至(f)。
可选地，在步骤(a)中，通过用户界面获取三维图像序列。更可选的，用户界面被配置为提供用于选择不同的三维图像序列的多个选项。在这种情况下，用户可以通过用户界面从多个选项中选择所需的三维图像序列。在这种情况下，基于用户的选择，将与三维图像相关联的数据传递给图形处理单元。可以理解的是，为了实现上述操作，图形处理单元被可通信地耦接到存储器存储。这样的存储器存储可以是云存储、图形处理单元的内部存储器等等。可选地，用户(图形的)界面在多平面体显示器上显示。在示例性实施例中，多平面体显示器可以是触摸敏感的，并且因此使得用户能够(通过触摸输入)选择三维图像序列。在另一个示例性实施例中，多平面体显示器可以耦接到用户输入装置(例如，如操纵杆、键盘、手持控制器等等)，且用户可以控制立体三维显示系统的操作和在其上显示的三维内容。在实施例中，多平面体显示器在近眼显示设备内实现。在另一个实施例中，多平面体显示器作为独立的装置实现。或者，可选地，将用户界面显示为(或者换句话说，呈现为)其他单独的显示器。
或者，可选地，在步骤(a)中，在图形处理单元处生成三维图像序列。在这种情况下，可选地，在其生成后，三维图像序列被存储在图形处理单元的内部存储器中，并从中获得。实际上，术语三维图像序列可以指按照时间顺序(例如作为时间的函数)在一个时间点显示其中一个三维图像的“完整的”三维图像序列。此外，该术语可以指在各个平面上呈现的图像深度平面的序列或连续流。
可选地，以立体型三维数据的形式获得三维图像序列。这种立体型三维数据涉及数据结构，该数据结构包括立体像素的三维空间坐标和与该体立体像素相关联的颜色强度值。在整个本公开中，术语“立体像素”涉及定义三维空间中的点的元素。可选地，立体像素的三维空间坐标与至少一个呈现参数关联来显示信息。至少一个呈现参数的示例包括但不限于：立体像素的颜色、以及立体像素的亮度。举例来说，立体型三维数据是以符合医学数字成像和通信(DICOM)标准的文件形式获得的。值得注意的是，这些文件可以通过各种断层摄影型成像技术的方式来获得。
或者，可选地，以计算机生成的三维数据的形式获得三维图像序列。更可选地，这种计算机生成的三维数据包括三维元素(即，对象)和三维场景。这种计算机生成的三维数据可以用多边形表面来描述，并可以使用如
Figure BDA0002818919950000091
等应用程序编程接口来表示。可以理解的是，上述立体型三维数据和上述计算机生成的三维数据的随后的处理方式互不相同。
可选地，在获得三维图像序列后，将三维图像序列(例如，逐帧地或作为单个“静止”图像)加载到图形处理单元的处理缓冲器中。在处理的同时，可以以最小的时间延迟从处理缓冲器中访问三维图像序列。
可选地，(b)中的对所述三维图像序列中的至少一个图像进行预处理包括以下步骤中的至少一个：
-对所述至少一个图像进行线性变换；
-对所述至少一个图像进行裁剪。可选地，图像处理单元被配置为实现前述预处理技术中的至少一个。可以理解的是，对三维图像序列中的至少一个图像进行预处理可以增强该至少一个图像的期望属性。
可选地，对至少一个图像进行线性变换包括至少一个图像的平移和/或至少一个图像的旋转。这种线性变换可以使得调整至少一个图像的对齐(即，方向)。
可选地，在裁剪三维图像序列中的至少一个图像的同时，用户选择至少一个图像的至少一部分。用户对至少一个图像的裁剪可以减小包括三维图像序列中出现的所有图像的原始数据集的大小。值得注意的是，在这种情况下，基于上述裁剪，减小的数据集包括裁剪的至少一个图像和三维图像序列的其余图像。原始数据集的减小降低了由图形处理单元执行的处理负荷。减小的处理负荷提高了整体计算效率，并确保了更短的执行时间，并从而提高了帧率。
可选地，在对在(c)中的三维图像序列中的每个图像进行分解的同时，在与每个图像对应的多个图像平面中描绘三维图像序列中的每个图像的整个区域。在这种情况下，在与每个图像对应的多个图像平面中表示(即，描绘)与三维图像序列中的每个图像有关的整个视觉信息。
可选地，将三维图像序列中的每个图像分解成预定义数量的图像平面。在实施例中，根据对给定的三维图像的分解生成的多个像平面的预定义数量等于多平面体显示器的光学扩散器的数量。在这种情况下，所有的光学扩散器都在使用，且每个光学扩散器投影一个图像平面。在另一个实施例中，根据对给定的三维图像的分解生成的多个图像平面的预定义数量小于多平面体显示器的光学扩散器的数量。在这种情况下，在所有图像平面投影到多个光学扩散器上后，将存在至少一个未使用的光学扩散器。例如，光学扩散器的数量可以是10。在这种情况下，可以将给定的三维图像分解成2个、3个、4个、5个、6个、7个、8个、9个或10个图像平面。
可选地，在(c)中的分解是通过图形处理单元的并行处理方式来实现的。由于图形处理单元通常包括数千个(处理)核，因此可以采用这样的核进行并行处理。因此，增加了图形处理单元的数据吞吐率。
可选地，针对给定的三维图像，(c)中的分解包括：
-在所述给定的三维图像中选择关注的三维体积；
-将所述关注的三维体积分解为与所述给定的三维图像对应的多个剪切图像平面；以及
-通过使所述多个剪切图像平面在离散位置处映射通过所述给定的三维图像，来获取与所述多个剪切图像平面相关联的深度信息。
可选地，图形处理单元被配置为实现这种分解操作。在这种情况下，仅将给定的三维图像中的关注的区域描绘在与给定的三维图像对应的多个剪切的图像平面中。因此，在与给定的三维图像对应的多个图像平面中仅表示(即，描绘)与给定的三维图像有关的视觉信息的一部分。此外，当将给定的三维图像分解为仅描绘关注的三维体积的多个剪切图像平面时，可能会丢失与给定的三维图像相关联的部分深度信息。值得注意的是，与给定的三维图像的其余区域(即，关注的区域以外的区域)相关联的深度信息可能会丢失。在这种情况下，可能会存在与给定的三维图像的关注的区域相关联的深度显示不准确的可能性。然而，通过实施上述映射操作，相对于与给定的三维图像相关联的深度信息，可以精确地获得与多个剪切的图像平面相关联的深度信息，从而使得给定的三维图像的关注的区域能够以期望的方式显示。可以理解的是，这种选择性的图像平面分解(即，仅分解关注的区域)的方式可以用于至少一个三维图像序列中的图像，而完全图像平面分解(即，分解整个区域)的方式可以用于三维图像序列中的其他图像。根据实施例，术语剪切的图像平面指的是与体显示器的物理结构相对应的一种格式的图像。在实际中，每个剪切的图像平面指的是应显示在相应的体显示器的光学扩散器上的图像。
可选地，(d)中的对所述三维图像序列中的至少一个图像进行后处理包括以下步骤中的至少一个：
-将图形表示信息和/或指针信息添加到与所述至少一个图像对应的多个图像平面中；
-针对所述至少一个图像实施平面间抗锯齿。
可选地，图形处理单元被配置为实现上述后处理技术中的至少一种。或者，平面间抗锯齿可以作为分解每个图像平面的一部分被执行。进一步的后处理可以包括如对比度和/或伽马调整等的图像增强。
可选地，图形表示信息包括以下至少一个：用户(图形的)界面信息、阴影信息、光照信息、表面信息。可选地，指针信息包括以下至少一个：在与至少一个图像对应的多个图像平面内的给定的一个(或多个)指针的位置、给定的指针的视觉表示、指针的可见性的持续时间、与给定的指针相关联的移动信息。
可选地，针对至少一个图像的平面间抗锯齿是通过至少一种图像处理算法来实现的。可以理解的是，平面间抗锯齿的实现可以最小化与至少一个图像相关联的离散图像平面的可见效果。
可选地，在步骤(e)中，与三维图像序列中的每个图像对应的多个图像平面的重新采样基于投影机的空间光调制器的分辨率。可以理解的是，这种重新采样可以使图像平面被正确地显示在多平面体显示器的多个光学扩散器上。例如，如果体数据(volumetricdata)是DICOM(医学数字成像和通信)型的体数据，则可能需要重新采样。值得注意的是，由于当对基于顶点(vertex based)的数据进行光栅化时，分辨率与空间光调制器所要求的分辨率相匹配，因此计算机生成的图像不需要通常的重新采样。
此外，重新采样可以发生在数据处理管道的不同步骤。它可以按本文描述的但要在更合理的实施范围内执行：
a)数据集被旋转(但在实际中，只确定了相对于数据集的视角)。
b)按照之前确定的方向对数据集进行采样。
在采样的过程中，算法将输出与空间光调制器的分辨率相匹配。基本上，重新采样、划分为图像深度平面和抗锯齿是同时进行的过程。或者，重新采样(e)可以在分解步骤的过程中发生。
可选地，在步骤(f)中，将三维图像序列中的每个图像存储为该每个图像的重新采样的多个图像平面的拼接，并存储在图形处理单元的内部存储器中。因此，可以理解的是，数据流可选地包括这样存储的三维图像序列。在可替代的实施例中，步骤的顺序可以以不同的顺序执行，或者其中一些步骤可以相互并行执行。例如，重新采样(e)可以作为预处理(b)三维图像序列中的至少一个图像的步骤的一部分来执行。或者，重新采样(e)步骤可以在预处理(b)步骤和分解(c)步骤之间完成。或者，步骤(b)可以作为分解成图像平面步骤(c)的一部分来执行。
可选地，方法进一步包括在投影机处接收生成的数据流。可选地，在这种情况下，图形处理单元的显示接口模块被配置为发送生成的数据流，以及投影机的收发模块被配置为接收所发送的数据流。值得注意的是，投影机可通信地耦接到图形处理单元。
在整个本公开中，术语“投影机”涉及用于基于与给定的三维图像相关联的给定的多个位平面，投影与给定三维图像相关联的给定的多个图像平面以显示给定的三维图像的专用设备。
可选地，图形处理单元的显示接口模块通过至少一个通信链路可通信地耦接到投影机的收发模块。值得注意的是，图形处理单元的显示接口模块与投影机的收发模块之间的至少一个通信链路可以是有线通信链路、无线通信链路或其任意组合。可以理解的是，至少一个通信链路允许图形处理单元和投影机之间的高数据吞吐量，从而确保二者之间的数据无缝地、快速地传输。此外，可以理解的是，图形处理单元和投影机之间的大量的通信链路使得能够实现其间更高的数据传输速率。可选地，在图形处理单元和投影机的兼容通信接口之间建立至少一个通信链路。至少一个通信链路的例子包括但不限于显示端口(DisplayPort)通信链路、通用串行总线通信链路、蓝牙通信链路、雷电
Figure BDA0002818919950000131
通信链路和高清多媒体接口(HDMI/HDMI 2.1)。
可选地，方法进一步包括根据预定义的数据通信标准处理数据流。术语“预定义的数据通信标准”涉及针对两个实体之间的通信建立的准则。因此，根据与图形处理单元的显示接口模块与投影机的收发模块之间的至少一个通信链路相关联的预定义的数据通信标准对数据流进行格式化。可选地，与投影机的收发模块相关联的逻辑电路被配置为以上述方式处理数据流。
在步骤(ii)中，生成与数据流相关联的位平面流。该位平面流包括与三维图像序列中的每个图像相关联的多个位平面。逻辑块被配置为生成与数据流相关联的位平面流。值得注意的是，对于与给定的三维图像相关联的给定的多个位平面，每个位平面包括关于给定的图像深度平面中所有像素的颜色的给定的位的信息。因此，在整个本公开中，术语“位平面”涉及与给定的图像深度平面中所有像素的颜色的对应位有关的信息。在操作中，逻辑块解构这种给定的三维图像中的所有像素的颜色信息。逻辑块包括逻辑电路，使得能够生成与数据流相关联的位平面流。
可选地，预定义的位平面的数量与三维图像序列中的每个图像相关联。在实施例中，24个位平面与三维图像序列的每个图像深度平面相关联。举例来说，对于3D(三维)图像，24xN个位平面被关联，其中，N是层数。值得注意的是，由于人类是三色视者，因而三维图像序列的每一个图像可能都需要符合三色性。因此，可以使用真色来表示三维图像序列中的每一个图像的颜色信息。在这种情况下，8个位平面分别与绿色通道、红色通道和蓝色通道中的每个相关联，用于获得与三维图像序列中的每一个图像相关的精确的24位真色信息。在另一个实施例中，8个(12个或14个等)位平面与三维图像序列中的每个图像深度平面相关联。值得注意的是，如此数量的位平面使得能够精确地描绘与三维图像序列中的每个图像相关联的灰度颜色信息。
在步骤(iii)中，异步地缓冲位平面流以提供与第一三维图像相关联的第一多个位平面。值得注意的是，投影机的存储单元被配置为异步地缓冲位平面流。可以理解的是，位平面流被及时地异步缓冲，以便以顺序的方式提供与三维图像序列中的每个图像相关联的多个位平面。这种异步地缓冲使得能够适应投影机接收数据(位平面流或其他数据流)的速率变化、以及在多平面体显示器上显示三维图像序列的速率变化。可以理解的是，投影机的存储单元可以通过硬件、软件、固件或其组合的方式来实现，即，被配置为实现上述缓冲操作。
可选地，(iii)中的异步地缓冲所述位平面流包括：
-以第一数据交换速率接收所述位平面流；
-将接收到的位平面流存储在专用存储缓冲器；
-根据请求从所述专用缓冲器提取存储的位平面流；
-以第三数据交换速率传输提取的位平面流；
其中，所述第一数据交换速率与所述第三数据交换速率之和不超过第二数据交换速率。
事实上，根据可选的实施例，第一数据交换速率是生成位平面流的速率。通常，速率与从图形处理单元(GPU)到体显示单元的数据传输速率直接相关。接收的位平面流存储在专用存储缓冲器中。例如，专用存储缓冲器可以是内部存储或外部存储。装置的控制逻辑被配置为从专用存储缓冲器请求存储的位平面流。提取的位平面流使用第三数据交换速率进一步传输。第三数据速率可以被认为是空间光调制器请求数据的平均数据速率。专用存储缓冲器被设置为能够以第二数据交换速率传送数据。第二数据交换速率对应于可与专用存储缓冲器一起使用的最大数据交换速率。因此，第二交换速率通常可以被认为是外部存储器(通常是随机存取存储器(RAM))能够操作的一般数据读/写速度。一般来说，RAM需要足够快，以便能够以高于数据生成速率和数据请求速率之和的速度来读写数据。实际上，以第二数据交换速率将数据从RAM传输以及将数据传输到RAM，并且以第三数据交换速率将数据转发到空间光调制器。
可选地，存储单元进一步包括：至少一个输入数据缓冲器、至少一个输出数据缓冲器、外部存储模块以及存储控制器模块，其中，在对所述位平面流进行异步缓冲时，所述存储控制器模块被配置为：
-监测所述至少一个输入数据缓冲器的第一填充状态，其中，所述至少一个输入数据缓冲器被配置为以第一数据交换率接收来自所述逻辑块的位平面流；
-监测所述至少一个输出数据缓冲器的第二填充状态，其中，所述至少一个输出数据缓冲器被配置为以第三数据交换率将所述位平面流传输到所述驱动模块；
-使用所述第一填充状态控制所述外部存储模块以存储所接收到的位平面流；
-使用所述第二填充状态控制所述外部存储模块以提取所存储的位平面流，并将所提取的位平面流传输至所述至少一个输出数据缓冲器；
其中，所述第一数据交换率和所述第三数据交换率之和不超过第二数据交换率。
根据实施例，第二数据交换速率对应于外部存储模块的最大数据交换速率规范。或者，第一数据交换速率和第三数据交换速率小于第二数据交换速率的85％。如果第一数据交换速率和第三数据交换速率之和过高，可能会导致系统显示三维图像序列的能力出现问题。此外，还可以将上述限制设置为95％。
可选地，在操作中，在逻辑块处生成的位平面流由至少一个输入数据缓冲器以第一数据交换速率接收。可选地，在这种情况下，至少一个输入数据缓冲器通过至少一个先入先出(FIFO)缓冲器的方式来实现。可以理解的是，位平面流以有序的(即，系统的)方式存储在至少一个输入数据缓冲器上，从而使得能够在与至少一个输入数据缓冲器相关联的存储器读写操作期间实现低延迟。值得注意的是，与至少一个输入数据缓冲器相关联的存储器写操作涉及以第一数据交换速率将位平面流存储在至少一个输入数据缓冲器内。此外，监测输入数据缓冲器的第一填充状态。第一填充状态对应于输入数据缓冲器的多大部分被填充(10％、30％、50％、80％、100％)。同样地，监测输出数据缓冲器的第二填充状态。输出数据缓冲器被配置为以第三数据速率将位平面数据传输至驱动模块。第二填充速率状态可以是例如10％、30％、50％、80％、100％。外部存储模块使用第一填充状态的值来发起从输入数据缓冲器至外部存储模块(RAM)的数据转移，或者以其他方式开始存储数据。例如，如果第一填充状态超过根据FIFO缓冲器的操作原则的预限定的水平，例如35％，将数据转移以存储在外部存储器，从而清空输入数据缓冲器。此外，第二填充状态的值用于控制外部存储器模块。如果第二填充状态的值低于预限定的阈值，例如10％，30％，50％，80％，则将存储的位平面流从外部存储器中提取出来并提供给输出缓冲器。此外，第一交换速率和第三交换速率之和最好小于第二交换速率的85％，以确保流畅的操作。第二交换速率对应于外部存储模块的最大数据交换速率规范。此外，与至少一个输入数据缓冲器相关联的存储器读取操作涉及以第二数据交换速率从至少一个输入数据缓冲器访问存储的位平面流。此后，在操作中，将存储在至少一个输入数据缓冲器上的位平面流(在实际实施例中，每次存储一小部分/片段在缓冲器中)传输到外部存储模块，以便在外部存储模块进行存储。可选地，只有当投影机不需要位平面流时，才将位平面流存储在外部存储模块中。可选地，外部存储模块是易失性随机存取存储器(例如，DDR3型存储器或DDR4型存储器)。可选地，在外部存储模块中，位平面流在保持有序的数据结构的同时，地址不变。实际上，应理解的是，存储器中可能存在管理数据的替代方式。有序的数据结构提高了与外部存储器相关联的存储器读写操作的效率。值得注意的是，与外部存储模块相关联的存储器写(和读)操作涉及以第二数据交换速率在外部存储模块中存储(和提取)位平面流。此后，在操作中，位平面流由外部存储模块通过至少一个输出数据缓冲器传输至驱动模块。与至少一个输出数据缓冲器相关联的存储器写操作涉及以第三数据交换速率在至少一个输出数据缓冲器上接收位平面流。此外，与至少一个输出数据缓冲器相关联的存储器读操作涉及由驱动模块以第三数据交换速率从至少一个输出数据缓冲器访问存储的位平面流。因此，可以理解的是，存储控制器模块以硬件、软件、固件或其组合的方式来实现，这些硬件、软件、固件或其组合被配置为控制至少一个输入数据缓冲器、外部存储器模块和至少一个输出数据缓冲器的操作，并在至少一个输入数据缓冲器、外部存储器模块和至少一个输出数据缓冲器之间提供接口。通常，当存储器控制器模块未将位平面流从至少一个输入数据缓冲器传输到外部存储模块时，存储控制器模块将存储的位平面流从外部存储模块传输至至少一个输出数据缓冲器。可选地，通过至少一个先入先出(FIFO)缓冲器的方式来实现至少一个输出数据缓冲器。可以理解的是，第一数据交换速率、第二数据交换速率和第三数据交换速率相当高，从而使得能够在至少一个输入数据缓冲器、外部存储模块和至少一个输出数据缓冲器之间快速传输数据。或者，根据架构，外部存储模块可以实现为处理装置的内部存储模块。
可选地，存储控制器模块将与至少一个输出数据缓冲器相关联的存储器读操作优先于其他上述存储器读写操作，以确保通过投影机不间断地投影三维图像序列。在实际中，存储控制器模块的任务之一是不让输入FIFO缓冲器溢出。因此，需要对这个“桶”进行监控并清空，以避免数据“溢出”从而丢失，并进行检查是否有信息给投影机。即，存储控制器模块的一项任务是确保输出的FIFO缓冲器不会完全变空，并不断地向其提供将由空间光调制器显示的数据。
可选地，第二数据交换速率大于第一数据交换速率和第三数据交换速率的总和。
可选地，上述异步地缓冲操作可通过以下至少一种方式来实现：特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)。
在步骤(iv)中，基于第一多个位平面，投影与第一三维图像相关联的第一多个图像平面，以显示第一三维图像。对第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供为止。值得注意的是，驱动模块被配置为控制光源、空间光调制器和投影装置基于多个位平面来投影与第一三维图像相关联的第一多个图像平面，以将第一三维图像显示在多平面体显示器上。值得注意的是，基于与给定的三维图像相关联的给定的多个位平面，通过投影机投影与给定的三维图像相关联的给定的多个图像平面，直到通过上述异步地缓冲接收到与在给定的三维图像之后要显示的后续的三维图像相关联的后续的多个位平面为止。可以理解的是，这样的异步地缓冲和连续显示三维图像序列的方式，可以有效地管理不同组件(例如，图形处理单元、显示端口、投影机、体显示驱动和多平面体显示器)的不同操作速率，从而将三维图像序列无缝地显示给用户。此外，将第一多个图像平面投影到由多个平面体显示器的多个光学扩散器的排列所构成的明确的三维体上。
驱动模块通过被配置为控制光源、空间光调制器、投影布置、逻辑块和存储单元的操作的硬件、软件、固件或其组合来实现。驱动模块可以进一步理解为对显示系统进行一般操作的计算机单元。
在整个本公开中，术语“光源”涉及被配置为从中发射光束的设备。可以理解的是，在操作中，光源被配置为发射可见光波长的光束(即，人类可见的波长的光)。可选地，所述光源通过以下至少一种方式来实现：可见的发光二极管(LED)、可见的光激光器、高强度气体放电型灯泡，该高强度气体放电型灯泡具有与其相关联的彩色滤光片。更可选的是，光源为高功率光源。
可选地，驱动模块被配置为控制从光源发出的光束的强度。
可选地，光源是通过多个发光二极管来实现，该多个发光二极管被配置为在至少三个波长范围内发射光，其中，至少一个第一发光二极管被配置为发射具有第一波长的光，至少一个第二发光二极管被配置为发射具有第二波长的光线以及至少一个第三发光二极管被配置为发射具有第三波长的光。
可选地，第二波长大于第一波长，但小于第三波长。举例来说，第一波长可以对应于蓝色光(即，波长位于440纳米至470纳米之间)，第二波长可以对应于绿色光(即，波长位于520纳米至550纳米之间)，第三波长可以对应红色光(即，波长位于610纳米至650纳米之间)。或者，可选地第二波长大于第三波长，但小于第一波长。举例来说，第一波长可以对应于红色光(即，波长位于610纳米至650纳米之间)，第二波长可以对应于绿色光(即，波长位于520纳米至550纳米之间)，第三波长可以对应于蓝色光(即，波长位于440纳米至470纳米之间)。
可选地，在光源处，至少一个第一发光二极管，至少一个第二发光二极管，以及至少一个第三发光二极管以从中发射的光的波长递增(即，就显示空间光调制器而言)的顺序来设置。或者，可选地，在光源处，至少一个第一发光二极管，至少一个第二发光二极管，至少一个第三发光二极管以从其发射的光的波长递减(即，就显示空间光调制器而言)的顺序来设置。进一步地，或者，如果三维空间光调制器设置用于投影，则每一种颜色都由单独的空间光调制器重现。在上述例子中，顺序可以自由选择。
在操作中，空间光调制器(或在红色、绿色和蓝色情况下的调制器)被配置为对从光源发出的光束进行空间调制。值得注意的是，所述空间光调制器被设置在发射的光束的光学路径上。可选地，空间光调制器被配置为在至少一个维度上调制发射的光束的振幅和/或相位。可选地，空间光调制器通过以下至少一种方式来实现：数字微镜装置、基于液晶的空间光调制器(例如，通过“第四维显示器”的硅上铁电液晶(FLCoS))。通常情况下，数字微镜装置是电光微机械系统，其实质是一组电可控的微镜阵列，其中一个镜面代表一个像素。因此，通过改变微镜阵列的位置，可以使光线朝向投影装置(亮像素或像素开)或远离投影装置(暗像素或像素关)。可选地，例如，针对微镜阵列的位置的(通过微镜阵列的移动)改变的角度范围是其默认位置的+/-12度。
可选地，当空间光调制器通过基于液晶的空间光调制器来实现时，投影机进一步包括被配置为向空间光调制器提供偏振光的至少一个偏振光器。
在操作中，投影装置被配置为引导来自空间光调制器的调制光，并将这种光导向多平面体显示器。可选地，投影装置包括至少一个光学元件。更可选地，至少一个光学元件通过以下至少一种来实现：镜面、透镜、棱镜、波导。可以理解的是，投影装置使得能够以可接受的锐度水平将与给定的三维图像相关联的给定的多个像平面聚焦于多个光学扩散器上。
在操作中，多个光学扩散器于是被配置为接收与第一三维图像相关联的第一多个图像平面的投影。值得注意的是，一个光学扩散器于是被配置为接收一个图像平面的投影。可以理解的是，多个光学扩散器于是被配置为接收与三维图像序列的所有图像相关联的所有图像平面的投影。
可选地，多个光学扩散器的数量范围从2到50。例如，光学扩散器的数量可以是2、3、4、5、10、15、20、25、30、35、40、45或50。可选地，多个光学扩散器的数量大于50个。例如，光学扩散器的数量可以是50、55、60、65、70、75、80、85、90、95、100、120、140、160、180或200。
可以理解的是，多个光学扩散器之间可以具有相等或不相等的间距。光学扩散器的数量和光学扩散器之间的间距限定了三维图像序列的体积和/或深度分辨率。
如前所述，体显示驱动被配置为控制多平面体显示器的操作。体显示驱动是通过硬件、软件、固件或其组合实现的，这些硬件、软件、固件或其组合被配置为控制多平面体显示器的多个光学扩散器的操作。体显示驱动可通信地耦接到投影机，具体地，耦接到投影机的驱动模块。可以理解的是，驱动模块与体显示驱动之间的上述可通信地耦合，可以使得投影机和多平面体显示器分别地同步操作。因此，增强了用户观看显示的三维图像序列的体验。
可选地，当将给定的多个图像平面投影到多个光学扩散器上时，给定的多个图像平面中的第一图像平面显示在距离用户最近的光学扩散器上。在这种情况下，多个图像平面中的后续图像平面以相同的顺序(即，从距离用户最近的光学扩散器到距离用户最远的光学扩散器)显示在后续的光扩散器上。或者，可选地，将多个图像平面中的图像平面从距离用户最远的光学扩散器到距离用户最近的光学扩散器进行显示。或者，可以将图像平面以交错的方式显示。
可选地，多个光学扩散器中的每一个都是通过液晶单元来实现的。可选地，给定的液晶单元在大体上透明状态和大体上漫射状态(diffuse state)之间可以进行电性地切换。举例来说，大体上透明状态可以从60％透明度到100％透明度(例如，60％、65％、70％、75％、80％、85％、90％、95％或100％的透明度)内变动，而大体上漫射状态可以在从60％漫射到100％漫射(例如，比如60％、65％、70％、75％、80％、85％、90％、95％或100％漫射)内变动。
可选地，在操作中，当给定的图像平面将要被投影在给定的光学扩散器上时，体显示驱动被配置为将给定的光学扩散器电地切换到大体上漫射状态，同时将多个光学扩散器中的所有其他光学扩散器电性地切到大体上透明状态。因此，体显示驱动被配置为在给定时间，电切换多个光学扩散器中的一个光学扩散器。可以理解的是，体显示驱动被配置为对所有要投影到其他光学扩散器上的后续图像平面执行前述过程。此外，还可以使用交错来显示图像的深度平面。
可选地，三维图像序列以实时地或接近实时地方式显示。可选地，体显示驱动被配置为控制多个光学扩散器，以便于实时地或近实时地在多平面体显示器上显示三维图像序列。可以理解的是，投影机与体显示驱动同步地运行，以允许上述实时地或接近实时地显示三维图像序列。值得注意的是，这种实时地或近实时地的操作通过以用户将多个图像平面识别为单个三维图像的方式投影与每个三维图像有关的多个图像平面，增强了用户的观看体验。此外，实时地或近实时地操作还允许以用户似乎在观看三维视频的方式显示三维图像序列。
可选地，多平面体显示器的刷新速率介于20Hz到75Hz之间。在整个本公开中，术语“刷新速率”涉及在多平面体显示器的多个光学扩散器上重复显示与单个三维图像有关的给定的多个图像平面的速率。换句话说，当与单个三维图像有关的给定的多个图像平面在多平面体显示器上显示一次时，多平面体显示器被称为已显示单个三维图像的一个立体。因此，多平面体显示器的刷新速率与多平面体显示器在一秒钟内可以显示的立体的数量有关。可以理解的是，高刷新速率有利于为用户提供无闪烁的图像观看体验。举例来说，如果多平面体显示器的给定的刷新速率为30Hz，则多平面体显示器可以在一秒钟内显示给定的三维图像的30个立体。
可选地，多平面体显示器的刷新速率范围为40Hz到60Hz。更可选地，多平面体显示器的刷新速率为50Hz。
通常，多平面体显示器的刷新速率保持不变，但第一数据交换速率可以根据图形处理单元的运行速度、图形处理单元和投影机之间的通信延迟而变化。可以理解的是，异步地缓冲允许管理上述差异。举例来说，当第一数据交换速率低于多平面体显示器的刷新速率时，体显示驱动被配置为多次显示对应于给定的三维图像的图像平面的单个立体，以使用户无法识别闪烁和时间滞后。
可选地，体显示系统进一步包括电源，该电源被配置为至少向投影机的驱动单元和体显示驱动提供电力。可选地，电源进一步被配置为向图形处理单元提供电力。在示例中，电源可以为投影机的驱动单元提供12伏电力供应，并可以为体显示驱动提供200伏电力供应。
可选地，方法进一步包括：
(v)获取来自用户的反馈，其中，所述反馈与所显示的三维图像序列有关；以及
(vi)基于所获取的反馈，实时地或近实时地执行动作。可以理解的是，体显示系统允许用户可以根据他/她的需求和关注点来控制(即调整)所显示的三维图像序列，因此，来自用户的反馈可以使得体显示系统增强用户的图像观看体验。用户可能会有涉及与显示的三维图像序列相关的观看体验的积极反馈或消极反馈。此外，用户可以对显示的三维图像序列中的至少一个图像进行操作。在一个示例中，来自用户的反馈是通过在多平面体显示器中呈现的用户界面从多平面体显示中获得的。在这样的示例中，用户可以旋转显示的三维图像序列中所描绘的对象。在另一个示例中，来自用户的反馈从耦接到以下中的至少一个的用户输入装置获得：投影机、多平面体显示器或计算机。
可选地或另外地，方法包括在生成位平面流(ii)之前异步地缓冲生成的数据流(i)。这为能够提供的数据流的交换速率给予了更大的灵活性。由于取决于三维图像的复杂性，从数据流生成位平面流需要不同的时间，因此这也可以使设计更简单。还可以使用缓冲来实现不同的刷新速率。在另一个实施例中，步骤(i)、(ii)、(iii)、(iv)、(v)和(vi)的顺序可以改变。
在可替换的或另外的实施例中，一种显示三维图像序列的方法包括：
(A)生成数据流，数据流包括与三维图像序列中的每个图像相关联的多个图像平面；
(B)异步地缓冲位平面流，以提供与第一三维图像相关联的第一多个位平面；
(C)生成与数据流相关联的位平面流，位平面流包括与三维图像序列中的每个图像相关联的多个位平面；以及
(D)基于第一多个位平面，投影与第一三维图像相关联的第一多个图像平面，以显示第一三维图像，对第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供为止。
可选地，根据获得的反馈，需要实施的动作为：停止显示三维图像序列、根据用户的操作调整三维图像序列、显示另一个三维图像序列。
可选地，三维图像序列在近眼显示设备上显示。可选地，在这方面，至少在近眼显示设备内实现了投影机、体显示驱动和体显示系统的多平面体显示。可以理解的是，近眼显示设备可用于向用户显示模拟环境。因此，当近眼显示设备用于显示三维图像序列时，用户对模拟环境的体验大大增强。在这种情况下，由于三维图像序列实际上描绘了其物理深度，因此用户通常感到的眼睛疲劳大大减少。可选地，模拟环境为下列环境之一：虚拟现实环境、混合现实环境、增强现实环境。在这种情况下，三维图像序列可以与三维娱乐视频、三维模拟现实游戏、三维教学视频等相关。
附图的详细说明
参照图1，示出了根据本公开实施例的用于显示三维图像序列的体显示系统100的示意图。体显示系统100包括多平面体显示器102、体显示驱动104、图形处理单元106、以及与图形处理单元106和体显示驱动104可通信地耦合的投影机108。
如图所示，多平面体显示器102包括多个光学扩散器，其中，体显示器的一个平面通过一个光学扩散器来实现。体显示驱动104耦接到多平面体显示器102。此外，体显示驱动104被配置为控制多平面体显示器102的操作。图形处理单元106被配置为生成包括与三维图像序列中的每个图像相关联的多个图像平面的数据流。投影机108包括光源110、空间光调制器112、投影装置114、逻辑块116、存储单元118和驱动模块120。逻辑块116可通信地耦接到存储单元118。此外，如图所示，驱动模块120与光源110、空间光调制器112、投影装置114、逻辑块116和存储单元118耦合。在操作中，逻辑块116被配置为生成与数据流相关联的位平面流，该位平面流包括与三维图像序列中的每个图像相关联的多个位平面。存储单元118被配置为异步地缓冲位平面流，以将与第一三维图像相关联的第一多个位平面提供给驱动模块120。驱动模块120被配置为控制光源110、空间光调制器112和投影装置114基于第一多个位平面来投影与第一三维图像相关联的第一多个图像平面，以在多平面体显示器102处显示第一三维图像，对第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供给驱动模块120为止。
参照图2，示出的是根据本公开的实施例的体显示系统(例如，如图1中的体显示系统100)的存储单元200的结构的方框图。存储单元200包括至少一个输入数据缓冲器(描绘为输入缓冲器202)、至少一个输出数据缓冲器(描绘为输出缓冲器204)、外部存储模块206和存储控制器模块208。在操作中，在异步地缓冲位平面数据流的同时，存储控制器模块208被配置为监测至少一个输入缓冲器202的第一填充状态(表征至少一个输入缓冲器202的填充度的参数)，以及如果至少一个所述输入缓冲器202的第一填充状态高于预定阈值，则将数据从至少一个输入数据缓冲器202转移到外部存储器模块206进行存储。位平面数据流210以第一数据交换速率从至少一个输入数据缓冲器202处输入。存储控制器模块208进一步被配置为监测至少一个输出缓冲器204的第二填充状态，以及如果第二填充状态低于预定阈值，则控制外部存储模块206提取并传输存储在外部存储模块206的位平面流至至少一个输出缓冲器204。通过将位平面数据流212传输至驱动模块(未图示)，以第三数据交换速率不断清空至少一个输出缓冲器204。所述利用快速输入缓冲器202和输出缓冲器204与更大容量的外部存储模块206配合使用，可以被描述为时间异步地缓冲，使得输出的数据流212在时间上平均恒定，从而确保显示器装置的刷新速率恒定。同时，这种时间异步地缓冲方式允许传入数据流210的变化，这种变化可能是由于3D内容生成的帧率的波动而产生的。为了平稳不间断地操作，外部存储模块(通常是易失性的随机存取存储器)206应支持其本身与对应的输入缓冲器202和输出缓冲器204之间足够的数据传输速度220和222。由于外部存储模块206支持的最大数据传输速率对应于第二数据交换速率，因此它应该例如比第一数据交换速率和第三数据交换速率的共轭至少高10％。
参照图3，示出了根据本公开的实施例的显示三维图像序列的方法300的步骤。在步骤302中，生成包括与三维图像序列中的每个图像相关联的多个图像平面的数据流。在步骤304中，生成与数据流相关联的位平面流，该位平面流包括与三维图像序列中的每个图像相关联的多个位平面。在步骤306中，位平面流被异步地缓冲以提供与第一三维图像相关联的第一多个位平面。在步骤308中，基于第一多个位平面，投影与第一三维图像相关联的第一多个图像平面，以显示第一三维图像，对第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供为止。
步骤302到308仅是说明性的，还可以提供其他替代方案，其中，在不偏离本文权利要求的范围的情况下，增加一个或多个步骤、删除一个或多个步骤、或以不同的顺序提供一个或多个步骤。
参照图4，示出了生成数据流的方法400的步骤。在步骤402中，获取三维图像序列。在步骤404中，对三维图像序列中的至少一个图像进行预处理。在步骤406中，将三维图像序列中的每个图像分解成与该每个图像对应的多个图像平面。在步骤408中，对三维图像序列中的至少一个图像进行后处理。在步骤410中，对与三维图像序列中每个图像对应的多个图像平面进行重新采样。在步骤412中，将三维图像序列中的每个图像存储为重新采样的多个图像平面的拼接。
步骤402到412仅是说明性的，还可以提供其他替代方案，其中，在不偏离本文权利要求的范围的情况下，增加一个或多个步骤、删除一个或多个步骤、或以不同的顺序提供一个或多个步骤。
在不偏离所附权利要求所定义的本公开的范围的情况下，可以对前述的本公开的实施例进行修改。用于描述和要求本公开的表述如“包括”、“包含”、“含有”、“具有”、“是”旨在以非排他性方式进行解释，即允许未明确描述的项目、组件或元素也存在。对单数的提及也可解释为与复数有关。

Claims (20)

1.一种显示三维图像序列的方法，所述方法包括：
(i)生成数据流，所述数据流包括与所述三维图像序列中的每个图像相关联的多个图像平面；
(ii)生成与所述数据流相关联的位平面流，所述位平面流包括与所述三维图像序列中的每个图像相关联的多个位平面；
(iii)异步地缓冲所述位平面流，以提供与第一三维图像相关联的第一多个位平面；以及
(iv)基于所述第一多个位平面，投影与所述第一三维图像相关联的第一多个图像平面，以显示所述第一三维图像，对所述第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供为止。
2.根据权利要求1所述的方法，其中，实时地或近实时地显示所述三维图像序列。
3.根据权利要求1或2所述的方法，其中，在近眼显示设备上显示所述三维图像序列。
4.根据权利要求1、2或3所述的方法，其中，(i)中的生成数据流包括：
(a)获取所述三维图像序列；
(b)对所述三维图像序列中的至少一个图像进行预处理；
(c)将所述三维图像序列中的每个图像分解成与每个图像对应的多个图像平面；
(d)对所述三维图像序列中的所述至少一个图像进行后处理；
(e)对所述三维图像序列中的每个图像对应的所述多个图像平面进行重新采样；以及
(f)将所述三维图像序列中的每个图像存储为该每个图像的重新采样的多个图像平面的拼接。
5.根据权利要求4所述的方法，其中，(b)中的对所述三维图像序列中的至少一个图像进行预处理包括以下步骤中的至少一个：
-对所述至少一个图像进行线性变换；
-对所述至少一个图像进行裁剪。
6.根据权利要求4或5所述的方法，其中，(d)中的对所述三维图像序列中的至少一个图像进行后处理包括以下步骤中的至少一个：
-将图形表示信息和/或指针信息添加到与所述至少一个图像对应的多个图像平面中；
-针对所述至少一个图像实施平面间抗锯齿。
7.根据权利要求4至6中任一项所述的方法，其中，针对给定的三维图像，(c)中的分解包括：
-在所述给定的三维图像中选择关注的三维体积；
-将所述关注的三维体积分解为与所述给定的三维图像对应的多个剪切图像平面；以及
-通过使所述多个剪切图像平面在离散位置处映射通过所述给定的三维图像，来获取与所述多个剪切图像平面相关联的深度信息。
8.根据权利要求1至7中任一项所述的方法，其中，(iii)中的异步地缓冲所述位平面流包括：
-以第一数据交换速率接收所述位平面流；
-将接收到的位平面流存储在专用存储缓冲器；
-根据请求从所述专用缓冲器提取存储的位平面流；
-以第三数据交换速率传输提取的位平面流，
其中，所述第一数据交换速率与所述第三数据交换速率之和不超过第二数据交换速率。
9.根据权利要求1至8中任一项所述的方法，进一步包括：
(v)获取来自用户的反馈，其中，所述反馈与所显示的三维图像序列有关；以及
(vi)基于所获取的反馈，实时地或近实时地执行动作。
10.根据权利要求1至9中任一项所述的方法，进一步包括：在生成位平面流(ii)之前异步地缓冲生成的数据流(i)。
11.一种用于显示三维图像序列的体显示系统(100)，所述体显示系统包括：
-包括多个光学扩散器的多平面体显示器(102)，其中，所述体显示器的至少一个平面通过电可控的光学扩散器来实现；
-耦接到所述多平面体显示器的体显示驱动(104)，所述体显示驱动被配置为控制所述多平面体显示器的操作；
-图形处理单元(106)，被配置为生成数据流，所述数据流包括与所述三维图像序列中的每个图像相关联的多个图像平面；以及
-投影机(108)，所述投影机可通信地耦接到所述图形处理单元和所述体显示驱动，所述投影机包括：光源(110)、空间光调制器(112)、投影装置(114)、逻辑块(116)、存储单元(118、200)和驱动模块(120)，所述逻辑块可通信地耦接到所述存储单元，以及所述驱动模块耦接到所述光源、所述空间光调制器、所述投影装置、所述逻辑块和所述存储单元，其中：
-所述逻辑块被配置为生成与所述数据流相关联的位平面流，所述位平面流包括与所述三维图像序列中的每个图像相关联的多个位平面；
-所述存储单元被配置为异步地缓冲所述位平面流，以向所述驱动模块提供与第一三维图像相关联的第一多个位平面；以及
-所述驱动模块被配置为控制所述光源、所述空间光调制器以及所述投影装置基于所述第一多个位平面投影与所述第一三维图像相关联的第一多个图像平面，以在所述多平面体显示器上显示所述第一三维图像，对所述第一多个图像平面进行投影直到与第二三维图像相关联的第二多个位平面被提供给所述驱动模块为止。
12.根据权利要求11所述的体显示系统(100)，其中，所述体显示驱动(104)被配置为控制所述多个光学扩散器，以实时地或近实时地在所述多平面体显示器(102)上显示所述三维图像序列。
13.根据权利要求11或12所述的体显示系统(100)，其中，所述多平面体显示器(102)在近眼显示设备上实现。
14.根据权利要求11、12或13所述的体显示系统(100)，其中，所述图形处理单元(106)被配置为：
-获取所述三维图像序列；
-对所述三维图像序列中的至少一个图像进行预处理；
-将所述三维图像序列中的每个图像分解成与每个图像对应的多个图像平面；
-对所述三维图像序列中的所述至少一个图像进行后处理；
-对所述三维图像序列中的每个图像对应的所述多个图像平面进行重新采样；以及
-将所述三维图像序列中的每个图像存储为该每个图像的重新采样的多个图像平面的拼接。
15.根据权利要求14所述的体显示系统(100)，其中，在对所述至少一个图像进行预处理时，所述图形处理单元被配置为：
-对所述至少一个图像进行线性变换；和/或
-对所述至少一个图像进行裁剪。
16.根据权利要求14或15所述的体显示系统(100)，其中，在对所述至少一个图像进行后处理时，所述图形处理单元(106)被配置为：
-将图形表示信息和/或指针信息添加到与所述至少一个图像对应的多个图像平面中；
-对所述至少一个图像实施平面间抗锯齿。
17.根据权利要求14至16中任一项所述的体显示系统(100)，其中，在对所述三维图像序列中的每个图像进行分解时，所述图形处理单元(106)被配置为：
-在给定的三维图像中选择关注的三维体积；
-将所述关注的三维体积分解为与所述给定的三维图像对应的多个剪切图像平面；以及
-通过使所述多个剪切图像平面在离散位置处平移通过所述给定的三维图像，来获取与所述多个剪切图像平面相关联的深度信息。
18.根据权利要求11至17中任一项所述的体显示系统(100)，其中，所述存储单元(118、200)进一步包括：至少一个输入数据缓冲器(202)、至少一个输出数据缓冲器(204)、外部存储模块(206)以及存储控制器模块(208)，其中，在异步地缓冲所述位平面流(210)时，所述存储控制器模块被配置为：
-监测所述至少一个输入数据缓冲器的第一填充状态，其中，所述至少一个输入数据缓冲器被配置为以第一数据交换速率接收来自所述逻辑块(116)的位平面流；
-监测所述至少一个输出数据缓冲器的第二填充状态，其中，所述至少一个输出数据缓冲器被配置为以第三数据交换速率将所述位平面流传输到所述驱动模块(120)；
-使用所述第一填充状态控制所述外部存储模块存储接收到的位平面流；
-使用所述第二填充状态控制所述外部存储模块提取存储的位平面流，并将提取的位平面流传输至所述至少一个输出数据缓冲器；
其中，所述第一数据交换速率和所述第三数据交换速率之和不超过第二数据交换速率。
19.根据权利要求11至18中任一项所述的体显示系统(100)，其中，所述驱动模块(120)被配置为：
-获取来自用户的反馈，其中，所述反馈与所显示的三维图像序列有关；以及
-基于所获取的反馈，实时地或近实时地执行动作。
20.根据权利要求11至19中任一项所述的体显示系统(100)，其中，所述多平面体显示器(102)的刷新速率介于20赫兹至75赫兹之间。
CN201980038117.XA 2018-06-15 2019-06-03 用于显示三维图像序列的方法和系统 Pending CN112292853A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/009,650 2018-06-15
US16/009,650 US10595015B2 (en) 2018-06-15 2018-06-15 Method and system for displaying sequence of three-dimensional images
PCT/IB2019/054567 WO2019239249A1 (en) 2018-06-15 2019-06-03 Method and system for displaying sequence of three-dimensional images

Publications (1)

Publication Number Publication Date
CN112292853A true CN112292853A (zh) 2021-01-29

Family

ID=67060437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980038117.XA Pending CN112292853A (zh) 2018-06-15 2019-06-03 用于显示三维图像序列的方法和系统

Country Status (4)

Country Link
US (1) US10595015B2 (zh)
EP (1) EP3808078A1 (zh)
CN (1) CN112292853A (zh)
WO (1) WO2019239249A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201813740D0 (en) * 2018-08-23 2018-10-10 Ethersec Ind Ltd Method of apparatus for volumetric video analytics
US10701326B1 (en) * 2019-07-10 2020-06-30 Lightspace Technologies, SIA Image display system, method of operating image display system and image projecting device
CN111273962B (zh) * 2020-02-14 2022-02-18 腾讯科技（深圳）有限公司 配置管理方法、装置、计算机可读存储介质和计算机设备
US11228750B1 (en) * 2020-09-08 2022-01-18 Rovi Guides, Inc. Systems and methods for generating virtual reality scenes
CN112633298B (zh) * 2020-12-28 2023-07-18 深圳大学 一种度量图像/图像块相似性的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002050777A2 (en) * 2000-12-18 2002-06-27 Alan Sullivan Rasterization of three-dimensional images
US20020113752A1 (en) * 1998-04-20 2002-08-22 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
US20060056680A1 (en) * 2004-09-13 2006-03-16 Sandy Stutsman 3D volume construction from DICOM data
US20060273983A1 (en) * 2005-06-01 2006-12-07 Samsung Electronics Co., Ltd. Volumetric three-dimentional display panel and system using multi-layered organic light emitting devices
WO2017055894A1 (en) * 2015-09-30 2017-04-06 Lightspace Technologies Sia Multi-planar volumetric real time three-dimensional display and method of operation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20130021438A1 (en) * 2010-03-31 2013-01-24 Design & Test Technology, Inc. 3d video processing unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113752A1 (en) * 1998-04-20 2002-08-22 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
WO2002050777A2 (en) * 2000-12-18 2002-06-27 Alan Sullivan Rasterization of three-dimensional images
US20060056680A1 (en) * 2004-09-13 2006-03-16 Sandy Stutsman 3D volume construction from DICOM data
US20060273983A1 (en) * 2005-06-01 2006-12-07 Samsung Electronics Co., Ltd. Volumetric three-dimentional display panel and system using multi-layered organic light emitting devices
WO2017055894A1 (en) * 2015-09-30 2017-04-06 Lightspace Technologies Sia Multi-planar volumetric real time three-dimensional display and method of operation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OSMANIS K: "《PROCEEDINGS OF SPIE》", 8 February 2018 *

Also Published As

Publication number Publication date
WO2019239249A1 (en) 2019-12-19
US10595015B2 (en) 2020-03-17
EP3808078A1 (en) 2021-04-21
US20190387220A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN112292853A (zh) 用于显示三维图像序列的方法和系统
US11024267B2 (en) Display system
US6466185B2 (en) Multi-planar volumetric display system and method of operation using psychological vision cues
Balogh et al. Holovizio 3D display system
WO1999054849A9 (en) Multi-planar volumetric display system and method of operation ussing three-dimensional anti-aliasing
Geng A volumetric 3D display based on a DLP projection engine
JP7431244B2 (ja) 仮想、拡張、および複合現実システムおよび方法
US11601638B2 (en) Head-mounted display device
JP2006195018A (ja) ３次元表示方法、画像生成側装置、および画像表示側装置
US11818325B2 (en) Blended mode three dimensional display systems and methods
WO2017055894A1 (en) Multi-planar volumetric real time three-dimensional display and method of operation
Burnett 61‐1: Invited Paper: Light‐field Display Architecture and the Challenge of Synthetic Light‐field Radiance Image Rendering
CN114830011A (zh) 虚拟、增强和混合现实系统和方法
JP2006197240A (ja) ３次元表示方法および３次元表示装置
Sankaralingam Unified Graphics API for a Display-Agnostic Rendering System
Ruskuls et al. Implementation of Multi-Focal Near-Eye Display Architecture: Optimization of Data Path
JP2004214763A (ja) ３次元映像システム
Balogh et al. Holovizio: The next generation of 3D oil & gas visualization
Napoli Volumetric displays & implementation experience
JP2004214764A (ja) ３次元映像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210129