CN115202174A - 基于光场图像的全息体视图获取方法、系统和应用 - Google Patents

基于光场图像的全息体视图获取方法、系统和应用 Download PDF

Info

Publication number
CN115202174A
CN115202174A CN202210826463.8A CN202210826463A CN115202174A CN 115202174 A CN115202174 A CN 115202174A CN 202210826463 A CN202210826463 A CN 202210826463A CN 115202174 A CN115202174 A CN 115202174A
Authority
CN
China
Prior art keywords
light
holographic
image
virtual
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210826463.8A
Other languages
English (en)
Other versions
CN115202174B (zh
Inventor
楼益民
刘鑫
吴锋民
胡娟梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202210826463.8A priority Critical patent/CN115202174B/zh
Publication of CN115202174A publication Critical patent/CN115202174A/zh
Application granted granted Critical
Publication of CN115202174B publication Critical patent/CN115202174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0476—Holographic printer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/10—Processes or apparatus for producing holograms using modulated reference beam
    • G03H1/12—Spatial modulation, e.g. ghost imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及三维渲染技术领域，具体涉及基于光场图像的全息体视图获取方法、系统和应用。方法包括获取待渲染场景参考视点的色彩图像信息和深度图像信息，确定待渲染场景的注视中心，其中待渲染场景中的场景物体包括若干三维物点；利用辐射光锥对三维物点进行可见性定义，确定三维物点之间的正确遮挡关系；基于参考视点，并依据视图之间的透视相关性和正确遮挡关系渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像；将透视信息得到剪辑的虚拟光场图像转化为物光波，并使物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图。本发明的方法使得获得具有正确遮挡关系的全息图，且计算量较小。

Description

基于光场图像的全息体视图获取方法、系统和应用
技术领域
本发明属于三维渲染技术领域，具体涉及基于光场图像的全息体视图获取方法、系统和应用。
背景技术
随着科学技术的发展，视觉领域内对图像的理解已经由传统的2D图像发展成为具有3D视觉的图像。如何高效记录并且再现丰富多彩的三维信息,形成逼真的3D图像是人们孜孜以求的目标。全息技术为实现这一目标提供了有效途径。但是目前的全息技术还存在计算量巨大、记录条件苛刻、工艺复杂、图像品质受限等不足。如何快速灵活地获取高质量的光场图像数据，如何高效制备高保真度的全息图像仍然是领域内的重要挑战。
为缓解上述问题，人们提出了多种光场图像采集与生成技术。光场图像采集与生成技术有两大类：第一类是光学采集，第二类是数字渲染方法。其中数字渲染方法利用计算机技术生成光场信息，灵活方便，而且可以结合计算机图形学技术实现特殊的艺术效果。数字渲染方法又包括两大类，第一类是基于三维模型的渲染方法(MBR)，第二类是基于图像的渲染方法(IBR)。
IBR方法通过对已知场景的二维视图的插值来获取虚拟视点的视图和光场图像，降低了渲染复杂度，提升了渲染效率，而且图像来源丰富。但是由于已知二维视图中的空间信息不完备，这种方法会降低图像的渲染质量。无论单参考视点的DIBR还是多参考视点的DIBR技术都存在空洞、重采样、重叠和伪影问题。改进的DIBR算法可以缓解上述问题，但是由于三维物点之间的立体几何信息的缺失，现有的DIBR算法还存在如下问题：1.难以实现正确的遮挡关系和光照渲染；2.在渲染效率上受限于多视角图像之间的冗余计算；3.DIBR算法也无法对已知的透视视图信息进行有效的剪辑。
发明内容
有鉴于此，本发明的发明目的是提供基于光场图像的全息体视图获取方法、系统和应用，可以获得全息体图像，计算量较小，可以改善伪影问题。
为了解决上述技术问题，本发明提供的一种技术方案为：一种基于光场图像的全息体视图获取方法，包括：
获取待渲染场景参考视点的色彩图像信息和深度图像信息，确定待渲染场景的注视中心，其中场景物体包括若干三维物点；
利用辐射光锥对三维物点进行可见性定义，确定三维物点之间的正确遮挡关系；
基于参考视点，并依据视图之间的透视相关性和正确遮挡关系渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像；
将透视信息得到剪辑的虚拟光场图像转化为物光波，并使物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图。
其中“利用辐射光锥对三维物点进行可见性定义”包括：
为每个三维物点定义一个辐射光锥，一个辐射光锥以三维物点为顶点，辐射光锥的张角初始值定位为照明显示系统的视角，辐射光锥在参考相机阵列所在平面上的投影区域定义为三维物点的可见范围；
判断三维物点的辐射光锥内是否包含遮挡物体；
若是，则辐射光锥在参考相机阵列所在平面形成遮挡物体的几何阴影，在几何阴影处的参考相机阵列对三维物点不可见，进而获得三维物点之间的正确遮挡关系。
其中，“基于参考视点，并依据视图之间的透视相关性和正确遮挡关系渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像”包括：
依据待渲染场景不同视角下的静态场景的图像之间的相似性，获得视图之间的透视相关性；
调控辐射光锥在光场中的性质，使得三维物点之间的正确遮挡关系符合显示需求；
依据调控后的辐射光锥和透视相关性渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像。
其中，“调控辐射光锥在光场中的性质”包括：控制张角大小，以控制辐射光锥在参考相机阵列所在平面上的投影区域；或/和，每一个三维物点的观察范围进行可编程的剪辑，剪辑辐射光锥内不同立体角中的光线的分布；或/和，编码过程中在光场插入虚拟光学元件对辐射光锥进行变换。
其中“渲染虚拟视点图像”包括：绘制虚拟视点图像；融合虚拟视点图像。
其中，“将透视信息得到剪辑的虚拟光场图像转化为物光波，并使物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图”包括：
将透视信息得到剪辑的虚拟光场图像输入全息打印系统，依据渲染虚拟视点的排布方位将虚拟光场图像的像素进行重排，转换为全息打印系统可以识别的数据格式；
将可以识别的数据格式的数据加载到空间光调制器上作为物光波并与另一束参考光波在全息干板上发生干涉，获得具有正确的遮挡关系的全息体视图。
本发明还包括第二种技术方案，一种基于光场图像的全息体视图获取系统，包括：图像采集系统、虚拟视点渲染系统、全息体视图打印系统和照明显示系统，图像采集系统用于获取待渲染场景参考视点的色彩图像信息和深度图像信息，确定待渲染场景的注视中心；虚拟视点渲染系统用于接收图像采集系统所采集的参考视点的色彩图像信息和深度图像信息，并转化为透视信息得到剪辑的虚拟光场图像信息，并传输透视信息得到剪辑的虚拟光场图像信息至全息体视图打印系统；全息体视图打印系统用于接收透视信息得到剪辑的虚拟光场图像信息，并将透视信息得到剪辑的虚拟光场图像信息转化为物光波，并使物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图，打印记录具有真确遮挡关系的全息体视图；照明显示系统用于全息体视图的再现照明，照明显示系统的照明角度用于调制成与参考光的角度匹配，以衍射再现具有正确遮挡关系的全息体视图。
其中，图像采集系统包括参考相机阵列和光源，光源用于为参考相机阵列提供照明。
其中，虚拟视点渲染系统包括虚拟视点绘制模块和图像融合模块，虚拟视点绘制模块用于绘制虚拟视点图像；图像融合模块用于将多组虚拟视点图像进行融合。
其中，全息体视图打印系统包括：沿光路传输路径上依次设置的激光器、快门、扩束准直系统和分光镜，以及反射镜、空间光调制器、光阑和全息干板；分光镜用于将光路分束为参考光路和物光光路；反射镜用于改变参考光光路和/或物光光路的路径；空间光调制器设置于物光光路上，并将透视信息得到剪辑的虚拟光场图像信息转化为物光波；光阑用于调节参考光光路和/或物光光路所形成的光斑大小；全息干板设置于参考光光路和物光光路之间，用于记录全息体视图信息。
本发明还包括第三种技术方案，一种应用于工业设计、医学导航、影视娱乐、防伪安全的基于光场图像的全息体视图获取系统，包括上述基于光场图像的全息体视图获取系统。
有益效果：
1、不需要三维建模，首次实现了在光场图像渲染过程中的透视剪辑和快速渲染，获得了对三维图像的再次成像与剪辑效果。
2、克服了基于图像的虚拟视点绘制难以实现正确的遮挡关系和光照渲染的缺点，实现了具有正确遮挡关系的虚拟视点绘制。
3、避免了传统图像渲染过程中所需信息的数据结构复杂，存储空间需求大，建模成本高，在渲染效率上受限于多视角图像之间的冗余计算的不足。显著降低了场景渲染的复杂性，减少了冗余计算，有效地提升了光场图像的渲染速率。
4、克服了传统的虚拟视点绘制无法对已知的透视信息进行有效剪辑的不足，利用辐射光锥实现了三维物点辐射光能分布的有效控制，结合透视相关性的计算，实现了透视信息的有效剪辑。
5、可广泛应用于在虚拟现实、军事指挥、建筑业、影视特效、娱乐、医学图像处理等方面。
附图说明
图1是本发明的基于光场图像的全息体视图获取系统中的图像采集系统一实施例的示意图；
图2是本发明的基于光场图像的全息体视图获取系统中的虚拟视点渲染系统一实施例的结构框图；
图3是本发明的基于光场图像的全息体视图获取系统的全息体视图打印系统一实施例的结构示意图；
图4是本发明的基于光场图像的全息体视图获取系统的照明显示系统一实施例的结构示意图；
图5是本发明的基于光场图像的全息体视图获取获方法一实施例的流程图；
图6是本发明的基于光场图像的全息体视图获取获方法中融合机制一实施例的流程图；
图7是本发明的光基于光场图像的全息体视图获取获方法的各个步骤中涉及的图像与数据信息；
图8是本发明的基于光场图像的全息体视图获取获方法一实施例的步骤流程图。
具体实施方式
如图1-4所示，本发明实施例提供一种基于光场图像的全息体视图获取系统，包括图像采集系统1、虚拟视点渲染系统2、全息体视图打印系统3和照明显示系统4。图像采集系统1用于获取待渲染场景参考视点的色彩图像信息和深度图像信息，确定场景的注视中心，虚拟视点渲染系统2用于接收图像采集系统1所采集的参考视点的色彩图像信息和深度图像信息，并转化为透视信息得到剪辑的虚拟光场图像信息，并传输透视信息得到剪辑的虚拟光场图像信息至全息体视图打印系统3。所述全息体视图打印系统3用于接收透视信息得到剪辑的虚拟光场图像信息，并将透视信息得到剪辑的虚拟光场图像信息转化为物光波，并使物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图，打印记录具有真确遮挡关系的全息体视图。照明显示系统4用于全息体视图的再现照明，照明显示系统4的照明角度用于调制成与参考光的角度匹配，以衍射再现具有真确遮挡关系的全息体视图。
本发明实施例中，如图1所示，图1(a)是图像采集系统一角度示意图，图1(b)为图像采集系统俯视图。图像采集系统1包括参考相机阵列5和光源7，其中光源7用于为参考相机阵列5提供照明。
本发明实施例中，所述参考相机阵列5为包括多个相机，多个相机规则阵列排布。其中，本发明实施例中，相机的数量为大于四个，四个相机位于四个极限视点位置处。本发明实施例中，相机用于获得不同视角下场景物体6的图像信息。
本发明实施例中，虚拟视点渲染系统2包括虚拟视点绘制模块8和图像融合模块9；其中，图像融合模块9包含多重判断机制10(见图6)。
本发明实施例中，虚拟视点绘制模块8依据获得待渲染场景参考视点的色彩图像信息(RGB图像信息)和深度图像信息，基于深度图像信息定义辐射光锥并进行深度切片；利用辐射光锥对物点进行可见性定义；根据需要进行透视剪辑；利用透视相关性渲染所有虚拟视点图像。图像融合模块9通过图像融合，渲染高质量虚拟视点图像。
本发明实施例中，全息体视图打印系统3包括激光器11、快门12、扩束准直系统13、分光镜14、反射镜15、空间光调制器16、光阑17、全息干板18。其中，激光器11、快门12、扩束准直系统13、分光镜14依次沿光路传播方向设置。快门12用于控制曝光时间。分光镜4用于将光路分束为参考光路和物光光路。
具体的，本发明实施例中，光阑17的数量为两个，分别用于调节参考光光路和物光光路所形成的光斑大小。在其他实施例中，光阑17的数量也可以为一个，设置于参考光光路，以调节参考光光路的光斑大小。或光阑17设置于物光光光路，以调节物光光光路的光斑大小。
本发明实施例中，反射镜15的数量为两，两个反射镜15用于改变参考光光路的路径。在其他实施例中，反射镜15的数量也可以为一个或多个，反射镜15也可以用于改变物光光路的路径；或多个反射镜15用于改变物光光路和参考光光路的路径。
本发明实施例中，空间光调制器16设置于物光光路上，并将透视信息得到剪辑的虚拟光场图像信息转化为物光波。
本发明实施例中，全息干板18设置于参考光光路和物光光路之间，用于记录全息体视图信息。
本发明实施例中，扩束准直系统13由双凸透镜组构成。
本发明实施例中，照明显示系统包括置物架19和定向光源20，定向光源20设置于置物架19上，定向光源20的角度可以根据需要进行调制。在其他实施例中，也可以不设置置物架19。
本发明实施例中,基于光场图像的全息体视图获取系统运行过程包括如下过程：虚拟视点渲染系统2接收到图像采集系统1的参考数据，其中参考数据为参考视点的色彩图像信息和深度图像信息；通过虚拟视点绘制模块8和图像融合模块9两模块渲染用于生成全息体视图打印系统3所需的打印数据集。打印数据集包括透视信息得到剪辑的虚拟光场图像信息。
全息体视图打印系统3将渲染得到的打印数据集进行输入读取，并依据所渲染虚拟视点的排布方位将光场图像像素进行重排，转换为全息体视图打印系统3可以识别的数据格式，将转换后的数据加载到空间光调制器(SLM)16上作为物光波并与另一束参考光波在全息干板18上发生干涉，其中，物光与参考光分别位于全息干板18两侧，参考光经过光阑17调制，形成了与经过双远心透镜组21整形的物光点元等大的光斑。干涉后生成的条纹被存储到全息干板18中的全息记录介质的内部，从而在全息干板18上生成全息单元，通过循环记录所有全息单元，由此完成全息打印工作实现全息体视图的快速输出。
本发明提供的一种技术方案为：一种基于光场图像的全息体视图获取方法，如图8所示，包括：
S110：获取待渲染场景参考视点的色彩图像信息和深度图像信息，确定待渲染场景的注视中心，其中场景物体包括若干三维物点。
如1所示，本发明实施例中，采用图像采集系统1中的参考相机阵列采集含有场景物体6的各个视角下的彩图像信息和深度图像信息作为参考视点的色彩图像信息和深度图像信息(RGBD数据信息)。确定场景的注视中心(x0,y0,z0)。
本发明实施中的若干三维物点包括场景物体6和遮挡物体40的物点。
S120：利用辐射光锥对三维物点进行可见性定义，确定三维物点之间的正确遮挡关系。
本发明实施例中，为三维物点引入辐射光锥并进行数据挖掘获得三维物点之间的正确遮挡关系。
具体地，本发明实施例中，引入辐射光锥并进行数据挖掘，如图1、图6(a)和图6(b)所示，根据需要为每一个三维物点定义一个辐射光锥，以三维物点为顶点，辐射光锥的张角为θ。张角θ的初始值可定义为照明显示系统4的视角。所述辐射光锥在图像采集系统1的参考相机阵列平面上的投影区域定义该物点的可见范围。
判断所述三维物点的所述辐射光锥内是否包含遮挡物体。若是，即当三维物点的辐射光锥内包含其它遮挡物体40时，辐射光锥在参考相机阵列所在平面上将形成该遮挡物体40的几何阴影，在这些几何阴影处的参考相机阵列对该三维物点不可见，由此获得三维物点之间的正确遮挡关系。
S130：基于参考视点，并依据视图之间的透视相关性和正确遮挡关系渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像。
本发明实施例中，依据视图之间的透视相关性渲染光场图像，以减少多视点渲染过程的重复计算，提升光场图像的渲染速率。
本发明一实施例中，透视相关性描述的是一种从不同位置观察到的静态场景的图像之间的相似性。即依据所述待渲染场景不同视角下的静态场景的图像之间的相似性，获得视图之间的透视相关性。这种相似性源于场景外观的几何形态和纹理的变化与虚拟相机位置之间存在简洁的映射关系，依据这种相关性，减少多视点渲染过程的重复计算。
调控辐射光锥在光场中的性质，使得三维物点之间的正确遮挡关系符合显示需求。
本发明一实施例中，根据显示需要，调控辐射光锥在光场中的性质，包括调整辐射光锥的张角、张角内的光线分布等参数，实现三维物点辐射光能分布的有效控制。
本发明一实施例中，光能分布的控制方式包括：1)通过主动控制张角大小控制辐射光锥在参考相机阵列平面上的投影区域；2)根据三维图像显示效果的设计需求对每一个三维物点的观察范围进行可编程的剪辑，剪辑辐射光锥内不同立体角中的光线的分布；3)编码过程中在光场插入虚拟光学元件对辐射光锥进行变换。以上三种方式可以采用其中任意一种或几种方式的组合。
依据调控后的辐射光锥和透视相关性渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像。本发明实施例中，利用辐射光锥实现了三维物点辐射光能分布的有效控制，结合透视相关性的计算，实现了透视信息的有效剪辑。
S140：将透视信息得到剪辑的虚拟光场图像转化为物光波，并使物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图。
本发明实施例中，将渲染得到的光场图像输入全息打印系统，实现全息体视图的快速输出。
本发明一实施例中，将渲染得到的光场图像输入全息打印系统3，并依据所渲染虚拟视点的排布方位将光场图像像素进行重排，转换为打印系统可以识别的数据格式，将转换后的数据加载到空间光调制器16上作为物光波并与另一束参考光波在全息干板上发生干涉，实现全息体视图的快速输出，使得观察者能够看到立体感强，具有正确的遮挡关系的全息体视图。
本发明一实施例中，全息打印系统3的物光与参考光分别位于全息干板18两侧，所述参考光经过光阑17调制，形成了与经过双远心透镜组21整形的物光点元等大的光斑。所述加载到空间光调制器16上的数据经过光学系统33后形成物光波并与所述参考光波在全息干板18上发生干涉，其中光学系统包括透镜和光阑17。干涉后生成的条纹被存储到全息干板18的全息记录介质的内部，从而在全息干板18上生成全息单元，通过循环记录所有全息单元，由此完成全息打印工作。
具体地，本发明实施例中一种基于光场图像的全息体视图获取方法的流程图如图5所示，包括：
S11：输入包括相机结构参数、待渲染视图个数、视图分辨率、注视中心位置等。
S12：判断参考相机序号是的小于等于4。在其他实施例中，判断参考相机序号也可以为小于其他数值。
若是，S13：读取RGB图像与深度图像信息。
S14：定义辐射光锥并进行深度切片。
S15：利用辐射光锥对物点进行可见性定义。
S16：透视剪辑。即透视剪辑虚拟视点图像。
S17：渲染虚拟视点图像。
S18：存储虚拟视点图像。
参考相机序号+1，依次循环执行步骤S12-S18。
其中，S12：判断参考相机序号是的小于等于4。
若否，S20：图形融合。对多个虚拟视点图像进行融合。
S21：渲染高质量虚拟视点图像。
S22：输出虚拟视点图像。
完成一次光场图像透视剪辑和快速渲染。
如图6是本实施例中基于光场图像的全息体视图获取方法中融合机制10的流程图，其中，图6a融合机制整体流程图；图6b融合机制判断一纹理值全零分支；图6c融合机制判断二纹理值三零分支；图6d融合机制判断三纹理值二零分支；图6e融合机制判断四纹理值单零分支；图6f融合机制判断五纹理值非零分支。本实施例中融合机制为二步判断法：第一，判断参考相机视点下该待渲染像素点的纹理值是否为零，排除空洞干扰，提升渲染效率；第二，判断非零值纹理来源的参考相机在当下渲染视点进行图像融合的权重，权重的大小与当前所渲染视点的位置和该待渲染像素点的非零值纹理对应的参考相机之间的距离相关，排除远距离参考误差，提升渲染质量。实际操作中可以以参考相机阵列中心为坐标原点将阵列分为四个象限，然后判断所求虚拟视点位于哪一个象限，根据对应的不同非零值情况以及象限位置，即可判断出该虚拟视点与各个参考相机之间的相对权重。在其他实施例中，也可以采用其他方式获得图像融合的相对权重。
以四个参考相机为例，相机序号同象限序号命名相同。如图6(a)所示，第一步分析从不同参考相机渲染得到的同一个物点的纹理值是否为零，如果全部为零则判断该物点在该虚拟视点下纹理值为零，如图6(b)。
如果三个为零则进入图6(c)判断，“Input n”即为输入参考相机名称序号，找到该物点对应的纹理值不为零的参考相机，以此参考相机下该物点的纹理值作为该待渲染像素点的纹理值，即为该参考相机下该物点对应纹理值以比例1赋值给待渲染像素点，简述之权重为1。
如果两个为零则进入6(d)判断，“Input N and n”即为输入当下渲染视点所在前述参考相机阵列平面对应象限序号和参考相机名称序号，找到两个非零纹理的参考相机。如果该相机序号与当前待渲染视点所在象限序号相同，即为当前待渲染视点与该参考相机距离最近(同一象限)，则直接以该参考相机下该物点对应纹理值以比例1赋值给待渲染像素点，简述之权重为1；如果该相机序号与当前待渲染视点所在象限序号之差的绝对值为2，即为当前待渲染视点与该参考相机距离最远(对角象限)，不作为纹理参考，简述之权重为0，继续寻找下一个该物点纹理值非零的参考相机，判断其象限，以该参考相机下该物点对应纹理值以比例1赋值给待渲染像素点，简述之权重为1；如果该相机序号与当前待渲染视点所在象限序号之差的绝对值为1或者3，即为当前待渲染视点与该参考相机所在象限为相邻象限，经过图6(d)中前两步骤判断，若程序行至此处，则仅余一种可能，与该待渲染视点所在象限同一象限内的参考相机该物点纹理值为零，其对角象限中参考相机该物点纹理值亦为零，有纹理值的参考相机为该待渲染视点所在象限相邻的两个象限，此时，将上述两个象限内所对应的参考相机下该物点对应纹理值分别以比例0.5相加后，赋值给待渲染像素点，简述之权重为0.5。
如果一个为零则进入6(e)判断，“Input N and n”即为输入当下渲染视点所在前述参考相机阵列平面对应象限序号和参考相机名称序号，如果该相机序号与当前待渲染视点所在象限序号相同，即为当前待渲染视点与该参考相机距离最近(同一象限)，则直接以该参考相机下该物点对应纹理值以比例1赋值给待渲染像素点，简述之权重为1；如果该相机序号与当前待渲染视点所在象限序号之差的绝对值为1或者3，即为当前待渲染视点与该参考相机所在象限为相邻象限，有纹理值的参考相机为该待渲染视点所在象限相邻的两个象限，此时，将上述两个象限内所对应的参考相机下该物点对应纹理值分别以比例0.5相加后，赋值给待渲染像素点，简述之权重为0.5。
如果全部非零则进入6(f)判断，“Input N and n”即为输入当下渲染视点所在前述参考相机阵列平面对应象限序号和参考相机名称序号，如果该相机序号与当前待渲染视点所在象限序号相同，即为当前待渲染视点与该参考相机距离最近(同一象限)，则直接以该参考相机下该物点对应纹理值以比例1赋值给待渲染像素点，简述之权重为1。
由此，通过第一判断机制排除空洞干扰，仅信任有纹理信息的虚拟视点内容，再通过第二判断机制取信于最近邻参考相机(本实施例中最近邻判断采用象限判断)，降低虚拟视点距离参考相机过远所导致的渲染结果误差，最终能够得到效果良好的虚拟视点图像融合结果。
参见附图7，图中(a)-(m)是本发明实施例中基于光场图像的全息体视图获取方法的各个步骤中涉及的图像与数据信息。图7(a)光场图像获取模型示意图；图7(b)辐射光锥投影示意图；图7(c)辐射光锥可见性控制；图7(d)d-(h)辐射光锥可见性控制在不同视点下渲染的效果图；
图7(i)具有三维场景镜像成像效果的光场图像绘制过程示意图；图7(j)-(m)数据模型的镜像效果图。如图7(a)-(b)，根据需要为每一个三维物点定义一个辐射光锥24，辐射光锥24的顶点在三维物点上，辐射光锥24的张角为θ。张角θ的初始值可定义为照明显示系统4的视角。三维物点在辐射光锥24所约束的范围内发射出光线，这些光线在参考相机平面上形成的投影区域22即是该物点的可见范围。如果某一个物点的辐射光锥24内包含别的物体，如图7(a)中的辐射光锥内有一部分遮挡物体40，其中遮挡物体40为苹果，辐射光锥24在相机平面上将形成该物体的几何阴影23，在这些阴影处的参考相机对该物点不可见。利用上述过程对每一个物点的辐射光锥的投影进行定义即可实现正确的遮挡关系。
引入辐射光锥的另一个优点是利用辐射光锥可主动调控场景物体6的可见性。如图7(c)，所渲染的光场图像在观察区域25、27、29中遮挡物体40可见，在观察区域26、28中遮挡物体40不可见。如图7(d)-(h)分别对应25-29区域观察到的视图。通过辐射光锥24在光场图像渲染过程中实现可见性的控制。
引入辐射光锥的又一个优点是：利用辐射光锥实现镜面(半透半反射镜)成像的效果。如图7(i)示意的是利用辐射光锥实现镜面(半透半反射镜)成像艺术效果，图中镜子30左侧线段31示意的光线为透过镜子的透射光线，右侧线段32为光线被镜子反射的光线。其中透射光强等于总光强与镜子透射率之积，透射光线的可见范围同无镜子时的范围相同。反射光强等于总光强与反射率之积，反射光线的可见范围为反射光线对应的辐射光锥在相机平面上的投影区域为点M与线段32光线同t轴的交点之间的区域。在该范围内可以同时看到原物体和物体通过镜子形成的虚像。利用辐射光锥重新定义的可见区域结合透视剪辑和快速渲染方法进行虚拟视点渲染，即可实现镜像效果光场图像的渲染。
图7(j)-(k)为数据模型的镜像效果。图7(j)为在图7(i)中的横坐标上的观察区域OM中拍摄的图像，该处光线被镜子遮挡，无法看到模型；图7(k)为图7(i)中的观察区域MT中拍摄的图像，该处可以同时看到被镜子反射形成的像和原数据模型的像。
图7(l)-(m)所示的是数据模型通过半透半反镜成像的效果，其它参数与图7(j)(k)的参数相同。图7(l)为在图7(i)中的观察区域OM中拍摄的图像，该处部分光线被镜子反射，所以看到透射过来光线下模型亮度降低。图7(m)为图7(i)中的观察区域MT中拍摄的图像，该处可以同时看到被镜子反射形成的虚像和原数据模型的像。不过由于是半透半反镜，所以虚像的亮度比原数据模型低。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，都属于本发明的保护范围。

Claims (10)

1.一种基于光场图像的全息体视图获取方法，其特征在于，包括：
获取待渲染场景参考视点的色彩图像信息和深度图像信息，确定所述待渲染场景的注视中心，其中所述待渲染场景中的场景物体包括若干三维物点；
利用辐射光锥对所述三维物点进行可见性定义，确定所述三维物点之间的正确遮挡关系；
基于所述参考视点，并依据视图之间的透视相关性和所述正确遮挡关系渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像；
将所述透视信息得到剪辑的虚拟光场图像转化为物光波，并使所述物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图。
2.根据权利要求1所述的基于光场图像的全息体视图获取方法，其特征在于，所述“利用辐射光锥对所述三维物点进行可见性定义”包括：
为每个所述三维物点定义一个所述辐射光锥，一个所述辐射光锥以所述三维物点为顶点，辐射光锥的张角初始值定位为照明显示系统的视角，辐射光锥在参考相机阵列所在平面上的投影区域定义为所述三维物点的可见范围；
判断所述三维物点的所述辐射光锥内是否包含遮挡物体；
若是，则所述辐射光锥在所述参考相机阵列所在平面形成所述遮挡物体的几何阴影，在所述几何阴影处的所述参考相机阵列对所述三维物点不可见，进而获得所述三维物点之间的正确遮挡关系。
3.根据权利要求1所述的基于光场图像的全息体视图获取方法，其特征在于，所述“基于所述参考视点，并依据视图之间的透视相关性和所述正确遮挡关系渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像”包括：
依据所述待渲染场景不同视角下的静态场景的图像之间的相似性，获得视图之间的透视相关性；
调控所述辐射光锥在光场中的性质，使得三维物点之间的正确遮挡关系符合显示需求；
依据调控后的辐射光锥和透视相关性渲染虚拟视点图像，获得透视信息得到剪辑的虚拟光场图像。
4.根据权利要求3所述的基于光场图像的全息体视图获取方法，其特征在于，所述“调控所述辐射光锥在光场中的性质”包括：
控制张角大小，以控制辐射光锥在参考相机阵列所在平面上的投影区域；或/和，
每一个三维物点的观察范围进行可编程的剪辑，剪辑辐射光锥内不同立体角中的光线的分布；或/和，
编码过程中在光场插入虚拟光学元件对辐射光锥进行变换。
5.根据权利要求1所述的基于光场图像的全息体视图获取方法，其特征在于，所述“渲染虚拟视点图像”包括：
绘制虚拟视点图像；
融合所述虚拟视点图像。
6.根据权利要求1所述的基于光场图像的全息体视图获取方法，其特征在于，所述“将所述透视信息得到剪辑的虚拟光场图像转化为物光波，并使所述物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图”包括：
将所述透视信息得到剪辑的虚拟光场图像输入全息打印系统，依据渲染虚拟视点的排布方位将虚拟光场图像的像素进行重排，转换为所述全息打印系统可以识别的数据格式；
将所述可以识别的数据格式的数据加载到空间光调制器上作为物光波并与另一束参考光波在全息干板上发生干涉，获得具有正确的遮挡关系的全息体视图。
7.一种基于光场图像的全息体视图获取系统，其特征在于，包括：图像采集系统(1)、虚拟视点渲染系统(2)、全息体视图打印系统(3)和照明显示系统(4)，
所述图像采集系统(1)用于获取待渲染场景参考视点的色彩图像信息和深度图像信息，确定待渲染场景的注视中心；
所述虚拟视点渲染系统(2)用于接收所述图像采集系统(1)所采集的参考视点的色彩图像信息和深度图像信息，并转化为透视信息得到剪辑的虚拟光场图像信息，并传输所述透视信息得到剪辑的虚拟光场图像信息至所述全息体视图打印系统(3)；
所述全息体视图打印系统(3)用于接收所述透视信息得到剪辑的虚拟光场图像信息，并将所述透视信息得到剪辑的虚拟光场图像信息转化为物光波，并使所述物光波与参考光发生干涉，形成具有正确遮挡关系的全息体视图，打印记录所述具有真确遮挡关系的全息体视图；
所述照明显示系统(4)用于所述全息体视图的再现照明，所述照明显示系统(4)的照明角度用于调制成与所述参考光的角度匹配，以衍射再现所述具有真确遮挡关系的全息体视图。
8.根据权利要求7所述的基于光场图像的全息体视图获取系统，其特征在于，
所述图像采集系统(1)包括参考相机阵列(5)和光源(7)，所述光源(7)用于为所述参考相机阵列(5)提供照明；
所述虚拟视点渲染系统(2)包括虚拟视点绘制模块(8)和图像融合模块(9)，所述虚拟视点绘制模块(8)用于绘制虚拟视点图像；所述图像融合模块(9)用于将多组虚拟视点图像进行融合。
9.根据权利要求7所述的基于光场图像的全息体视图获取系统，其特征在于，
所述全息体视图打印系统(3)包括：
沿光路传输路径上依次设置的激光器(11)、快门(12)、扩束准直系统(13)和分光镜(14)，所述分光镜(4)用于将光路分束为参考光路和物光光路；
反射镜(15)，用于改变所述参考光光路和/或所述物光光路的路径；
空间光调制器(16)，设置于所述物光光路上，并将所述透视信息得到剪辑的虚拟光场图像信息转化为物光波；
光阑(17)，用于调节所述参考光光路和/或所述物光光路所形成的光斑大小；
全息干板(18)，设置于所述参考光光路和所述物光光路之间，用于记录全息体视图信息。
10.一种应用于工业设计、医学导航、影视娱乐、防伪安全的基于光场图像的全息体视图获取系统，其特征在于，包括权利要求7-9所述的基于光场图像的全息体视图获取系统。
CN202210826463.8A 2022-07-14 2022-07-14 基于光场图像的全息体视图获取方法、系统和应用 Active CN115202174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210826463.8A CN115202174B (zh) 2022-07-14 2022-07-14 基于光场图像的全息体视图获取方法、系统和应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210826463.8A CN115202174B (zh) 2022-07-14 2022-07-14 基于光场图像的全息体视图获取方法、系统和应用

Publications (2)

Publication Number Publication Date
CN115202174A true CN115202174A (zh) 2022-10-18
CN115202174B CN115202174B (zh) 2023-11-10

Family

ID=83579887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210826463.8A Active CN115202174B (zh) 2022-07-14 2022-07-14 基于光场图像的全息体视图获取方法、系统和应用

Country Status (1)

Country Link
CN (1) CN115202174B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2687364A1 (en) * 2007-05-16 2008-11-20 Seereal Technologies S.A. Method for generating video holograms in real time for extending a 3d rendering graphics pipeline
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN101668219A (zh) * 2008-09-02 2010-03-10 深圳华为通信技术有限公司 3d视频通信方法、发送设备和系统
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法
CN107464278A (zh) * 2017-09-01 2017-12-12 叠境数字科技（上海）有限公司 全视向的球体光场渲染方法
CN108369639A (zh) * 2015-12-11 2018-08-03 虞晶怡 使用多相机和深度相机阵列的基于图像的图像渲染方法和系统
US20180352209A1 (en) * 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering
CN109683461A (zh) * 2019-01-24 2019-04-26 杭州光粒科技有限公司 基于光场渲染的全息图生成方法、系统、存储介质及近眼ar全息三维显示系统
CN110069006A (zh) * 2019-04-30 2019-07-30 中国人民解放军陆军装甲兵学院 一种全息体视图合成视差图像生成方法及系统
CN110246146A (zh) * 2019-04-29 2019-09-17 北京邮电大学 基于多次深度图像渲染的全视差光场内容生成方法及装置
CN113671813A (zh) * 2021-08-20 2021-11-19 中国人民解放军陆军装甲兵学院 一种虚实场景融合的全视差全息体视图制作方法及系统
JP2021196870A (ja) * 2020-06-15 2021-12-27 Kddi株式会社 仮想視点レンダリング装置、方法及びプログラム
US20220005216A1 (en) * 2016-07-21 2022-01-06 Interdigital Vc Holdings, Inc. Method for generating layered depth data of a scene

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2687364A1 (en) * 2007-05-16 2008-11-20 Seereal Technologies S.A. Method for generating video holograms in real time for extending a 3d rendering graphics pipeline
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN101668219A (zh) * 2008-09-02 2010-03-10 深圳华为通信技术有限公司 3d视频通信方法、发送设备和系统
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法
CN108369639A (zh) * 2015-12-11 2018-08-03 虞晶怡 使用多相机和深度相机阵列的基于图像的图像渲染方法和系统
US20220005216A1 (en) * 2016-07-21 2022-01-06 Interdigital Vc Holdings, Inc. Method for generating layered depth data of a scene
US20180352209A1 (en) * 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering
CN107464278A (zh) * 2017-09-01 2017-12-12 叠境数字科技（上海）有限公司 全视向的球体光场渲染方法
CN109683461A (zh) * 2019-01-24 2019-04-26 杭州光粒科技有限公司 基于光场渲染的全息图生成方法、系统、存储介质及近眼ar全息三维显示系统
CN110246146A (zh) * 2019-04-29 2019-09-17 北京邮电大学 基于多次深度图像渲染的全视差光场内容生成方法及装置
CN110069006A (zh) * 2019-04-30 2019-07-30 中国人民解放军陆军装甲兵学院 一种全息体视图合成视差图像生成方法及系统
JP2021196870A (ja) * 2020-06-15 2021-12-27 Kddi株式会社 仮想視点レンダリング装置、方法及びプログラム
CN113671813A (zh) * 2021-08-20 2021-11-19 中国人民解放军陆军装甲兵学院 一种虚实场景融合的全视差全息体视图制作方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
姜涛;吴永明;: "光场渲染技术的软件实现", 电脑知识与技术(学术交流), no. 05 *
张驰;刘菲;侯广琦;孙哲南;谭铁牛;: "光场成像技术及其在计算机视觉中的应用", 中国图象图形学报, no. 03 *
程龙;郭立;袁红星;陈晓琳;: "基于光场渲染的动态3D目标重构技术", 中国科学院研究生院学报, no. 06 *
胡孔明;于瀛洁;张之江;: "基于光场的渲染技术研究", 微计算机应用, no. 02 *
韩曦;曾丹;秦文;张之江;: "基于信息角的运动物体的空间域光场渲染", 电子测量技术, no. 09 *

Also Published As

Publication number Publication date
CN115202174B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US11363249B2 (en) Layered scene decomposition CODEC with transparency
US7973791B2 (en) Apparatus and method for generating CG image for 3-D display
KR101094118B1 (ko) 3차원 프로젝션 디스플레이
US5793503A (en) Methods of hologram construction using computer-processed objects
TWI640850B (zh) 在全像系統中編碼包括透明物體三維場景之方法及裝置
US5237433A (en) Methods of hologram construction using computer-processed objects
CN107390379B (zh) 一种近眼全息三维显示系统和显示方法
WO2005099386A2 (en) Holographic projector
CN210666315U (zh) 一种基于全息投影的多视图三维显示装置
JP7227095B2 (ja) ホログラム生成装置およびホログラム生成方法
US20210405585A1 (en) Method and apparatus for processing hologram image data
Bonatto et al. Real-time depth video-based rendering for 6-DoF HMD navigation and light field displays
US20130148179A1 (en) Holographic display
US10197809B2 (en) Display system based on hologram and hologram display method using the same
Yan et al. Implementation of the real–virtual 3D scene-fused full-parallax holographic stereogram
CN103995454A (zh) 一种单空间光调制器实现彩色全息实时三维显示的方法
CN115202174B (zh) 基于光场图像的全息体视图获取方法、系统和应用
Yamaguchi Ray-based and wavefront-based holographic displays for high-density light-field reproduction
CA3127545C (en) Layered scene decomposition codec system and methods
CN107976888B (zh) 能够表示再现像遮挡关系的计算全息三维显示方法及系统
CN107976887B (zh) 一种能减少再现浪费信息的计算全息三维显示方法及系统
Yang Advanced algorithmic approaches for improving image quality in 2D and 3D holographic displays
Yamamoto et al. Interactive electronic holography and 300-camera array in dense arrangement
Byoungho Lee et al. THREE-DIMENSIONAL DISPLAY AND INFORMATION PROCESSING BASED ON INTEGRAL IMAGING
Jung Depth Image-Based Rendering for

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant