CN112884877A - 光场显示方法、装置、电子设备及存储介质 - Google Patents

光场显示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112884877A
CN112884877A CN202110189119.8A CN202110189119A CN112884877A CN 112884877 A CN112884877 A CN 112884877A CN 202110189119 A CN202110189119 A CN 202110189119A CN 112884877 A CN112884877 A CN 112884877A
Authority
CN
China
Prior art keywords
light field
depth
reconstruction
origin
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110189119.8A
Other languages
English (en)
Inventor
何雨飞
钟汇才
王师峥
杨艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Microelectronics of CAS
Original Assignee
Institute of Microelectronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Microelectronics of CAS filed Critical Institute of Microelectronics of CAS
Priority to CN202110189119.8A priority Critical patent/CN112884877A/zh
Publication of CN112884877A publication Critical patent/CN112884877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种光场显示方法、装置、电子设备及存储介质，该方法包括：获取光场图片矩阵；根据光场图片矩阵，通过光场深度估计获得光场深度信息图；根据光场深度信息图，确定备选的重建原点深度；根据备选的重建原点深度，重建光场图片。本申请对光场图片进行光场深度估计，获得多个备选的重建原点深度。将光场显示设备的预设重建原点深度分别修改为备选的重建原点深度，基于修改后的光场重建原点来重建光场图片。从重建的多个光场图片中选取峰值信噪比最大的进行显示。依据光场自身的深度特征多次改变光场重建原点的位置，获得多个光场重建结果，选取峰值信噪比最大的重建结果进行显示，提高了光场重建质量，提高了多层光场显示的显示效果。

Description

光场显示方法、装置、电子设备及存储介质
技术领域
本申请属于显示技术领域，具体涉及一种光场显示方法、装置、电子设备及存储介质。
背景技术
光场是指光在每一个方向通过每一个点的光量。光场显示技术能够在空间中重构物体的三维信息，可以提供接近自然的立体图像。
目前，多层光场显示是常用的光场显示技术，多层光场显示基于四维光场原理进行光场采集及重建，光场显示设备中预设了光场重建原点，根据该光场重建原点及光场采集获得的光场图片，利用多个显示层构建三维场景的空间光场，通过多个显示平面上的像素点来确定场景中光线的方向和颜色信息。各个平面上的像素点的亮度信息根据三维场景的亮度和空间信息通过迭代法进行优化求解而获得。
但上述多层光场显示技术是在预设的光场重建原点基础上进行光场重建的，重建过程中未考虑需重建的光场图片自身特点对光场重建原点的影响，导致重建的光场图片峰值信噪比低，重建质量不高。
发明内容
本申请提出一种光场显示方法、装置、电子设备及存储介质，对光场图片进行光场深度估计，获得多个备选的重建原点深度。将光场显示设备的预设重建原点深度分别修改为备选的重建原点深度，基于修改后的光场重建原点来重建光场图片。从重建的多个光场图片中选取峰值信噪比最大的进行显示。提高了光场重建质量，提高了多层光场显示的显示效果。
本申请第一方面实施例提出了一种光场显示方法，包括：
获取光场图片矩阵；
根据所述光场图片矩阵，通过光场深度估计获得光场深度信息图；
根据所述光场深度信息图，确定备选的重建原点深度；
根据所述备选的重建原点深度，重建光场图片。
在本申请的一些实施例中，所述根据所述光场图片矩阵，通过光场深度估计获得光场深度信息图，包括：
将所述光场图片矩阵包括的多个光场图片拼接成一幅拼接图；
根据所述拼接图中每个像素点的坐标及角斑中的像素个数，获取所述拼接图对应的重聚焦图像；
通过预设光场深度估计算法对所述重聚焦图像进行光场深度估计，获得局部深度图；
对所述局部深度图进行图割优化和加权中值滤波处理，得到所述光场图片矩阵对应的光场深度信息图。
在本申请的一些实施例中，所述根据所述光场深度信息图，确定备选的重建原点深度，包括：
分别统计所述光场深度信息图中每个深度值对应的像素数目；
从所述每个深度值中选取对应的像素数目最多的预设数目个深度值；或者，从所述每个深度值中，选取对应的像素数目与所述光场深度信息图中的总像素数目之比大于预设阈值的深度值；
根据预设最大深度值、预设光场原点深度和选取的每个深度值，分别计算选取的所述每个深度值对应的备选的重建原点深度。
在本申请的一些实施例中，所述根据预设最大深度值、预设光场原点深度和选取的每个深度值，分别计算选取的所述每个深度值对应的备选的重建原点深度之前，还包括：
若选取的所述深度值中存在数值相邻的深度值，则按照预设合并原则将数值相邻的深度值进行合并。
在本申请的一些实施例中，所述根据所述备选的重建原点深度，重建光场图片，包括：
获取所述光场图片矩阵中的中心视角图片；
根据备选的每个重建原点深度和所述光场显示设备对应的预设前后景深范围，重建所述中心视角图片；
根据光场显示设备包括的显示层数目，对重建的所述中心视角图片进行张量分解，获得所述显示层数目个张量值；
根据所述显示层数目个张量值，通过所述光场显示设备中的各显示层分别生成各显示层对应的显示图像，各显示图像在空间中叠加得到重建的光场图片。
在本申请的一些实施例中，所述根据备选的每个重建原点深度和所述光场显示设备对应的预设前后景深范围，重建所述中心视角图片，包括：
将所述光场显示设备的预设光场原点深度修改为第一重建原点深度，所述第一重建原点深度为所述备选的重建原点深度中的任一重建原点深度；
根据所述第一重建原点深度和所述光场显示设备对应的预设前后景深范围，调整所述中心视角图片；
分别检测每个备选的重建原点深度对应的调整后的中心视角图片的峰值信噪比；
从调整后的多个中心视角图片中选择峰值信噪比最大的中心视角图片；
将所述峰值信噪比最大的中心视角图片确定为最终重建的中心视角图片。
在本申请的一些实施例中，所述重建所述中心视角图片之后，还包括：
根据重建前的所述中心视角图片和重建后的所述中心视角图片，对重建后的所述中心视角图片进行修正。
本申请第二方面的实施例提供了一种光场显示装置，包括：
图片获取模块，用于获取光场图片矩阵；
深度估计模块，用于根据所述光场图片矩阵，通过光场深度估计获得光场深度信息图；
原点深度确定模块，用于根据所述光场深度信息图，确定备选的重建原点深度；
光场重建模块，用于根据所述备选的重建原点深度，重建光场图片。
本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。
本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
在本申请实施例中，使用光场深度估计算法对光场图片进行处理，获得多个备选的重建原点深度。将光场显示设备的预设重建原点深度分别修改为备选的重建原点深度，并基于修改后的光场重建原点来重建光场图片。从重建的多个光场图片中选取峰值信噪比最大的进行显示。如此考虑了光场自身的深度特征对光场重建原点的影响，依据光场自身的深度特征多次改变光场重建原点的位置，获得多个光场重建结果，选取峰值信噪比最大的重建结果进行显示，大大提高了光场重建质量，提高了多层光场显示的显示效果。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请一实施例所提供的一种光场显示方法的流程图；
图2示出了本申请一实施例所提供的对光场图片进行深度估计处理的过程示意图；
图3示出了本申请一实施例所提供的三层光场显示光场重建的过程示意图；
图4示出了本申请一实施例所提供的多层光场显示衰减模型和极化模型的示意图；
图5示出了本申请一实施例所提供的一种光场显示装置的结构示意图；
图6示出了本申请一实施例所提供的一种电子设备的结构示意图；
图7示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种光场显示方法、装置、电子设备及存储介质。
本申请实施例提供了一种光场显示方法，该方法使用光场深度估计算法对光场图片进行处理，获取其深度信息。依据其深度信息来修改光场显示设备的光场重建原点的深度值，基于修改后的光场重建原点来重建光场图片。考虑了光场图片自身的深度特征对光场重建原点的影响，提高了重建的光场图片的峰值信噪比，大大提高了光场重建质量。
参见图1，该方法具体包括以下步骤：
步骤101：获取光场图片矩阵。
光场图片矩阵可以为n*m的图片阵列，如光场图片矩阵可以为5*5或7*7的图片阵列等。在本申请实施例中可以通过光场相机对需要立体显示的物体或场景进行拍摄得到的光场图片，经过对光场相近拍摄的光场图片进行解析能够获得光场图片矩阵。在本申请的另一些实施例中，光场图片矩阵也可以是从一些已有的光场图片数据集中获取。
步骤102：根据光场图片矩阵，通过光场深度估计获得光场深度信息图。
首先将光场图片矩阵包括的多个光场图片拼接成一幅拼接图。在该拼接图中每个光场图片所在的位置与光场图片矩阵中各个光场图片的编号一一对应。如图2中所示的“光场图片阵列”即为将7*7的光场图片矩阵中的49张汽车图片拼接而成的一幅拼接图。
光场图片测量数据成本的三个属性为：EPI(Epipolar Plane Image，核极线平面图)、角斑和重聚焦图像。其中，重聚焦图像相当于光场图片矩阵中的中心视角的光场图片。根据拼接图中每个像素点的坐标及角斑中的像素个数，通过如下公式(1)获取该拼接图对应的重聚焦图像。
Figure BDA0002944609850000051
在公式(1)中，Rα(P)为重聚焦图像，P为拼接图中的像素点，(u，v)为像素点P的坐标，|A|为角斑中的像素个数。角斑可以为拼接图中的角点。
通过上述公式(1)得到重聚焦图像后，通过预设光场深度估计算法对重聚焦图像进行光场深度估计，获得局部深度图。预设光场深度估计算法可以为CAE(约束角熵代价)或CAD(约束自适应离焦代价)等。CAE和CAD均是在MAP-MRF(Maximum A Posteriori-MarkovRandom Field)框架上建立的深度估计模型。预设光场深度估计算法具体通过如下公式(2)对重聚焦图像进行光场深度估计，然后通过公式(3)使用预设光场深度估计算法的成本约束条件对光场深度估计得到的图像进行成本约束，获得重聚焦图像对应的局部深度图。
Figure BDA0002944609850000061
di(p)＝arg mind C(P，d)...(3)
在公式(2)和(3)中，E为局部深度图，P和q为重聚焦图像中的像素点，α(p)为像素点P处的深度标签，N(P)为像素点P处的像素领域，Eunary是衡量像素P的深度标签α(p)的合适程度的数据代价。Ebinary为强制相邻像素之间一致性的平滑代价，λ为平滑代价的加权因子。d为深度值，C为成本量。
成本量C是关于图像像素空间坐标P和深度值d的函数，反映了不同像素点在不同深度层上的成本大小，成本越小则表示该像素点取该深度值越可靠。通过上述公式(3)提取每个空间点最小成本所对应的深度值d，从而获得局部深度图。
通过上述公式(2)和(3)得到重聚焦图像的局部深度图之后，对局部深度图进行图割优化和加权中值滤波处理，得到光场图片矩阵对应的光场深度信息图，该光场深度信息图为全局深度图。
本步骤获得光场深度信息图的过程如图2所示，对光场图片阵列(即上述拼接图)进行重聚焦得到焦点堆栈图片(即上述重聚焦图像)，通过预设光场深度估计算法对焦点堆栈图片进行层板构造(即通过上述公式(2)对重聚焦图像进行深度估计)，然后进行成本最小化处理(即通过上述公式(3)提取每个空间点最小成本所对应的深度值d)得到局部深度图，最后对局部深度图进行图割优化和平滑约束(即加权中值滤波处理)得到全局深度图，即得到光场图片矩阵对应的光场深度信息图。
步骤103：根据光场深度信息图，确定备选的重建原点深度。
通常使用的深度分级是0-255共256个分级，但本申请实施例中使用的包括但不限于256个分级。分别统计光场深度信息图中每个深度值对应的像素数目，若使用的深度分级是0-255的分级，则统计深度值为0的像素数目、深度值为1的像素数目、……、深度值为254的像素数目、深度值为255的像素数目。从每个深度值中选取满足预设备选条件的深度值作为备选的重建原点深度。预设备选条件可以为深度值对应的像素数目最多的预设数目个深度值，或者，预设备选条件可以为深度值对应的像素数目与光场深度信息图中的总像素数目之比大于预设阈值。
即从每个深度值中选取对应的像素数目最多的预设数目个深度值；或者，从每个深度值中，选取对应的像素数目与光场深度信息图中的总像素数目之比大于预设阈值的深度值。
其中，上述预设阈值可以为1％、1.5％或2％等，上述预设数目可以为3、5、8等。本申请实施例并不限制上述预设阈值和预设数目的具体取值，实际应用中可根据需求进行设定。
在本申请的另一些实施例中，按照上述任一方式选取出满足要求的深度值之后，还判断选取的深度值中是否存在数值相邻的深度值，若不存在，则直接将选取的所有深度值均确定为备选的重建原点深度。若选取的深度值中存在数值相邻的深度值，则按照预设合并原则将数值相邻的深度值进行合并。
其中，预设合并原则可以规定若数值相邻的深度值有奇数个则选取中位数，若数值相邻的深度值的个数为偶数个，则选取位于中间位置的两个深度值，或者选取位于中间位置的任意一个深度值。
通过将数值相邻的深度值进行合并，能够减少最终的重建原点深度的数目，减少后续重建光场图片的运算量。
通过上述任一方式选取出一个或多个符合要求的深度值之后，根据预设最大深度值、预设光场原点深度和选取的每个深度值，分别计算选取的每个深度值对应的备选的重建原点深度。其中，预设最大深度值为所使用的分级方式中的最大深度值，如使用0-255的分级方式，则预设最大深度值为255。预设光场原点深度为光场显示设备中预先设置的默认的光场原点深度，预设光场原点深度可以为16.7或16.8等。
具体地，根据选取的深度值和预设最大深度值的比值，对预设光场原点深度进行等比例缩放。即选取的深度值对应的备选的重建原点深度与预设光场原点深度之间的比值，与选取的该深度值和预设最大深度值的比值相等。
例如，假设选取的深度值为200，预设最大深度值为255，预设光场原点深度为16.7，则200/255＝x/16.7，x即为计算的备选的重建原点深度，x＝13。
通过上述方式分别计算出选取的每个深度值对应的备选的重建原点深度。
步骤104：根据备选的重建原点深度，重建光场图片。
具体地，获取光场图片矩阵中的中心视角图片，中心视角图片为位于光场图片矩阵的中心位置的光场图片，如7*7的光场图片矩阵中为与第4行第4列的光场图片即为中心视角图片。获取光场图片矩阵中的中心视角图片之前，还可以先根据光场图片矩阵中每个光场图片的视场角对其位置的偏差进行修正。
根据备选的每个重建原点深度和光场显示设备对应的预设前后景深范围，重建中心视角图片。通过上述步骤103获得多个备选的重建原点深度之后，分别基于每个重建原点深度来重建中心视角图片。对于每个重建原点深度重建中心视角图片的方式相同，本申请实施例以第一重建原点深度为例来说明具体的重建过程，基于其他重建原点深度的重建过程都可以参照第一重建原点深度对应的重建过程。第一重建原点深度为备选的重建原点深度中的任一重建原点深度。
具体将光场显示设备的预设光场原点深度修改为第一重建原点深度，第一重建原点深度为备选的重建原点深度中的任一重建原点深度；根据第一重建原点深度和光场显示设备对应的预设前后景深范围，调整中心视角图片。即根据第一重建原点深度和光场显示设备对应的预设前后景深范围对中心视角图片进行调整，使得调整后的中心视角图片处于第一重建原点深度所在的深度平面，且位于预设前后景深范围内。
在光场重建过程中，多层光场显示的深度范围为光场原点深度在水平和垂直方向可偏离的最大值中的最小值的二倍。而光场的深度范围可能远大于这个深度范围，所以改变光场原点深度的位置，使需要的目标区域尽可能地显示在该深度范围内，则重建的质量会更高。
具体可以根据公式(4)所示的马吕斯公式可以得到重建的中心视角图。
I＝I0sinθ...(4)
在公式(4)中，I为重建的中心视角图片，I0为穿过第一层显示层的图像强度，θ为光线与显示层的偏折角。
通过上述方式分别依据备选的每个重建原点深度重建出中心视角图片后，分别检测每个备选的重建原点深度对应的调整后的中心视角图片的峰值信噪比；从调整后的多个中心视角图片中选择峰值信噪比最大的中心视角图片；将峰值信噪比最大的中心视角图片确定为最终重建的中心视角图片。
本申请实施例基于对光场图片矩阵进行光场深度估计，利用光场自身的深度特征多次修改光场显示设备的重建原点深度，分别对应地重建得到多个中心视角图片，从中选择重建质量最高的中心视角图片，大大提高了多层光场显示技术显示的立体图像的质量。
在本申请的另一些实施例中，重建中心视角图片之后，由于在多层光场模型中，当将光场分解成张量积形式时，不是多个显示层中任取多个点就可以构成光线，根据公式(4)所示的马吕斯公式和光沿直线传播的原理，只有多个点在一条直线上时才能构成一条光线。所以只有部分光线是有效光线。所以需要对重建的光场进行约束。具体地，根据重建前的中心视角图片和重建后的中心视角图片，对重建后的中心视角图片进行修正。具体可以通过如下公式(5)进行修正。
Figure BDA0002944609850000091
在公式(5)中，I′为修正后的中心视角图片，I为重建前的中心视角图片，
Figure BDA0002944609850000092
为重建后的中心视角图片。
通过上述方式对重建后的中心视角图片进行修正，进一步提高了重建光场的质量。
通过上述方式获得重建的中心视角图片之后，根据光场显示设备包括的显示层数目，通过公式(6)对重建的中心视角图片进行张量分解，获得显示层数目个张量值。根据显示层数目个张量值，通过光场显示设备中的各显示层分别生成各显示层对应的显示图像，各显示图像在空间中叠加从而显示出最终重建的光场图片。
Figure BDA0002944609850000093
在公式(6)中，I为重建的中心视角图片，I(1)、I(2)、...、I(n)分别为各显示层对应的张量值。
如图3所示，基于光场图片阵列经过光场深度估计得到光场深度信息图后，基于该光场图片阵列和光场深度信息图，将光场深度信息图这一灰度图转化为RGB(红绿蓝)图，图3中所示的该RGB图为光场深度信息图对应的光场图片阵列中各光场图片的拼接图(具有深度信息的拼接图)，依据该光场图片阵列及其具备的光场深度信息重建光场中心视图。图3所示的光场重建所基于的光场显示设备具有三层液晶层，最后将重建的光场中心视图进行张量分解，得到三层液晶层中每层液晶层对应的显示图片。
在多层光场显示模型中，第一层以外的显示层主要是起到调节光场亮度的作用。由于多层光场显示中，四维光场是一个高维数据，用矩阵无法表示光场数据，而采用张量可以对光场数据进行建模。本申请实施例中可以采用极化显示模型或衰减显示模型来进行多层光场显示。如图4所示的多层光场显示层具有三层液晶层，其中(a)为衰减显示模型，其在两个偏振片层之间设置有依次排列的三层液晶层。(b)为极化显示模型，极化显示模型中相邻的液晶层之间设置有偏振片层。
在本申请实施例中，使用光场深度估计算法对光场图片进行处理，获得多个备选的重建原点深度。将光场显示设备的预设重建原点深度分别修改为备选的重建原点深度，并基于修改后的光场重建原点来重建光场图片。从重建的多个光场图片中选取峰值信噪比最大的进行显示。如此考虑了光场自身的深度特征对光场重建原点的影响，依据光场自身的深度特征多次改变光场重建原点的位置，获得多个光场重建结果，选取峰值信噪比最大的重建结果进行显示，大大提高了光场重建质量，提高了多层光场显示的显示效果。
本申请实施例提供了一种光场显示装置，该装置用于执行上述任一实施例所提供的光场显示方法，如图5所示，该装置包括：
图片获取模块501，用于获取光场图片矩阵；
深度估计模块502，用于根据光场图片矩阵，通过光场深度估计获得光场深度信息图；
原点深度确定模块503，用于根据光场深度信息图，确定备选的重建原点深度；
光场重建模块504，用于根据备选的重建原点深度，重建光场图片。
深度估计模块502，用于将光场图片矩阵包括的多个光场图片拼接成一幅拼接图；根据拼接图中每个像素点的坐标及角斑中的像素个数，获取拼接图对应的重聚焦图像；通过预设光场深度估计算法对重聚焦图像进行光场深度估计，获得局部深度图；对局部深度图进行图割优化和加权中值滤波处理，得到光场图片矩阵对应的光场深度信息图。
原点深度确定模块503，用于分别统计光场深度信息图中每个深度值对应的像素数目；从每个深度值中选取对应的像素数目最多的预设数目个深度值；或者，从每个深度值中，选取对应的像素数目与光场深度信息图中的总像素数目之比大于预设阈值的深度值；根据预设最大深度值、预设光场原点深度和选取的每个深度值，分别计算选取的每个深度值对应的备选的重建原点深度。
该装置还包括：合并模块，用于若选取的深度值中存在数值相邻的深度值，则按照预设合并原则将数值相邻的深度值进行合并。
光场重建模块504，用于获取光场图片矩阵中的中心视角图片；根据备选的每个重建原点深度和光场显示设备对应的预设前后景深范围，重建中心视角图片；根据光场显示设备包括的显示层数目，对重建的中心视角图片进行张量分解，获得显示层数目个张量值；根据显示层数目个张量值，通过光场显示设备中的各显示层分别生成各显示层对应的显示图像，各显示图像在空间中叠加得到重建的光场图片。
光场重建模块504，用于将光场显示设备的预设光场原点深度修改为第一重建原点深度，第一重建原点深度为备选的重建原点深度中的任一重建原点深度；根据第一重建原点深度和光场显示设备对应的预设前后景深范围，调整中心视角图片；分别检测每个备选的重建原点深度对应的调整后的中心视角图片的峰值信噪比；从调整后的多个中心视角图片中选择峰值信噪比最大的中心视角图片；将峰值信噪比最大的中心视角图片确定为最终重建的中心视角图片。
该装置还包括：修正模块，用于根据重建前的中心视角图片和重建后的中心视角图片，对重建后的中心视角图片进行修正。
本申请的上述实施例提供的光场显示装置与本申请实施例提供的光场显示方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种电子设备，以执行上述光场显示方法。请参考图6，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图6所示，电子设备6包括：处理器600，存储器601，总线602和通信接口603，所述处理器600、通信接口603和存储器601通过总线602连接；所述存储器601中存储有可在所述处理器600上运行的计算机程序，所述处理器600运行所述计算机程序时执行本申请前述任一实施方式所提供的光场显示方法。
其中，存储器601可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口603(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线602可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器601用于存储程序，所述处理器600在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述光场显示方法可以应用于处理器600中，或者由处理器600实现。
处理器600可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器600中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器600可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器600读取存储器601中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的光场显示方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的光场显示方法对应的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的光场显示方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的光场显示方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种光场显示方法，其特征在于，包括：
获取光场图片矩阵；
根据所述光场图片矩阵，通过光场深度估计获得光场深度信息图；
根据所述光场深度信息图，确定备选的重建原点深度；
根据所述备选的重建原点深度，重建光场图片。
2.根据权利要求1所述的方法，其特征在于，所述根据所述光场图片矩阵，通过光场深度估计获得光场深度信息图，包括：
将所述光场图片矩阵包括的多个光场图片拼接成一幅拼接图；
根据所述拼接图中每个像素点的坐标及角斑中的像素个数，获取所述拼接图对应的重聚焦图像；
通过预设光场深度估计算法对所述重聚焦图像进行光场深度估计，获得局部深度图；
对所述局部深度图进行图割优化和加权中值滤波处理，得到所述光场图片矩阵对应的光场深度信息图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述光场深度信息图，确定备选的重建原点深度，包括：
分别统计所述光场深度信息图中每个深度值对应的像素数目；
从所述每个深度值中选取对应的像素数目最多的预设数目个深度值；或者，从所述每个深度值中，选取对应的像素数目与所述光场深度信息图中的总像素数目之比大于预设阈值的深度值；
根据预设最大深度值、预设光场原点深度和选取的每个深度值，分别计算选取的所述每个深度值对应的备选的重建原点深度。
4.根据权利要求3所述的方法，其特征在于，所述根据预设最大深度值、预设光场原点深度和选取的每个深度值，分别计算选取的所述每个深度值对应的备选的重建原点深度之前，还包括：
若选取的所述深度值中存在数值相邻的深度值，则按照预设合并原则将数值相邻的深度值进行合并。
5.根据权利要求1所述的方法，其特征在于，所述根据所述备选的重建原点深度，重建光场图片，包括：
获取所述光场图片矩阵中的中心视角图片；
根据备选的每个重建原点深度和所述光场显示设备对应的预设前后景深范围，重建所述中心视角图片；
根据光场显示设备包括的显示层数目，对重建的所述中心视角图片进行张量分解，获得所述显示层数目个张量值；
根据所述显示层数目个张量值，通过所述光场显示设备中的各显示层分别生成各显示层对应的显示图像，各显示图像在空间中叠加得到重建的光场图片。
6.根据权利要求5所述的方法，其特征在于，所述根据备选的每个重建原点深度和所述光场显示设备对应的预设前后景深范围，重建所述中心视角图片，包括：
将所述光场显示设备的预设光场原点深度修改为第一重建原点深度，所述第一重建原点深度为所述备选的重建原点深度中的任一重建原点深度；
根据所述第一重建原点深度和所述光场显示设备对应的预设前后景深范围，调整所述中心视角图片；
分别检测每个备选的重建原点深度对应的调整后的中心视角图片的峰值信噪比；
从调整后的多个中心视角图片中选择峰值信噪比最大的中心视角图片；
将所述峰值信噪比最大的中心视角图片确定为最终重建的中心视角图片。
7.根据权利要求5或6所述的方法，其特征在于，所述重建所述中心视角图片之后，还包括：
根据重建前的所述中心视角图片和重建后的所述中心视角图片，对重建后的所述中心视角图片进行修正。
8.一种光场显示装置，其特征在于，包括：
图片获取模块，用于获取光场图片矩阵；
深度估计模块，用于根据所述光场图片矩阵，通过光场深度估计获得光场深度信息图；
原点深度确定模块，用于根据所述光场深度信息图，确定备选的重建原点深度；
光场重建模块，用于根据所述备选的重建原点深度，重建光场图片。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202110189119.8A 2021-02-19 2021-02-19 光场显示方法、装置、电子设备及存储介质 Pending CN112884877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110189119.8A CN112884877A (zh) 2021-02-19 2021-02-19 光场显示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110189119.8A CN112884877A (zh) 2021-02-19 2021-02-19 光场显示方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112884877A true CN112884877A (zh) 2021-06-01

Family

ID=76056582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110189119.8A Pending CN112884877A (zh) 2021-02-19 2021-02-19 光场显示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112884877A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989432A (zh) * 2021-10-25 2022-01-28 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989432A (zh) * 2021-10-25 2022-01-28 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20220239890A1 (en) System and Methods for Calibration of an Array Camera
US20220076391A1 (en) Image Distortion Correction Method and Apparatus
US9177368B2 (en) Image distortion correction
US8208011B2 (en) Stereoscopic display apparatus
GB2538584A (en) Image filtering based on image gradients
CN107346061A (zh) 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN106447727A (zh) 估计3d显示装置的参数的方法和使用其的3d显示装置
CN104252700A (zh) 一种红外图像的直方图均衡化方法
Song et al. Enhancement-registration-homogenization (ERH): A comprehensive underwater visual reconstruction paradigm
Singh et al. Weighted least squares based detail enhanced exposure fusion
CN110033483A (zh) 基于dcnn深度图生成方法及系统
CN112884877A (zh) 光场显示方法、装置、电子设备及存储介质
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN114879377B (zh) 水平视差三维光场显示系统的参数确定方法、装置及设备
US11043152B2 (en) Method and apparatus for filling holes in naked-eye 3D multi-viewpoint image, and electronic device for performing the method
Bodkin Real-time mobile stereo vision
CN114841884B (zh) 增强红外偏振图像与局部细节的方法、设备及储存介质
CN101364303B (zh) 边缘像素提取及处理方法
US20110279447A1 (en) Rendering Transparent Geometry
US11816817B2 (en) Method and apparatus for processing an image
US9330445B2 (en) Local contrast enhancement method and apparatus
CN116248815A (zh) 拼接屏的屏幕图像获取方法、装置和分析数据获取方法
CN117830090A (zh) 公交站场景下的图像拼接方法、装置、设备及存储介质
CN117974435A (zh) 一种多源影像拼接方法、设备和存储介质
Ngo et al. A Symmetric Multiprocessor System-on-a-Chip-Based Solution for Real-Time Image Dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination