CN111338194B

CN111338194B - 图像校正方法、显示系统及存储介质

Info

Publication number: CN111338194B
Application number: CN201811555246.XA
Authority: CN
Inventors: 曹良才; 何泽浩; 郭汝海; 刘显荣; 田有良
Original assignee: Qingdao Hisense Laser Display Co Ltd
Current assignee: Qingdao Hisense Laser Display Co Ltd
Priority date: 2018-12-18
Filing date: 2018-12-18
Publication date: 2022-09-16
Anticipated expiration: 2038-12-18
Also published as: CN111338194A

Abstract

本申请实施例公开了一种图像校正方法、显示系统及存储介质，该方法包括：获取N张测试图像，并确定该N张测试图像中每张测试图像的全息图。将每张测试图像的全息图加载至空间光调制器上，获得成像装置捕获的每张全息图对应的重建图像。将该N张测试图像与该N张测试图像对应的重建图像一一进行比较，确定该N张测试图像的全息图的校正参数。根据该校正参数，对待显示图像的全息图进行校正处理，以提高显示系统的3D显示效果。

Description

图像校正方法、显示系统及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像校正方法、显示系统及存储介质。

背景技术

随着人们生活品质的提高，对文化娱乐服务的内容和展示形式提出更高需要，计算全息3D显示技术应用而生。计算全息3D显示技术不仅具有小型化、高效率、抗震动等优点，还可以减小人眼观看时的眩晕感，获得良好的观看体验。一个典型的计算全息3D显示系统常常需要使用空间光调制器加载全息图，并通过相干光照明空间光调制器得到衍射3D重建像。

然而，如今的计算全息3D显示技术常常面临一个无法避免的问题，即显示系统中常常存在显示失真的问题。

发明内容

本申请实施例提供一种图像校正方法、显示系统及存储介质，以提高显示系统的显示效果。

第一方面，本申请实施例提供一种图像校正方法，应用于显示系统中，所述显示系统包括重建光发射装置、空间光调制器、分光棱镜、成像装置、显示屏，以及与所述空间光调制器和所述成像装置电连接的处理装置，所述方法包括：

获取N张测试图像，并确定所述N张测试图像中每张测试图像的全息图，其中，所述测试图像为点阵测试图，所述N为正整数；

将每张测试图像的全息图加载至所述空间光调制器上，获得所述成像装置捕获的每张全息图对应的重建图像；其中，所述重建光发射装置发射的重建光照射在加载所述全息图的所述空间光调制器上，生成重建图像，所述重建图像经所述分光棱镜分束后抵达所述成像装置和所述显示屏；

将所述N张测试图像与所述N张测试图像对应的重建图像一一进行比较，确定所述N张测试图像的全息图的校正参数，所述校正参数使得所述成像装置捕获的重建图像与测试图像之间的差异小于预设差异；

根据所述校正参数，对待显示图像的全息图进行校正处理。

在第一方面的一种可能的实现方式中，所述校正参数包括以下至少一项：位置校正因子、角度校正因子。

在第一方面的另一种可能的实现方式中，所述将所述N张测试图像与所述N张测试图像对应的重建图像一一进行比较，确定所述N张测试图像的全息图的校正参数，包括：

针对所述N张测试图像中的每张测试图像，获取将该张测试图像的重建图像；

根据所述重建图像中每个点的位置信息和该张测试图像中每个点的位置信息，确定每个点所述位置校正因子；

根据该张测试图像和每个点的所述位置校正因子，确定每个点的角度校正因子。

在第一方面的另一种可能的实现方式中，所述根据该张测试图像和所述位置校正因子，确定每个点角度校正因子，包括：

根据该张测试图像和每个点的所述位置校正因子，再次获得全息图，并将再次获得的全息图加载至所述空间光调制器上，以获得所述成像装置再次捕捉到的重建图像；

根据所述成像装置再捕捉到的重建图像中每个点的大小和该张测试图像中每个点的大小，确定每个点的角度校正因子。

在第一方面的另一种可能的实现方式中，所述根据所述成像装置再捕捉到的重建图像中每个点的大小和该张测试图像中每个点的大小，确定每个点的所述角度校正因子，包括：

根据所述成像装置再捕捉到的重建图像中每个点的大小，确定所述重建图像中每个点的球面波因子；

将每个点的球面波因子与该张测试图像中每个点的大小进行比较，确定每个点的所述角度校正因子。

在第一方面的另一种可能的实现方式中，每张测试图像的重建距离不同。

在第一方面的另一种可能的实现方式中，所述将每张测试图像的全息图加载至所述空间光调制器上之后，还包括：

将所述空间光调制器与所述成像装置之间光程调节至该测试图像的重建距离。

在第一方面的另一种可能的实现方式中，所述根据所述重建图像中每个点的位置信息和该张测试图像中每个点的位置信息，确定每个点的所述位置校正因子，包括：

根据以下公式确定每个点的所述位置校正因子：

其中，所述j为

所述p_m,n(x,y)为第(m，n)个点的位置校正因子，所述λ是使用的照明光波长，所述z是该张测试图像的重建距离，所述Δx和Δy是未经校正的重建像图像中的第(m，n)个点与该张测试图像中第(m，n)个点之间的位置差。

第二方面，本申请实施例提供一种显示系统，该显示系统包括：沿着光路方向依次设置的重建光发射装置、空间光调制器和分光棱镜，所述分光棱镜的两侧光路上分别设置有成像装置和显示屏，所述成像装置与所述空间光调制器均与处理装置电连接；

所述重建光发射装置用于输出重建光至所述空间光调制器；

所述空间光调制器用于加载所述处理装置发送的全息图，加载的所述全息图在所述重建光的衍射下形成重建图像；

所述分光棱镜用于将入射的所述重建图像分束，并出射至所述成像装置和所述显示屏；

所述处理装置用于执行如权利要求1-8任一项所述的方法。

在第二方面的一种可能的实现方式中，所述重建光发射装置包括：沿着光路方向依次设置的光源、空间滤波器和凸透镜；

所述光源用于向所述空间滤波器发出光波；

所述空间滤波器用于根据所述光波发射出球面波；

所述凸透镜用于将所述球面波扩束、准直，发射出平面波，所述平面波为所述重建光。

在第二方面的另一种可能的实现方式中，所述空间滤波器包括：显微物镜和针孔。

在第二方面的另一种可能的实现方式中，所述光源包括激光光源或者发光二极管LED光源。

在第二方面的另一种可能的实现方式中，所述分光棱镜的反射与透射之比为10：90。

在第二方面的另一种可能的实现方式中，所述成像装置为电荷耦合器件CCD。

在第二方面的另一种可能的实现方式中，所述CCD的响应阈值小于预设响应值。

在第二方面的另一种可能的实现方式中，所述CCD的动态范围大于预设动态范围值。

在第二方面的另一种可能的实现方式中，所述CCD的感光面积大于生成重建图像所需的衍射光长的面积。

在第二方面的另一种可能的实现方式中，所述CCD的分辨率大于预设分辨率值。

第三方面，本申请实施例提供一种计算机可读存储介质，包括：所述存储介质中存储计算机程序，所述计算机程序在执行时实现如第一方面任一项所述的图像校正方法。

本申请实施例提供的图像校正方法、显示系统及存储介质，通过获取N张测试图像，并确定该N张测试图像中每张测试图像的全息图，其中测试图像为点阵测试图。接着，将每张测试图像的全息图加载至空间光调制器上，获得成像装置捕获的每张全息图对应的重建图像，其中重建光发射装置发射的重建光照射在加载全息图的空间光调制器上，生成重建图像，该重建图像经分光棱镜分束后抵达成像装置和显示屏。然后，将该N张测试图像与该N张测试图像对应的重建图像一一进行比较，确定该N张测试图像的全息图的校正参数，该校正参数使得获得的在显示屏处显示的重建图像与测试图像之间的差异小于预设差异。最后，根据该校正参数，对待显示图像的全息图进行校正处理，以提高显示系统的3D显示效果。同时，本申请实施例的方法使用点阵测试图确定全息图的校正参数，其计算量低、计算时间短，并使用全息图的校正参数校正待显示图像的全息图，进而提高了显示系统的3D显示效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1(a)为待显示图像的示意图；

图1(b)为图1(a)所示待显示图像的全息图；

图1(c)为图1(a)所示待显示图像的重建图像的示意图；

图2为本申请实施例提供的显示系统的结构示意图；

图3为本申请实施例涉及的空间滤波器的结构示意图；

图4为本申请实施例涉及的分光棱镜的结构示意图；

图5为本申请实施例提供的种图像校正方法的流程图；

图6为测试图像的一种示意图；

图7为本申请实施例提供的图像校正方法的流程图；

图8为本申请实施例涉及的图像校正方法的一种过程示意图；

图9(a)为未校正的重建图像的示意图；

图9(b)为使用3×3点阵测试图像校正后重建图像的示意图；

图9(c)为使用6×6点阵测试图像校正后重建图像的示意图；

图10(a)为校正前的一种点阵图；

图10(b)为使用本申请实施例的方法对图10(a)所示点阵图校正后的点阵图；

图11(a)为校正前的另一种点阵图；

图11(b)为使用本申请实施例的方法对图11(a)所示点阵图校正后的点阵图；

图12(a)为校正前的又一种点阵图；

图12(b)为使用本申请实施例的方法对图12(a)所示点阵图校正后的点阵图；

图13(a)为待重建的原物点示意图；

图13(b)为待重建原物点未校正时的全息图；

图14(a)为图13(b)所示全息图对应的重建图像的一种示意图；

图14(b)为图14(a)所示重建图像的全息图；

图15为一种相位分布图；

图16(a)为图13(b)所示全息图对应的重建图像的另一种示意图；

图16(b)为图16(a)所示重建图像的全息图；

图17为另一种相位分布图。

附图标记说明：

10：重建光发射装置；

11：空间滤波器；

1：光源；

2：显微物镜；

3：针孔；

4：凸透镜；

5：空间光调制器；

6：分光棱镜；

7：成像装置；

8：显示屏；

9：处理装置。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于计算全息3D显示技术不仅具有小型化、高效率、抗震动等优点，还可以减小人眼观看时的眩晕感，获得良好的观看体验等优点，得到了广泛关注。

然而，如今的计算全息3D显示技术，其显示系统中常常存在显示失真的问题。该问题的来源主要有三点：首先，实现没有失真的全息3D重建，需要使用到极为精密的光学器件。这些极度精密的光学元件往往设计复杂、体积庞大、成本昂贵。大部分时候计算全息3D显示系统出于体积和成本考虑，并不会使用这些光学元器件。其次，计算全息3D显示系统的显示性能和空间光调制器有着非常密切的联系。空间光调制器表面平整度的微小误差，会带来显示质量较大程度的下降。最后，在光路搭建过程中，光路中各种元器件可能没有完美的对齐，这也常常导致画面失真的情况出现。

例如，图1(a)为待显示图像，该待显示图像为一幅3×3的点阵图(即图中的白色点)，通过全息算法计算得到该待显示图像的全息图如图1(b)所示。由于光学器件的精度无法达到预设要求、空间光调制器表面平面度存在误差以及光路装配存在误差等因素，生成的重建图像如图1(c)所示，其显示质量差，存在重建误差。

通过硬件优化的方式消除失真是一件昂贵且十分耗时的工作。由于计算全息3D显示技术是一种通过衍射重建图像的技术，这种技术可以实现对波前的精准控制。因此，可以通过算法实现失真的校正对于计算全息3D显示系统是十分可行的。

本质上，计算全息3D显示中的图像失真是由于光场的相位波动所导致。目前，采用像素包裹相位叠加技术是解决相位波动的最常用算法。然而，这种算法是一种逐点计算的算法，它的计算量巨大，导致计算速度缓慢。而且，这种算法目前停留在计算机上仿真上，无法在实际的光路中起作用。

针对上述技术问题，本申请实施例提供一种图像校正方法与系统，该方法计算量低、计算时间短，并且可以在实际装置中起到校正失真的作用。同时，基于该方法搭建的3D显示系统布局简单、元器件成本低廉，适用于动态3D全息显示中。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本申请实施例提供的显示系统的结构示意图。如图2所示，本申请实施例的显示系统为计算全息3D显示系统，该显示系统包括：沿着光路方向依次设置的重建光发射装置10、空间光调制器5和分光棱镜6，所述分光棱镜6的两侧光路上分别设置有成像装置77和显示屏8，所述成像装置7与所述空间光调制器5均与处理装置99电连接。

其中，重建光发射装置10用于输出重建光至所述空间光调制器5。

本申请实施例对重建光发射装置10的具体结构不做限制，具体根据实际需要确定。

示例性的，重建光发射装置10包括：沿着光路方向依次设置的光源1、空间滤波器11和凸透镜4。其中，光源1用于向空间滤波器11发出光波，空间滤波器11用于对光源1发出的光波进行会聚和过滤，发射出球面波。凸透镜4用于将空间滤波器11发射的球面波进行扩束和准直，发射出平面波，该平面波即为重建光。

可选的，光源1可以包括激光光源或者LED(Light Emitting Diode，发光二极管)光源，激光光源的特点为：光束方向性好、能量集中、亮度极高以及相干性强。LED光源的特点为：响应速度极快，可以方便控制通断，且其相干性比激光光源弱，可以有效减少因为相干性导致的散斑噪声。

可选的，如图3所示，空间滤波器11包括：显微物镜2和针孔3，其中，显微物镜2，其作用是会聚光束，将光源1发出的光波照射进入显微物镜2后，可以汇聚成非常小的光点。针孔3，其结构可以为金属片上一尺寸极小的圆孔，例如针孔3直径为15μm，其作用是滤除杂散光干扰。光波经过显微物镜2后，由于空气中的灰尘、水汽等原因，除了一部分光会聚成较小的光点外，还存在有其他散射光的干扰。显微物镜2和针孔3之间的位置关系可以通过机械结构调节(图中未画出)，从而使经过显微物镜2会聚的光点刚好位于针孔3中心，使杂散光无法通过。经针孔3出射的光波可看成是点光源1发出的理想球面波。

空间光调制器5用于加载处理装置9发送的全息图，加载的全息图在重建光的衍射下形成重建图像，此处的重建光即为上述凸透镜4发射的平面光。可选的，空间光调制器5可以使用数字微镜器件，还可以使用硅基液晶器件。其中，硅基液晶器件的分辨率更高，并且可以直接调控相位。数字微镜器件衍射效率高，响应速度快。

分光棱镜6其作用是分配不同光束的能量比，用于将入射的所述重建图像分束，并出射至所述成像装置7和所述显示屏8。如图4所示，分光棱镜6包括四个外表面分别为611、612、613和614，镀有增透膜，目的是增加光能透过，提高能量的利用效率。分光棱镜6还包括两个四面体62，其顶部角度的不同可以改变透过光线和反射光线的能量比值，即分束比。粘合两个四面体的胶合剂63，其材质、厚度等参数也可改变分光棱镜6的分束比。分光表面64，其表面根据需求可以镀上不同类型的膜层，改变分光棱镜6的分束比。

可选的，分光棱镜6反射进入成像装置7的光能越小，反射至显示屏8的光能越大，系统的能量利用率就越高。

可选的，为了提高能量的利用效率，本申请实施例的分光棱镜6的分束比为10:90。经空间光调制器5的衍射光线通过分光棱镜6后分为两束。

成像装置7可以是相机或CCD(charge coupled device，电荷耦合器件)。

为了使CCD准确捕捉到相位误差，则CCD需要满足如下条件中的至少一种：

1、CCD的响应阈值小于预设响应值，即CCD的响应阈值尽可能低，对较低强度的光能有所响应。这样对于强度较低的像素点，CCD可以准确捕捉到，进而使得基于CCD捕捉的重建图像校正全息图时，提高全息图校正的准确性。

2、CCD的动态范围大于预设动态范围值，即CCD的动态范围尽可能大，这样防止强度高的像素点的过曝，无法准确捕捉的问题。

3、CCD的感光面积大于生成重建图像所需的衍射光长的面积。这样CCD可以捕捉到衍射光场的全部信息。示例性的，本申请实施例采用的空间光调制器5尺寸为15.36mm×8.64mm，衍射光场某一级次的尺寸与空间光调制器5尺寸相同。因此，CCD感光面积最小要达到该尺寸大小，以实现对衍射光场衍射生成的重建图像的准确捕捉。

4、CCD的分辨率大于预设分辨率值。即CCD的分辨率尽可能大，像素尺寸尽可能小。在捕捉衍射光场分布时，CCD分辨率越大，图像的像素尺寸越小，其在有限面积内所捕捉到相位信息也就越丰富，可以起到更好的校正效果。示例性的，空间光调制器5分辨率为1920×1080，为了达到良好的校正效果，CCD分辨率应尽可能大于1920×1080，CCD像素尺寸极可能小于或等于8μm。可选的，CCD像素尺寸小于或等于16μm或者，CCD像素尺寸位于8～16μm范围内。

显示屏8其作用是承接衍射光场并显示重建图像。为了显示3D图像，可选的，本申请实施例的显示屏8可以为3D雾屏。

处理装置9通过线材分别与空间光调制器5和成像装置7电连接。

处理装置9用于向空间光调制器5输入全息图，并接收成像装置7捕获的衍射重建图像，并通过校正计算出新的全息图，再重新加载至空间光调制器5上。

本申请实施例的显示系统的工作过程可以是：处理装置9根据预设的全息图确定方法，确定测试图像的全息图，并将全息图加载至空间光调制器5上，同时，重建光发射装置10输出的重建光照射到加载有全息图的空间光调制器5上形成衍射光场，衍射重建得到重建图像。分光棱镜6对该重建图像进行分束，出射至成像装置7和显示屏8上，在显示屏8显示重建图像，同时成像装置7捕捉到该重建图像。接着，成像装置7将该捕捉到的重建图像发送给处理装置9。处理装置9将接收到的重建图像与该测试图像进行比较，确定校正参数，并使用该校正参数校正该测试图像的全息图。接着，将校正后的全息图重新输入到空间光调制器5上，继续执行上述步骤，获得本次的重建图像，并将本次获得的重建图像与该测试图像再进行比较，确定本次对应的校正参数，并判断本次的重建图像与测试图像之间的差异是否小于预设差异，若否，则继续执行上述步骤，直到重建图像与测试图像之间的差异小于预设差异为止。将重建图像与测试图像之间的差异小于预设差异时确定的校正参数，作为本申请实施例的全息图的校正参数，或该显示系统的校正参数。在图像正常显示时，可以使用该校正参数校正待显示图像的全息图，进而提高3D显示效果。

下面结合图2所示的显示系统，对本申请实施例的图像校正方法进行详细阐述。

图5为本申请实施例提供的种图像校正方法的流程图。本申请实施例的方法适用于图2所示的显示系统，该方法步骤的执行主体为显示系统中的处理装置。如图5所示，本申请实施例的方法可以包括：

S101、获取N张测试图像，并确定所述N张测试图像中每张测试图像的全息图。

其中，所述测试图像为点阵测试图，所述N为正整数。

如图2所示，光波经凸透镜出射，由于凸透镜的加工精度无法达到预设精度，且光路中各元件无法完美对齐，出射的平行光波无法满足预设要求。此外，空间光调制器表面也无法做成完全镜面。因此，直接加载待显示画面的全息图时，如图1，衍射重建得到的重建图像会发生畸变、失真。

为了消除计算全息3D显示中的图像失真，需先加载多张测试图像的全息图至空间光调制器，例如加载N张测试图像。

可选的，为了减小计算量，可以采用N张M×P的均匀分布的点阵测试图像。

对于测试图片，点数越多，校正时对于小范围内光场信息感知越敏感，全息重建后的重建图像的校正效果越好，相应的校正时间越长。示例性的，本申请实施例的测试图像可以采用5×5的均匀点阵测试图。

可选的，上述N张测试图像的重建距离可以相同，或者N张测试图像中部分测试图像的重建距离相同，部分测试图像的重建距离相同。

可选的，为了提高校正的准确性，则本申请实施例的N张测试图像中每张测试图像的重建距离均不同。

为了便于描述，将重建距离不同的测试图片分别命名为[P1]-[Pn]，将相应的计算全息图命名为[H1-1]-[Hn-1]。以[P1]为例，测试图像是一幅5×5的均匀点阵，可以用

表示，如图6所示。其中，O_m,n(x,y)表示第m行、n列处的小区域内点阵分布状况，该区域中心处函数值为1，其他处函数值为0。经全息算法计算后，物光波[P1]相当于和一个理想的平面波R(x,y)发生了干涉，生成了全息图[H1-1]。根据全息基本理论，[H1-1]可以被表示为

其中R^*(x,y)被称作R(x,y)的共轭光波。

本申请实施例的处理装置可以根据预设的全息图计算方法，确定N张测试图像中每张测试图像的全息图。

示例性的，处理装置可以基于角谱衍射算法的计算全息图生成算法，确定N张测试图像中每张测试图像的全息图。

具体的，在该算法中，一个三维的平面波可以被描述为：

E(x,y,z)＝E₀exp[j(k_xx+k_yy+k_zz+φ₀)]

＝E₀exp{j[2π(ux+vy+wz)+φ₀]}

上式中，₀是该平面波的初始相位。u、v和w则是该平面波矢在x方向、y方向和z方向上的空间频率，所述exp为指数运算符号。假设该波矢和x方向、y方向、z方向的夹角分别为α、β、γ，则u、v和w可以表示为：

假设U(x,y,0)是空间光调制器上复振幅分布(全息图的复振幅分布)，则根据角谱理论，该平面上的角谱可以描述为：

A₀(u,v)＝∫∫U(x,y,0)exp[-j2π(ux+vy)]dxdy

假设R(x,y,z)是重建面处复振幅分布，则根据角谱理论，该平面上的角谱可以描述为：

A_z(u,v)＝∫∫R(x,y,z)exp[-j2π(ux+vy)]dxdy

根据角谱衍射理论，可知A₀(u,v)和A_z(u,v)满足的关系如下：

上式中，

表示傅里叶变换。该式代表了在理想的重建过程中，重建图像可以直接通过全息面的复振幅分布经过傅里叶变换得到。然而，系统不会是理想的重建系统，因此在重建过程中会带来误差。为了简化模型，可以把整个系统的重建误差等效认为是全息图面发生了相位扰动，该扰动的大小是t(x,y)，则此时的全息图和重建像可以认为是：

U'(x,y,0)＝U(x,y,0)t(x,y)

根据上述方法，可以确定出N张测试图像中每张测试图像的全息图。

S102、将每张测试图像的全息图加载至所述空间光调制器上，获得所述成像装置捕获的每张全息图对应的重建图像。

其中，所述重建光发射装置发射的重建光照射在加载所述全息图的所述空间光调制器上，生成重建图像，所述重建图像经所述分光棱镜分束后抵达所述成像装置和所述显示屏。

本申请实施例中确定每张测试图像的重建图像的过程相同，在此以一张待测试图像P[1]为例进行说明，其他测试图像参照即可。

根据上述S101的步骤，获得测试图像P[1]的全息图记为[H1-1]，将全息图[H1-1]加载至空间光调制器上。如图2所示，经重建光发射装置出射的重建光照射空间光调制器，所得的衍射光波经分光棱镜分束后分别抵达成像装置和显示屏处。

对于全息图[H1-1]而言，只有当空间光调制器与成像装置之间光程等于该测试图像P[1]的重建距离时，才能清晰捕捉到重建图像，即本申请实施例控制器需要将空间光调制器与成像装置之间光程调节至该测试图像的重建距离。可选的，为了准确捕捉到不同重建距离的测试图像的重建图像，成像装置应放置于一个可以沿光轴方向移动的平移台上，控制器可以控制成像装置在该平移台上沿着光轴方向移动。

由于系统中元器件加工精度和对齐准度的影响，重建光波并非是理想的平面波，可以表示为R′(x,y)，以示与R(x,y)的区别。在成像装置处可以捕捉到的光波信息为

可以用符号[R1-1]表示，即测试图像P[1]对应的重建图像为[R1-1]。

根据上述步骤，可以获得每张测试图像对应的重建图像。

S103、将所述N张测试图像与所述N张测试图像对应的重建图像一一进行比较，确定所述N张测试图像的全息图的校正参数，所述校正参数使得所述成像装置捕获的重建图像与测试图像之间的差异小于预设差异。

本申请实施例的N张测试图像的全息图的校正参数可以理解为系统的校正参数，该校正参数对输入系统的全息图进行校正。

本申请实施例对确定N张测试图像的全息图的校正参数的过程不做限制，具体根据实际需要确定。

在一种示例中，将N张测试图像与所述N张测试图像对应的重建图像一一进行比较，确定出N个校正参数，例如，将第一张测试图像与第一张测试图像对应的重建图像进行比较，确定一个校正参数，将第二张测试图像与第二张测试图像对应的重建图像进行比较，确定一个校正参数，以此类推，可以确定N个校正参数。接着，根据这N个校正参数，确定一个校正参数作为N张测试图像的全息图的校正参数，例如将N个校正参数的算术平均值或加权平均值作为N张测试图像的全息图的校正参数。

在另一种示例中，将N张测试图像与N张测试图像对应的重建图像一一进行比较，确定出一个校正参数。具体是，将第一张测试图像与第一张测试图像对应的重建图像1进行比较，确定一个校正参数1。接着，使用该校正参数校正第二张测试图像的全息图，并根据校正后的全息图生成重建图像2。将第二张测试图像与该重建图像2进行比较，确定出一个校正参数2。接着，使用该校正参数2校正第三张测试图像的全息图，并根据校正后的全息图生成重建图像3。将第三张测试图像与该重建图像3进行比较，确定出一个校正参数3。依次类推，使用第N-1张测试图像对应的校正参数N-1校正第N张测试图像的全息图，并根据校正后的全息图生成重建图像N。将第N张测试图像与该重建图像N进行比较，确定出一个校正参数N。该校正参数N作为N张测试图像的全息图的校正参数。

由于上述可知，本申请实施例将一张测试图像与该张测试图像对应的重建图像一一进行比较时，可以确定出一个校正参数，在此以测试图像P[1]为例对其具体过程进行如下详细阐述，其他测试图像参照即可。

具体的，根据上述S101可以获得测试图像P[1]的全息图[H1-1]，根据上述S102的步骤，可以获得测试图像P[1]对应的重建图像[R1-1]，将测试图像P[1]与重建图像[R1-1]比较，确定出一个校正参数e1。接着，判断测试图像P[1]与重建图像[R1-1]之间的差异是否小于预设差异，若是，则将该校正参数e1作为测试图像P[1]最终对应的校正参数。若否，则使用校正参数e1校正全息图[H1-1]，生成校正后的全息图[H1-2]，将全息图[H1-2]加载至空间光调制器上，生成重建图像为[R1-2]，将测试图像P[1]与重建图像[R1-2]比较，确定出一个校正参数e2。接着，判断测试图像P[1]与重建图像[R1-2]之间的差异是否小于预设差异，若是，则将该校正参数e2作为测试图像P[1]最终对应的校正参数。若否，则使用校正参数e2校正全息图[H1-2]，生成校正后的全息图[H1-3]，将全息图[H1-3]加载至空间光调制器上，继续重复执行上述步骤，直到测试图像P[1]与生成的重建图像之间的差异小于预设差异为止，并将此时的校正参数作为测试图像P[1]的最终校正参数。

S104、根据所述校正参数，对待显示图像的全息图进行校正处理。

根据上述步骤，可以实现对系统的校正参数的准确确定，这样可以使用该校正参数对待显示图像的全息图进行校正，以使校正后的全息图加载在空间光调制器上，可以在重建光发射装置发出平行光波的照射下，在显示屏上形成高精度的重建图像，进而提高了系统的显示效果。

本申请实施例的方法校正的对象是显示图像的全息图，而不是显示图像本身。这是因为全息图不仅记录了光场的振幅信息，也记录了光场的相位信息。因此，对全息图进行校正，本质上是对相位波动进行校正，它可以直接改变成像装置捕捉到的光场强度分布，最终起到校正显示图像的目的。

在本申请实施例的一种应用场景中，由于对于一个固定的计算全息3D显示系统，其光场的相位波动值是固定的，因此可以采取预校正的方法，预先确定系统的校正参数。显示系统开机后，系统的校正参数可以被预先计算得到，并可以应用于本次开机后待显示的所有画面上，即使用预先确定的校正参数对显示系统的待显示图像的全息图进行校正，以提高显示系统的3D显示效果。在该场景中，预先计算一次系统的校正参数，在后续正常显示时不再确定系统的校正参数，进而降低了计算量，提高显示效率。

在本申请实施例的另一种应用场景中，本申请实施例的显示系统在每次上电启动时，可以加载N张测试图像，根据上述步骤，可以确定出系统的校正参数。在正常显示时，使用该校正参数可以对待显示图像的全息图进行校正，以在显示屏上显示高精度的重建图像，从而提高显示系统的3D显示效果。在该场景中，在显示系统每次开机时，计算一次系统的校正参数，这样可以提高校正参数的计算准确性，进一步提高了显示系统的3D显示效果。

本申请实施例提供的图像校正方法，通过获取N张测试图像，并确定该N张测试图像中每张测试图像的全息图，其中测试图像为点阵测试图。接着，将每张测试图像的全息图加载至空间光调制器上，获得成像装置捕获的每张全息图对应的重建图像，其中重建光发射装置发射的重建光照射在加载全息图的空间光调制器上，生成重建图像，该重建图像经分光棱镜分束后抵达成像装置和显示屏。然后，将该N张测试图像与该N张测试图像对应的重建图像一一进行比较，确定该N张测试图像的全息图的校正参数，该校正参数使得获得的在显示屏处显示的重建图像与测试图像之间的差异小于预设差异。最后，根据该校正参数，对待显示图像的全息图进行校正处理，以提高显示系统的3D显示效果。同时，本申请实施例的方法使用点阵测试图确定全息图的校正参数，其计算量低、计算时间短，并使用全息图的校正参数校正待显示图像的全息图，提高了显示系统的3D显示效果。

图7为本申请实施例提供的图像校正方法的流程图，在上述实施例的基础上，本申请实施例涉及的是上述将N张测试图像与N张测试图像对应的重建图像一一进行比较，确定N张测试图像的全息图的校正参数的具体过程。可选的，本申请实施例的校正参数为位置校正因子和/或角度校正因子。此时，如图7所示，上述S103可以包括：

S201、针对所述N张测试图像中的每张测试图像，获取将该张测试图像的重建图像。

本申请实施例中确定每张测试图像对应的校正参数的过程相同，在此以N张测试图像中的一张测试图像为例进行说明，例如以测试图像P[1]为例。

处理装置根据上述S101的方法确定测试图像P[1]的全息图[H1-1]，并根据上述S102的方法将全息图[H1-1]加载至空间光调制器上，获得该全息图[H1-1]对应的重建图像[R1-1]，其具体过程参照上述S101与S102的描述，在此不再赘述。

S202、根据所述重建图像中每个点的位置信息和该张测试图像中每个点的位置信息，确定每个点所述位置校正因子。

假设图1(a)所示的测试图像为3×3的点阵图，对应的重建图像如图1(c)所示的3×3的点阵图。

由于显示系统的光学器件的精度无法达到预设精度，且光路中各元件无法完美对齐，以及空间光调制器表面无法做成完全镜面等原因，使得最终的重建图像与测试图像具有差异。

具体是，当重建光R′(x,y)中主光线发生偏折时，重建图像会整体向某一方向移动，此时可以使用位置校正因子对图形进行校正，该位置校正因子可以用p_m,n(x,y)表示。当重建光R′(x,y)不是平行光、带有一定发散角时，重建图像中的点会变为一个弥散斑，需使用角度校正因子进行校正，该角度校正因子可以用d_m,n(x,y)表示。

本步骤中，可以将图1(a)中的每个点的位置信息该点在图1(c)中的位置信息进行比较，以确定每个点的位置校正因子。例如，将图1(a)中第(1,1)个点与图1(c)中第(1,1)个点进行比较，进而确定第(1,1)个点的位置校正因子，将图1(a)中第(1,2)个点与图1(c)中第(1,2)个点进行比较，进而确定第(1,2)个点的位置校正因子，这样依次类推，将图1(a)中第(3,3)个点与图1(c)中第(3,3)个点进行比较，进而确定第(3,3)个点的位置校正因子。

需要说明的是，上述对点的位置信息进行对比时，对比的是每个点的中心位置。

在一种示例中，根据以下公式确定每个点的所述位置校正因子：

其中，所述j为虚部，

S203、根据该张测试图像和每个点的所述位置校正因子，确定每个点的角度校正因子。

本申请实施例对根据该张测试图像和每个点的所述位置校正因子，确定每个点的角度校正因子的具体方法不做限制。

在一种示例中，上述S203可以是：使用每个点的位置校正因子，对重建图像[R1-1]中的每个点的位置信息进行校正，接着，将重建图像[R1-1]中位置信息校正后的每个点的大小与测试图像P[1]中的每个点的大小进行比较，确定出每个点的角度校正因子。

在另一种示例中，上述S203可以包括步骤A和步骤B，该步骤A与步骤B的具体过程如图8所示：

步骤A，根据该张测试图像和每个点的所述位置校正因子，再次获得全息图，并将再次获得的全息图加载至所述空间光调制器上，以获得所述成像装置再次捕捉到的重建图像。

具体的，根据上述S202的方法，确定每个点的位置校正因子，使用该每个点的位置校正因子对该测试图像的全息图进行位置校正，获得位置校正后的全息图，例如可以根据如下公式可以再次得到的全息图：

U₁(x,y,0)＝U(x,y,0)p_m,n(x,y)

其中，U₁(x,y,0)为再次得到的全息图，U(x,y,0)为未校正的全息图。

接着，将该再次得到的全息图加载在空间光调制器上，成像装置再次捕捉到的重建图像，并将该再次捕捉到的重建图像发送给处理装置。即本步骤，基于确定的每个点的位置校正因子，先对全息图进行一次校正。

步骤B，根据所述成像装置再捕捉到的重建图像中每个点的大小和该张测试图像中每个点的大小，确定每个点的角度校正因子。

本步骤中，将位置校正后获得的重建图像中每个点的大小和测试图像P[1]中每个点的大小进行比较，确定每个点的角度校正因子。

在一种示例中，步骤B可以包括：步骤B1和步骤B2。

步骤B1，根据所述成像装置再捕捉到的重建图像中每个点的大小，确定所述重建图像中每个点的球面波因子。

步骤B1，将每个点的球面波因子与该张测试图像中每个点的大小进行比较，确定每个点的所述角度校正因子。

具体的，根据成像装置再捕捉到的重建图像中每个点的大小，确定该重建图像中每个点的球面波因子，该球面波因子为球面波角度因子。

可选的，可以根据如下公式，确定重建图像中每个点的球面波因子，

其中，所述d_m,n(x,y)表示球面波因子，x,y是第(m，n)个点的坐标，z″是该张测试图像的重建距离，exp是指数运算符号，j代表

k是波矢，k＝2π/λ。

接着，将每个点的球面波因子与该张测试图像中每个点的大小进行比较，确定每个点的所述角度校正因子。具体是，以第(m，n)个点为例，通过遍历上述球面波因子公式中z'的值，找到使重建图像上的第(m，n)个点的尺寸最接近测试图像上第(m，n)个点的大小的z′值，并将此时的结果输出作为该第(m，n)个点的角度校正因子。

根据上述步骤，确定每个点的角度校正因子之后，使用该角度校正因子对位置校正后的全息图进行角度校正，得到角度校正后的全息图，并将角度校正后的全息图加载在空间调光器上，成像装置捕捉到角度校正后的重建图像。

本申请实施例的方法，通过对全息图先进行位置校正，对位置校正后的全息图再进行角度校正，可以实现对全息图的准确校正，且校正过程简单，便于实现。

可选的，在一些实施例中，还可以先对全息图进行角度校正，对角度校正后的全息图再进行位置校正。

可选的，在一种实施例中，还可以只对全息图进行角度校正或位置校正。

需要说明的是，测试图像的点阵数越多，校正效果越好，例如，图9(a)未校正的重建图像，图9(b)为使用3×3点阵测试图像校正后重建图像，图9(c)为使用6×6点阵测试图像校正后重建图像。

本申请实施例的方法，针对N张测试图像中的每张测试图像，获取将该张测试图像的重建图像；根据该重建图像中每个点的位置信息和该张测试图像中每个点的位置信息，确定每个点所述位置校正因子；根据该张测试图像和每个点的所述位置校正因子，确定每个点的角度校正因子，进而实现对校正参数的准确确定。

下面结合具体实例对本申请实施例的适用范围以及重建效果进行阐述。

针对不同种类的重建误差，在此给出不同参考方案的仿真效果。仿真中，假设成像装置CCD的阈值和动态范围均满足预设条件，CCD的分辨率为1920×1080，感光面积为15.36mm×8.64mm。

其校正过程如下：

1、捕捉到失真图像，该失真图像为CCD捕捉到的未校正的重建图像，假设其强度矩阵为a1。

2、计算上述失真图像的全息图，记为b2。

根据全息基本理论，b2计算公式为：

其中R^*(x,y)被称作R(x,y)的共轭光波，R(x,y)为理想的平面波。

3、测试图像的全息图为b1，则“误差相位”可以根据b1和b2的比值确定，这里记为c1。

4、在重新计算全息图的过程中，为了平衡“误差相位”的影响，需要事先在计算公式中加入c1的倒数，计算公式为：

重建效果如下：

1、平移失真。这种失真多发生在分光镜表面不平、透镜倾斜摆放时。仿真结果可以看出，对于x、y方向均偏移1/2图幅范围时，本申请实施例的校正效果依然有效，其中图10(a)为校正前的点阵图，图10(b)为使用本申请实施例的方法校正后的点阵图。

2、桶形/枕形失真，这种失真多发生在透镜质量不好时。实际上，若CCD能够捕捉到图幅内所有的测试点，任意幅度的桶形畸变都可被校正。仿真结果在15.36mm×8.64mm感光面积内，可以校正误差在10％以上的桶形/枕形失真，其中，图11(a)为校正前的点阵图，图11(b)为使用本申请实施例的方法校正后的点阵图。

3、任意失真，这种失真最符合真实情况。在仿真过程中，任意测试点能被捕捉的条件下，任意幅度的畸变都可被校正，其中，图12(a)为校正前的点阵图，图12(b)为使用本申请实施例的方法校正后的点阵图。

示例一，以重建图像为一个孤立的点为例说明本申请实施例提供的图像校校正方法的校正过程。

图13(a)为待重建的原物点示意图，图13(b)为待重建原物点未校正时的全息图。假设显示系统中存在光束偏折误差，即平行光束与光轴的夹角由理想的0°偏离到了某个角度，此时理想状态下CCD捕捉到的重建图像如图14(a)所示。对图14(a)的重建图像进行全息计算，得到新的全息图如图14(b)所示。该图14(b)所示的全息图中包括了两方面信息：(1)物点信息；(2)显示系统的偏离误差信息。将图14(a)的数值矩阵进行归一化，与图13(b)所示的全息图进行比值计算，可得到如图15所示的相位分布图，从该相位分布图中可以得到显示系统的偏离误差信息。设置合适的计算参数，例如波长(532nm)、重建距离(250mm)、像素尺寸(8μm)等参数，基于本申请实施例的图像校正方法可以计算得到显示系统的偏离误差信息，假设图15代表的偏离误差为1°(点误差量级)。

示例二，假设待重建的原物点如图13(a)，该待重建的原物点的全息图如图13(b)。假设显示系统中存在透镜摆放误差，即透镜放置在非理想位置上。此时理想状态下CCD捕捉到的重建图像如图16(a)所示。对图16(a)的重建图像进行全息计算，得到的全息图如图16(b)所示。该图16(b)所示的全息图中包括了两方面信息：(1)物点信息；(2)透镜的摆放误差信息。将图16(b)的数值矩阵进行归一化后，与图13(b)所示的全息图进行比值计算，可得到一幅相位分布图，从该分布图中可以得到透镜位置误差信息矩阵，如图17所示。设置合适的计算参数，例如波长(532nm)、重建距离(250mm)、像素尺寸(8μm)等参数，便可利用图17所示的透镜位置误差信息矩阵，通过上述实施例的图像校正方法计算得到显示系统的偏离误差信息。在该例子中，图17所示代表的透镜摆放误差为+5mm(毫米量级)。

经理论分析和实验验证，若实际光路中角度偏差不大于1度、位置误差不超过5mm，带有畸变的显示图像都可以通过本申请实施例提供的图像校正方法进行消除。实际上，在一般装配和调整过程中，光路的角度偏差不大于0.1度、位置误差远小于0.1mm水平，由此可知，本申请实施例的图像校正方法可以非常完整的校正全息显示中的畸变误差。

进一步的，当本申请实施例中图像校正方法的至少一部分功能通过软件实现时，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于储存为上述对数据处理的计算机软件指令，当其在计算机上运行时，使得计算机可以执行上述方法实施例中各种可能的图像校正方法。在计算机上加载和执行所述计算机执行指令时，可全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，所述传输可以通过无线(例如蜂窝通信、红外、短距离无线、微波等)方式向另一个网站站点、计算机、单元或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的单元、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种图像校正方法，其特征在于，应用于显示系统中，所述显示系统包括重建光发射装置、空间光调制器、分光棱镜、成像装置、显示屏，以及与所述空间光调制器和所述成像装置电连接的处理装置，所述方法包括：

根据所述校正参数，对待显示图像的全息图进行校正处理；

所述校正参数包括以下至少一项：位置校正因子、角度校正因子；所述将所述N张测试图像与所述N张测试图像对应的重建图像一一进行比较，确定所述N张测试图像的全息图的校正参数，包括：

根据该张测试图像和每个点的所述位置校正因子，确定每个点的角度校正因子；

所述根据该张测试图像和所述位置校正因子，确定每个点角度校正因子，包括：

根据所述成像装置再捕捉到的重建图像中每个点的大小和该张测试图像中每个点的大小，确定每个点的角度校正因子；

所述根据所述重建图像中每个点的位置信息和该张测试图像中每个点的位置信息，确定每个点的所述位置校正因子，包括：

根据以下公式确定每个点的所述位置校正因子：

其中，所述j为

2.根据权利要求1所述的方法，其特征在于，所述根据所述成像装置再捕捉到的重建图像中每个点的大小和该张测试图像中每个点的大小，确定每个点的所述角度校正因子，包括：

3.根据权利要求1或2所述的方法，其特征在于，每张测试图像的重建距离不同。

4.根据权利要求3所述的方法，其特征在于，所述将每张测试图像的全息图加载至所述空间光调制器上之后，还包括：

5.一种显示系统，其特征在于，包括：沿着光路方向依次设置的重建光发射装置、空间光调制器和分光棱镜，所述分光棱镜的两侧光路上分别设置有成像装置和显示屏，所述成像装置与所述空间光调制器均与处理装置电连接；

所述重建光发射装置用于输出重建光至所述空间光调制器；

所述处理装置用于执行如权利要求1-4任一项所述的方法。

6.根据权利要求5所述的系统，其特征在于，所述重建光发射装置包括：沿着光路方向依次设置的光源、空间滤波器和凸透镜；

所述光源用于向所述空间滤波器发出光波；

所述空间滤波器用于根据所述光波发射出球面波；

7.根据权利要求6所述的系统，其特征在于，所述空间滤波器包括：显微物镜和针孔。

8.根据权利要求6所述的系统，其特征在于，所述光源包括激光光源或者发光二极管LED光源。

9.一种计算机可读存储介质，其特征在于，包括：所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-4任一项所述的图像校正方法。