CN108288255B - 一种相位恢复方法、装置及系统 - Google Patents

Abstract

本发明实施例公开了一种相位恢复方法、装置及系统，其中，该方法包括：获取以相位差和像面图像数据对为样本的训练数据；依据所述训练数据训练相位恢复模型；获取待预测的物体图像数据对，依据所述相位恢复模型进行相位恢复。本发明实施例在相位恢复的过程中准确性高、实时性强，无需对光学系统的设计进行限制，可灵活应对复杂的情况。

Description

一种相位恢复方法、装置及系统

技术领域

本发明涉及光电技术领域，尤其涉及一种相位恢复方法、装置及系统。

背景技术

光学系统采集被测物体图像时，由于光学系统会引入相应的相位误差(即相位差)，导致采集到的图像模糊不清，因此如何确定光学系统的相位差，并进行相位的恢复至关重要。

目前，常用的相位恢复的方法有两种，一种是利用相位差传感器(具体可以使用波前传感器)直接探测光学系统的相位差，另一种是通过利用Gerchberg–Saxton(GS)算法，以最优理论图像为目标，利用傅里叶变换与逆傅里叶变换反复迭代修正误差，最终收敛后得到光学系统的相位差。

但是，利用波前传感器进行光学系统相位差探测，需要在光学系统的特定位置安装波前传感器，同时还需要在成像面上设置一个点光源作为引导星，给光学系统的设计带来较大的限制；而利用GS算法计算光学系统的相位差，需要反复采集数据进行多次迭代计算，使得计算复杂度高、收敛速度慢、实时性较差。

发明内容

本发明的目的在于，提供一种相位恢复方法、装置及系统，在相位恢复的过程中准确性高、实时性强，无需对光学系统的设计进行限制，可灵活应对复杂的情况。

为达此目的，本发明采用以下技术方案：

第一方面，本发明实施例提供了一种相位恢复方法，包括：

获取以相位差和像面图像数据对为样本的训练数据；

依据所述训练数据训练相位恢复模型；

获取待预测的物体图像数据对，依据所述相位恢复模型进行相位恢复。

第二方面，本发明实施例提供了一种相位恢复装置，包括：

数据获取模块，用于获取以相位差和像面图像数据对为样本的训练数据；

模型训练模块，用于依据所述训练数据训练相位恢复模型；

相位恢复模块，用于获取待预测的物体图像数据对，依据所述相位恢复模型进行相位恢复。

第三方面，本发明实施例提供了一种相位恢复系统，包括：采集终端和处理终端；

所述采集终端用于获取以相位差和像面图像数据对为样本的训练数据，以及获取待预测的物体图像数据对；

所述处理终端用于依据所述训练数据训练相位恢复模型，以及依据所述相位恢复模型进行相位恢复。

本发明实施例提供了一种相位恢复方法、装置及系统，通过获取以相位差和像面图像数据对为样本的训练数据，对相位恢复模型进行训练，获取待预测的物体图像数据对，通过训练的相位恢复模型进行相位恢复。在相位恢复的过程中准确性高、实时性强，无需对光学系统的设计进行限制，可灵活应对复杂的情况。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的一种相位恢复方法的流程图；

图2是本发明实施例一提供的一种相位恢复模型示意图；

图3是本发明实施例二提供的一种相位恢复方法中相位恢复模型训练方法的流程图；

图4是本发明实施例三提供的一种相位恢复方法的流程图；

图5是本发明实施例四提供的一种相位恢复装置的结构框图；

图6A-6B是本发明实施例五提供的一种相位恢复系统的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1为本发明实施例一提供的一种相位恢复方法的流程图，本实施例可适用于对光学系统的相位差进行恢复的情况，该方法可以由本发明实施例提供的相位恢复系统来执行，例如，可以是采集终端和处理终端配合执行。如图1所示，该相位恢复方法包括如下步骤：

步骤S101：获取以相位差和像面图像数据对为样本的训练数据。

为了保证所训练的相位恢复模型准确性高、适用范围广，在构建训练数据时要尽可能多的获取训练数据。具体的，训练数据可以由海量的训练样本构成，而训练样本又是由相位差和该相位差对应的像面图像数据对构成，优选的，相位差可以是人工通过光学调制器模拟生成的，例如，利用空间光调制器生成不同大小的相位差来模拟不同光学系统的相位差。由图像的计算公式ψ＝|W_x||²(其中，ψ是图像数据，W是离散傅里叶变换(DiscreteFourier Transform，DFT)矩阵，x是光学系统的相位差)可知，利用图像数据进行相位差计算时由于绝对值计算的存在，所以只获取相位差对应的一幅图像进行相位恢复模型的训练有时无法准确的进行相位差的恢复，因此，对应一个相位差要获取一组像面图像数据对作为图像数据。

优选的,获取训练数据的过程可以是模拟出一个相位差，然后获取该相位差对应的像面图像数据对，将该相位差及其对应的像面图像数据对作为一个样本，再重复上述操作，获取尽可能多的不同相位差对应的样本，构成训练数据。

步骤S102：依据训练数据训练相位恢复模型。

其中，相位恢复模型是一种神经网络模型，可以根据输入的图像数据对输出该图像数据对对应的相位差，进而完成对光学系统相位的恢复。具体的，相位恢复模型是运用步骤S101中获取的训练数据对神经网络进行训练，使其建立起相位差与像面图像数据对之间的关系后得到的。

优选的，依据训练数据训练相位恢复模型可以是：依据反向传播算法，训练相位恢复模型的权重数据；依据权重数据，训练相位差和相位差对应的像面图像数据对之间的映射关系。

相位恢复模型是由多层网络组成，如图2所示，该相位恢复模型包括：输入层、多个卷积层、采样层以及输出层。相邻的不同网络层之间存在一个权重数据，即上一层的输出数据和权重数据进行计算后得到下一层的输入数据，该计算过程可以是乘积或偏移等。利用获取的大量的训练数据，通过反向传播算法对相位恢复模型相邻的不同网络层之间的权重数据进行训练。当相位恢复模型的权重数据训练完成后，就可以依据相邻的不同网络层之间的权重数据训练出相位差与其对应的像面图像数据对之间的映射关系，即输入的像面图像数据对通过不同网络层之间的权重数据计算即可建立与该像面图像对对应的相位差之间的映射关系。

优选的，如图2所示，对该相位恢复模型的训练可以分为两步：(1)学习训练数据从输入层经过多个卷积层、采样层处理后传向输出层的正向传播过程，(2)将该模型输出的相位差误差按原来正向传播过程反向传回，并对多个卷积层、采样层之间的权重数据进行修正，以使该相位恢复模型输出的相位差误差趋向最小。

步骤S103：获取待预测的物体图像数据对，依据相位恢复模型进行相位恢复。

光学系统在出厂时都会存在误差，导致光学系统采集到的图像模糊不清，可以通过步骤S102中训练的相位恢复模型对其进行相位的恢复。由于步骤S102中训练相位恢复模型时，训练的是像面图像数据对与相位差之间的映射关系，因此，进行相位的恢复时，也要获取物体在该光学系统下的物体图像数据对，输入到训练好的相位恢复模型中，即可输出物体图像数据对对应的相位差(即该光学系统的相位差)，得到相位差后即可完成对光学系统相位的恢复。

示例性的，如图2所示，将待预测的物体图像数据对输入相位恢复模型中，得到相位恢复数据的具体过程可以是：

将待预测的物体图像数据对输入相位恢复模型的输入层，由多个卷积层对输入的物体图像数据对进行滤波处理操作，优选的，每一个卷积层都是在上一层输出结果的基础上进行卷积操作，每个卷积层采用的滤波器也可以不同，例如，可以是7×7×96滤波器、5×5×256滤波器、3×3×384滤波器等。多个卷积层完成滤波处理后，采样层根据卷积层的滤波结果在训练的相位差与图像数据对之间的映射关系中采集到输入的物体图像数据对对应的相位差，再传到输出层进行相位差的输出。根据相位恢复模型输出的相位差即可完成对光学系统相位的恢复。

本发明实施例提供了一种相位恢复方法，通过获取以相位差和像面图像数据对为样本的训练数据，对相位恢复模型进行训练，获取待预测的物体图像数据对，通过训练的相位恢复模型进行相位恢复。在相位恢复的过程中准确性高、实时性强，无需对光学系统的设计进行限制，可灵活应对复杂的情况。

实施例二

本实施例在上述实施例的基础上，提供了相位恢复模型训练方法，图3为本发明实施例二提供的一种相位恢复方法中相位恢复模型训练方法的流程图，如图3所示，包括如下步骤：

步骤S301：在成像系统无相位差时，模拟生成多个相位差。

其中，成像系统为具有光学调制器的成像系统，即在光学系统中添加了光学调制器后组成的系统。在模拟相位差前，为了保证模拟生成的相位差的准确性，要将成像系统调到无相位差的状态，使得之后模拟生成的相位差不存在光学系统自身相位差的干扰。优选的，模拟相位差可以通过成像系统中的光学调制器来完成，同时要记录该相位差的大小。例如，可以是空间光调制器生成若干个不同的相位差，同时获得所生成的相位差的大小。

步骤S302：依次获取各相位差对应的像面图像数据对。

由于步骤S301中模拟生成了多个相位差，此时要依次获取每一个相位差对应的像面图像数据对，具体的，可以是步骤S301模拟出一个相位差后，执行步骤S302，获取该相位差对应的像面图像数据对后，再返回步骤S301生成另一个相位差，然后再执行步骤S302，重复执行上述操作，直到获取足够多的相位差及其对应的像面图像数据对为止。例如，可以执行100次，获取100个相位差对应的像面图像数据对。

步骤S303：分别将各相位差及其对应的像面图像数据对作为一个样本，构成训练数据。

其中，将步骤S301中生成的一个相位差和步骤S302中获取的该相位差对应的像面图像数据对作为一个样本，重复执行步骤S301和步骤S302得到多个样本，得到的样本越多，构成的训练数据越全面，训练出来的相位恢复模型的准确性就越高。优选的，样本的个数不得少于100个。

步骤S304：依据训练数据训练相位恢复模型。

本实施例提供的相位恢复模型训练方法，通过在成像系统无相差的情况下，模拟多个相位差数据，并获取各相位差数据对应的像面图像数据对，将每个相位差及其对应的像面图像数据对作为一个样本，进行相位恢复模型的训练。通过海量的数据训练后，使得训练后的相位恢复模型准确性高，灵活性强，能够快速精准的完成光学系统的相位恢复。

进一步地，针对每个相位差，获取该相位差对应的像面图像数据对可以是：

在特定光源照射具有光学调制器的成像系统时，获取相位差对应的第一像面图像数据；其中，特定光源为平均亮度一致的光源，例如可以是点光源或点光源叠加后的光源。具有光学调制器的成像系统为在光学系统中添加了光学调制器后组成的系统，优选的，光学调制器可以放置在光学系统物体成像面的傅里叶面上。所述光学调制器可以是空间光调制器，具体的，由步骤S301可知，此时成像系统中的光学系统是不存在相位差的，相位差是由光学调制器模拟出来的，获取光学调制器模拟出来的相位差对应的图像作为第一像面图像数据。

控制光学调制器在相位差的基础上，添加预设离焦量；其中，在获取像面图像数据对的第一幅图像后，需要在第一像面图像数据对应的相位差的基础上，通过光学调制器添加预设离焦量。优选的预设离焦量的值是固定的，其大小与特定光源的波长有关。

获取添加预设离焦量后的相位差对应的第二像面图像数据，其中，第一像面图像数据与第二像面图像数据构成相位差对应的像面图像数据对。优选的，由于所有的像面图像数据对中第二像面图像数据与第一像面图像数据之间都相差固定的预设离焦量，所以在进行相位恢复模型训练时，并不影响整体训练结果的准确性。

实施例三

本实施例在上述各实施例的基础上，提供了一种优选实例，适用于对光学系统的相位差进行恢复的情况，图4为本发明实施例三提供的一种相位恢复方法的流程图，如图4所示，包括如下步骤：

步骤S401：获取以相位差和像面图像数据对为样本的训练数据。

步骤S402：依据训练数据训练相位恢复模型。

步骤S403：当成像系统的光学调制器位于焦平面位置时，获取第一物体图像数据。

其中，该成像系统与训练相位恢复模型时的成像系统一样，是在光学系统中添加了光学调制器后组成的系统。不同的是，此时要进行成像系统中光学系统的相位恢复，所以此时的光学系统是存在相位差的，而光学调制器要调制在焦平面上(即光学调制器的相差为零)。获取的第一物体图像数据是光学系统的相位差对应的物体图像数据。

步骤S404：控制光学调制器在当前相位差的基础上添加预设离焦量。

其中，当前相位差是指成像系统中的光学系统自身存在的相位差(即光学系统待恢复的相位差)。为了保证相位恢复模型能够准确对光学系统相位差进行恢复，要采用和获取训练数据时相同的方法进行物体图像数据的获取，所以在采集完第一物体图像数据之后，要控制光学调制器在光学系统自身存在的相位差的基础上添加与获取训练数据时一样的预设离焦量。

步骤S405：获取添加预设离焦量后的相位差对应的第二物体图像数据。

步骤S406：将第一物体图像数据和第二物体图像数据作为待预测的物体图像数据对，输入相位恢复模型中，得到相位恢复数据。其中，相位恢复数据为光学系统自身存在的相位差。

本发明实施例提供了一种相位恢复方法，通过获取以相位差和像面图像数据对为样本的训练数据，对相位恢复模型进行训练，依据获取训练数据时的方法获取待预测的物体图像数据对，通过训练的相位恢复模型进行相位恢复。在相位恢复的过程中准确性高、实时性强，无需对光学系统的设计进行限制，可灵活应对复杂的情况。

进一步地，在实际光学系统采集图像的过程中，不仅光学系统自身存在相位差，有的被测物体也会引入相位差，当被测物体也引入相位差时，本发明实施例的相位恢复模型得到的相位恢复数据是被测物体和光学系统整体的相位差，通过对相位进行恢复，即可将整体的相位差进行恢复，拍摄到清楚的图案。避免了现有方法中只测量光学系统相位差，在光学系统相位恢复后还是拍摄不到清楚的物体图像的情况。

实施例四

图5为本发明实施例四提供的一种相位恢复装置的结构框图，该装置可执行本发明任意实施例所提供的相位恢复方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置包括：

数据获取模块501，用于获取以相位差和像面图像数据对为样本的训练数据；

模型训练模块502，用于依据训练数据训练相位恢复模型；

相位恢复模块503，用于获取待预测的物体图像数据对，依据相位恢复模型进行相位恢复。

本发明实施例提供了一种相位恢复装置，通过获取以相位差和像面图像数据对为样本的训练数据，对相位恢复模型进行训练，获取待预测的物体图像数据对，通过训练的相位恢复模型进行相位恢复。在相位恢复的过程中准确性高、实时性强，无需对光学系统的设计进行限制，可灵活应对复杂的情况。

进一步地，上述数据获取模块501包括：

相位差生成单元，用于在成像系统无相位差时，模拟生成多个相位差；

第一图像获取单元，用于依次获取各相位差对应的像面图像数据对；

训练数据构成单元，用于分别将各相位差及其对应的像面图像数据对作为一个样本，构成所述训练数据。

优选的，第一图像获取单元具体用于：针对每个相位差，在特定光源照射具有光学调制器的成像系统时，获取相位差对应的第一像面图像数据；

控制光学调制器在相位差的基础上，添加预设离焦量；

获取添加预设离焦量后的相位差对应的第二像面图像数据，其中，第一像面图像数据与第二像面图像数据构成相位差对应的像面图像数据对。

进一步地，上述模型训练模块502具体用于：依据反向传播算法，训练相位恢复模型的权重数据；依据权重数据，训练相位差和相位差对应的像面图像数据对之间的映射关系。

进一步地，上述相位恢复模块503包括：

第二图像获取单元，用于当成像系统的光学调制器位于焦平面位置时，获取第一物体图像数据；

离焦量添加单元，用于控制光学调制器在当前相位差的基础上添加预设离焦量；

上述第二图像获取单元，还用于获取添加预设离焦量后的相位差对应的第二物体图像数据；

相位恢复单元，用于将第一物体图像数据和第二物体图像数据作为待预测的物体图像数据对，输入相位恢复模型中，得到相位恢复数据。

优选的，第一图像获取单元和第二图像获取单元可以相同，为图像采集设备，如相机等；相位差生成单元和离焦量添加单元可以相同，为光学调制器，如空间光调制器等。

值得注意的是，上述相位恢复装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；例如，该装置可以仅包括采集模块和控制模块，采集模块实现物体图像数据或训练数据的获取；控制模块实现模型的训练、相位恢复等相关的功能。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例五

图6A-6B为本发明实施例五提供的一种相位恢复系统的结构框图，该系统可执行本发明任意实施例所提供的方法，达到相应的有益效果，相位恢复系统包括：采集终端61和处理终端62；

优选的，采集终端61可以包括：特定光源611、具有光学调制器的成像系统612以及相机613。处理终端52可以是具有配备数据处理功能的终端，如电脑等。

采集终端61用于获取以相位差和像面图像数据对为样本的训练数据，以及获取待预测的物体图像数据对；

处理终端62用于依据训练数据训练相位恢复模型，以及依据相位恢复模型进行相位恢复。

具体的，如图6A所示，该相位恢复系统进行相位恢复模型训练时，采集终端61用于获取以相位差和像面图像数据对为样本的训练数据；处理终端62用于依据采集终端61获取的训练数据训练相位恢复模型。

如图6B所示，该相位恢复系统在实际拍摄物体过程中进行光学系统相位恢复时，采集终端61用于获取物体63在该成像系统下的物体图像数据对；处理终端62用于依据采集终端61获取的物体图像数据对和相位恢复模型对光学系统进行相位恢复。

本发明实施例提供了一种相位恢复系统，通过获取以相位差和像面图像数据对为样本的训练数据，对相位恢复模型进行训练，获取待预测的物体图像数据对，通过训练的相位恢复模型进行相位恢复。在相位恢复的过程中准确性高、实时性强，无需对光学系统的设计进行限制，可灵活应对复杂的情况。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种相位恢复方法，其特征在于，包括：

获取以相位差和像面图像数据对为样本的训练数据；

所述获取以相位差和像面图像数据对为样本的训练数据，包括：

在成像系统无相位差时，模拟生成多个所述相位差；

依次获取各所述相位差对应的所述像面图像数据对；

分别将各所述相位差及其对应的所述像面图像数据对作为一个样本，构成所述训练数据；

依据所述训练数据训练相位恢复模型；

获取待预测的物体图像数据对，依据所述相位恢复模型进行相位恢复；

所述获取待预测的物体图像数据对，依据所述相位恢复模型进行相位恢复，包括：

当所述成像系统的光学调制器位于焦平面位置时，获取第一物体图像数据；

控制所述光学调制器在当前相位差的基础上添加预设离焦量；

获取添加所述预设离焦量后的相位差对应的第二物体图像数据；

将所述第一物体图像数据和所述第二物体图像数据作为待预测的物体图像数据对，输入所述相位恢复模型中，得到相位恢复数据。

2.根据权利要求1所述的方法，其特征在于，依次获取各相位差对应的像面图像数据对，包括：

针对每个相位差，在特定光源照射具有光学调制器的成像系统时，获取所述相位差对应的第一像面图像数据；

控制所述光学调制器在所述相位差的基础上，添加预设离焦量；

获取添加所述预设离焦量后的相位差对应的第二像面图像数据，其中，所述第一像面图像数据与所述第二像面图像数据构成所述相位差对应的像面图像数据对。

3.根据权利要求1所述的方法，其特征在于，依据所述训练数据训练相位恢复模型，包括：

依据反向传播算法，训练所述相位恢复模型的权重数据；

依据所述权重数据，训练相位差和所述相位差对应的像面图像数据对之间的映射关系。

4.一种相位恢复装置，其特征在于，包括：

数据获取模块，用于获取以相位差和像面图像数据对为样本的训练数据；

所述数据获取模块包括：

相位差生成单元，用于在成像系统无相位差时，模拟生成多个相位差；

第一图像获取单元，用于依次获取各相位差对应的像面图像数据对；

训练数据构成单元，用于分别将各相位差及其对应的像面图像数据对作为一个样本，构成所述训练数据；

模型训练模块，用于依据所述训练数据训练相位恢复模型；

相位恢复模块，用于获取待预测的物体图像数据对，依据所述相位恢复模型进行相位恢复；

所述相位恢复模块包括：

第二图像获取单元，用于当成像系统的光学调制器位于焦平面位置时，获取第一物体图像数据；

离焦量添加单元，用于控制所述光学调制器在当前相位差的基础上添加预设离焦量；

所述第二图像获取单元，还用于获取添加所述预设离焦量后的相位差对应的第二物体图像数据；

相位恢复单元，用于将所述第一物体图像数据和所述第二物体图像数据作为待预测的物体图像数据对，输入所述相位恢复模型中，得到相位恢复数据。

5.根据权利要求4所述的装置，其特征在于，所述模型训练模块具体用于：

依据反向传播算法，训练所述相位恢复模型的权重数据；

依据所述权重数据，训练相位差和所述相位差对应的像面图像数据对之间的映射关系。

6.一种相位恢复系统，其特征在于，包括：采集终端和处理终端；

所述采集终端用于获取以相位差和像面图像数据对为样本的训练数据，以及获取待预测的物体图像数据对；

所述获取以相位差和像面图像数据对为样本的训练数据，包括：

在成像系统无相位差时，模拟生成多个所述相位差；

依次获取各所述相位差对应的所述像面图像数据对；

分别将各所述相位差及其对应的所述像面图像数据对作为一个样本，构成所述训练数据；

所述处理终端用于依据所述训练数据训练相位恢复模型，以及依据所述相位恢复模型进行相位恢复；

所述获取待预测的物体图像数据对，依据所述相位恢复模型进行相位恢复，包括：

当所述成像系统的光学调制器位于焦平面位置时，获取第一物体图像数据；

控制所述光学调制器在当前相位差的基础上添加预设离焦量；

获取添加所述预设离焦量后的相位差对应的第二物体图像数据；

将所述第一物体图像数据和所述第二物体图像数据作为待预测的物体图像数据对，输入所述相位恢复模型中，得到相位恢复数据。

Images