CN109886880A - 一种基于U-Net分割网络的光学图像相位解缠绕方法 - Google Patents

Abstract

本发明公开了一种基于U‑Net分割网络的光学图像相位解缠绕方法。本发明包括如下步骤：步骤1、利用Zernike多项式产生相位未缠绕的光学图像；步骤2、利用相位未缠绕的光学图像进行相位缠绕操作，得到相位缠绕图像；步骤3、利用U‑Net分割网络训练模型；步骤4、利用训练好的模型进行光学图像相位解缠绕。本发明利用了U‑Net分割网络，该方法的针对性很强，主要针对于光学图像的相位解缠绕。在光学成像研究领域有着很大的应用前景，且本发明提出的基于U‑Net分割网络的相位解缠绕方法，像素分割准确率很高，从而求解准确率也很高。同时在CPU i5‑8600K和GPU NVIDIA TITAN Xp的环境下，求解时间只需0.037秒。

Description

一种基于U-Net分割网络的光学图像相位解缠绕方法

技术领域

本发明属于图像相位解缠绕领域，尤其针对光学图像，具体涉及一种基于U-Net分割网络的光学图像相位解缠绕方法。

背景技术

很多时候光学成像得到的信号是复数形式，包含了幅度值和相位值。但从复数信号中提取真实相位时，相位值会被限制在[-π,π]的区间内，位于该区间外的真实相位被缠绕到这一区间内。此现象称为相位缠绕，得到的相位称为缠绕相位。从缠绕相位中得到真实的相位称为相位解缠绕。

现有的相位解缠绕方法主要有以下三种。第一种方法是基于离散粒子群优化算法的枝切线法。这种方法先将整幅图像的残差分成几组；在每组内使用离散粒子群优化算法对正负极性残差进行配对；用枝切线连接每组内配好对的正负极性残差；最后绕过这些枝切线进行相位解缠。第二种相位解缠方法是基于直接求解法的加权最小L^p范数法。它将整个相位图像的解缠相位梯度与缠绕相位梯度之间差值的加权L^p范数作为优化目标函数；将这个目标函数转化成一个方程组，其系数矩阵采用稀疏结构储存和表达；最后使用直接求解法求解方程组。由于方程组的系数矩阵与解缠相位有关，因此采取迭代方式得到最终的解缠结果。第三种方法是基于掩码的区域增长法。这种方法采用一种新的掩码提取方式将残差合理地连接起来作为掩码中的零点；将掩码与相位导数方差结合构成最终的质量图，这样连接残差经过的点均被当成零质量(也就是质量最差)的点，会被滞留到最后才被相位解缠；接着根据质量图将整幅图像分成多个区域，在每个区域内单独进行相位解缠，其中质量最差的那个区域从多个方向进行相位加权平均；最后将多个区域融合在一起。然而上述方法面临求解速度慢、求解精度差、鲁棒性不足的缺点。因此本发明提出了一种新的基于U-Net分割网络的光学图像相位解缠绕方法。

发明内容

本发明主要考虑随着光学成像技术的发展，越来越多应用到了成像信号中相位的信息。如何更好的解决光学相位的解缠绕是值得探讨的问题。本发明针对由Zernike多项式产生的光学图像进行了相位解缠绕研究。具体按照以下步骤实施：

步骤1、利用Zernike多项式产生相位未缠绕的光学图像

像差是指光学系统中的成像缺陷。几何光学上把像差分为单色光像差和色光像差，前者包括球差、彗差、像散、场曲和畸变，后者包括位置色差和倍率色差；而物理光学上把像差称之为波前像差或波阵面像差，即是点光源发出的球面波经光学系统后形成的波形与理想球面波之间的距离。波前像差可以通过Zernike多项式周期表或球差、彗差等几何像差来表达。

Zernike在1934年引入了一组定义在单位圆上的复值函数集{V_pq(x,y)}，{V_pq(x,y)}具有完备性和正交性，使得它可以表示定义在单位圆盘内的任何平方可积函数。其定义为：

V_pq(x,y)＝V_pq(ρ,θ)＝R_pq(ρ)e^jqθ

其中，ρ表示原点到点(x,y)的矢量长度；θ表示矢量长度，ρ与x轴逆时针方向的夹角；R_pq(ρ)是实值径向多项式：

称为Zernike多项式，Zernike多项式满足正交性。由于Zernike多项式的正交完备性，所以在单位圆内的任何图像都可以唯一的表示。由于Zernike多项式和光学检测中观测到的像差多项式的形式是一致的，因而常用Zernike描述波前特性。

因此，在本发明中我们利用Zernike多项式产生相位未缠绕的光学图像。

步骤2、利用未缠绕的光学图像进行相位缠绕操作，得到相位缠绕图像；

通过步骤1之后，我们得到了一批未缠绕的与实验类似的光学图像。紧接着我们通过以下公式得到相应的相位缠绕图像以及两者的差值。

img_diff＝img_unwrap-img_wrap

其中，img_wrap、img_unwrap分别代表相位未缠绕和相位缠绕的光学图像；angle(x)代表x的相位；img_diff是未缠绕和缠绕的光学图像的差值。

步骤3、利用U-Net分割网络训练模型

U-Net是原作者参加ISBI Challenge提出的一种分割网络，能够适应很小的训练集。整个U-Net网络结构类似于一个大大的U字母：首先进行Conv和Pooling进行下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合；然后再次上采样。重复这个过程，直到获得输出特征图，最后经过softmax获得输出分割结果。

由于解缠绕的过程可以理解为就是将不同的相位分割出来，然后填写相应的相位值，而且填写的相位值为2π的整数倍。最后将填好的相位值和光学相位缠绕图像相加。整个过程如下公式所示：

其中，(x,y)代表图像中像素点的坐标；φ(x,y)代表该像素点相位未缠绕图像的数值；代表该像素点相位缠绕图像的数值；k(x,y)代表该像素点需要叠加2π的倍数，为整数。

所以本发明采用了先利用U-Net分割网络对光学缠绕图像进行分割并填写相位值，分割并填写相位值之后的图像与光学相位缠绕图像进行相加得到最终的光学相位解缠绕的图像。具体如下，我们把训练集上光学相位缠绕图像不同的相位分割成不同的区域，并按照需要叠加的整数倍从小到大进行排列作为我们的Groudtruth。之后把光学相位缠绕图像作为U-Net分割网络的输入，Groundtruth作为输出进行训练网络。本发明的模型采用了交叉熵作为损失函数。

步骤4、利用训练好的模型进行光学解缠绕

本发明利用了步骤3训练结果得到的网络进行了保存。之后我们利用了上述保存结果进行了光学相位缠绕图像的解缠绕。具体为把光学相位缠绕图像作为网络的输入，网络输出按需要叠加的整数倍从小到大进行排列的分割图，之后从0开始填好相应的相位值，最后和光学相位缠绕图像相叠加，得到最终的光学相位解缠绕图像。在我们的实验结果中，我们发现模型的预测结果准确性和求解速度相对于传统的光学相位缠绕图像解缠绕算法都有了很大的改进。

本发明方法具有的优点及有益结果为：

1、本发明提出了一种新的光学相位缠绕图像解缠绕的方法。该方法利用了U-Net分割网络，该方法的针对性很强，主要针对于光学图像的相位解缠绕。在光学成像研究领域有着很大的应用前景。

2、本发明提出的基于U-Net分割网络的光学相位解缠绕方法，像素分割准确率很高，从而求解准确率也很高。同时在CPUi5-8600K和GPU NVIDIA TITANXp的环境下，求解时间只需0.037秒。

附图说明

图1(a)为Zernike多项式产生的相位没有缠绕的光学图像，

图1(b)是相应的相位缠绕的光学图像；

图1(c)是相位未缠绕图像的分割图像；

图2是本发明的U-Net网络结构图；

图3(a)为相位缠绕的光学图像，

图3(b)为预测的相位缠绕图像的不同相位分割图；

图3(c)为预测的相位缠绕的光学图像；

图3(d)为相应的真实的相位未缠绕的光学图像。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明提出基于残差卷积神经网络的光学图像相位解缠绕方法，按照以下步骤实施。

步骤1、利用Zernike多项式产生相位未缠绕的光学图像

像差是指光学系统中的成像缺陷。几何光学上把像差分为单色光像差和色光像差，前者包括球差、彗差、像散、场曲和畸变，后者包括位置色差和倍率色差；而物理光学上把像差称之为波前像差或波阵面像差，即是点光源发出的球面波经光学系统后形成的波形与理想球面波之间的距离。波前像差可以通过Zernike多项式周期表或球差、彗差等几何像差来表达。

Zernike在1934年引入了一组定义在单位圆上的复值函数集{V_pq(x,y)}，{V_pq(x,y)}具有完备性和正交性，使得它可以表示定义在单位圆盘内的任何平方可积函数。其定义为：V_pq(x,y)＝V_pq(ρ,θ)＝R_pq(ρ)e^jqθ

其中，ρ表示原点到点(x,y)的矢量长度；θ表示矢量ρ与x轴逆时针方向的夹角；R_pq(ρ)是实值径向多项式：

称为Zernike多项式，Zernike多项式满足正交性。由于Zernike多项式的正交完备性，所以在单位圆内的任何图像都可以唯一的表示。由于Zernike多项式和光学检测中观测到的像差多项式的形式是一致的，因而常用Zernike描述波前特性。

因此，在本发明中我们利用Zernike多项式产生相位未缠绕的光学图像。

步骤2、利用未缠绕的光学图像进行相位缠绕操作，得到相位缠绕图像

通过步骤1之后，我们得到了一批未缠绕的与实验类似的光学图像。紧接着我们通过以下公式得到相应的相位缠绕图像以及两者的差值。

img_diff＝img_unwrap-img_wrap

其中，img_wrap、img_unwrap分别代表未缠绕和缠绕的光学图像；angle(x)代表x的相位；img_diff是未缠绕和缠绕的光学图像的差值。

步骤3、利用U-Net分割网络训练模型

U-Net是原作者参加ISBI Challenge提出的一种分割网络，能够适应很小的训练集。整个U-Net网络结构类似于一个大大的U字母：首先进行Conv和Pooling进行下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合；然后再次上采样。重复这个过程，直到获得输出特征图，最后经过softmax获得输出分割结果。

由于解缠绕的过程可以理解为就是将不同的相位分割出来，然后填写相应的相位值，而且填写的相位值为2π的整数倍。最后将填好的相位值和光学相位缠绕图像相加。整个过程如下公式所示：

其中，(x,y)代表图像中像素点的坐标；φ(x,y)代表该像素点相位未缠绕图像的数值；代表该像素点相位缠绕图像的数值；k(x,y)代表该像素点需要叠加2π的倍数，为整数。

所以本发明采用了先利用U-Net分割网络对光学相位缠绕图像进行分割并填写相位值，之后与光学相位缠绕图像进行相加得到最终的光学相位解缠绕的图像。具体如下，我们把训练集上光学相位缠绕图像不同的相位分割成不同的区域，并按照需要叠加的整数倍从小到大进行排列作为我们的Groudtruth。之后把光学相位缠绕图像作为U-Net分割网络的输入，Groundtruth作为输出进行训练网络。本发明的模型采用了交叉熵作为损失函数。

步骤4、利用训练好的模型进行光学解缠绕

本发明利用了步骤3训练结果得到的网络进行了保存。之后我们利用了上述保存结果进行了光学相位缠绕图像的解缠绕。具体为把光学相位缠绕图像作为网络的输入，网络输出按需要叠加的整数倍从小到大进行排列的分割图，之后从0开始填好相应的相位值，最后和光学相位缠绕图像相叠加，得到最终的解缠绕图像。在我们的实验结果中，我们发现模型的预测结果准确性和求解速度相对于传统的光学相位缠绕图像解缠绕算法都有了很大的改进。

实施例

本发明所采用的实施例中训练集为类似于图1(a)、图1(b)和图1(c)所示的由Zernike多项式产生的光学图像。之后按照步骤2产生相应的相位缠绕图像。经过步骤3的模型训练之后，利用学习到的网络进行测试。最终测试结果如图3(a)、图3(b)、图3(c)和图3(d)所示。

Claims (1)

1.一种基于U-Net分割网络的光学图像相位解缠绕方法，其特征在于包括如下步骤：

步骤1、利用Zernike多项式产生相位未缠绕的光学图像；

步骤2、利用相位未缠绕的光学图像进行相位缠绕操作，得到相位缠绕光学图像；

步骤3、利用U-Net分割网络训练模型；

步骤4、利用训练好的模型进行光学相位缠绕图像解缠绕；

步骤1具体实现如下：

定义在单位圆上的复值函数集{V_pq(x,y)}，{V_pq(x,y)}具有完备性和正交性：

V_pq(x,y)＝V_pq(ρ,θ)＝R_pq(ρ)e^jqθ

其中，ρ表示原点到点(x,y)的矢量长度；θ表示矢量长度，ρ与x轴逆时针方向的夹角；R_pq(ρ)是实值径向多项式：

步骤2具体实现如下：

将步骤1获取的光学图像，通过以下公式得到相应的相位缠绕图像以及两者的差值；

img_diff＝img_unwrap-img_wrap

其中，img_wrap、img_unwrap分别代表相位未缠绕和相位缠绕的光学图像；angle(x)代表x的相位；img_diff是未缠绕和缠绕的光学图像的差值；

步骤3所述的利用U-Net分割网络训练模型，具体实现如下：

先利用U-Net分割网络对光学相位缠绕图像进行分割并填写相位值，之后将分割并填写相位值的图像与光学相位缠绕图像进行相加得到最终的光学相位解缠绕的图像；具体如下：

将训练集上相位缠绕光学图像不同的相位分割成不同的区域，并按照需要叠加的整数倍从小到大进行排列作为Groudtruth；

把光学相位缠绕图像作为U-Net分割网络的输入，Groundtruth作为输出进行训练网络；具体的U-Net分割网络过程如下：首先进行Conv和Pooling进行下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合；然后再次上采样；重复这个过程，直到获得输出特征图，最后经过softmax获得输出分割结果；

由于解缠绕的过程能够理解为就是将不同的相位分割出来，然后填写相应的相位值，而且填写的相位值为2π的整数倍；最后将填好的相位值和光学相位缠绕图像相加；整个过程如下公式所示：

其中，(x,y)代表图像中像素点的坐标；φ(x,y)代表该像素点相位未缠绕图像的数值；代表该像素点相位缠绕图像的数值；k(x,y)代表该像素点需要叠加2π的倍数；

步骤4所述的利用训练好的模型进行光学相位缠绕图像解缠绕，具体实现如下：

根据步骤3获取的网络进行光学相位缠绕图像的解缠绕；具体为把光学相位缠绕图像作为网络的输入，网络输出按需要叠加的整数倍从小到大进行排列的分割图，之后从0开始填好相应的相位值，最后和缠绕相位相叠加，得到最终的光学相位解缠绕图像。