CN109886880A - 一种基于U-Net分割网络的光学图像相位解缠绕方法 - Google Patents

一种基于U-Net分割网络的光学图像相位解缠绕方法 Download PDF

Info

Publication number
CN109886880A
CN109886880A CN201910003354.4A CN201910003354A CN109886880A CN 109886880 A CN109886880 A CN 109886880A CN 201910003354 A CN201910003354 A CN 201910003354A CN 109886880 A CN109886880 A CN 109886880A
Authority
CN
China
Prior art keywords
phase
image
optical
optical imagery
winding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910003354.4A
Other languages
English (en)
Other versions
CN109886880B (zh
Inventor
颜成钢
张腾
张永兵
李志胜
陈立鑫
孙垚棋
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910003354.4A priority Critical patent/CN109886880B/zh
Publication of CN109886880A publication Critical patent/CN109886880A/zh
Application granted granted Critical
Publication of CN109886880B publication Critical patent/CN109886880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于U‑Net分割网络的光学图像相位解缠绕方法。本发明包括如下步骤:步骤1、利用Zernike多项式产生相位未缠绕的光学图像;步骤2、利用相位未缠绕的光学图像进行相位缠绕操作,得到相位缠绕图像;步骤3、利用U‑Net分割网络训练模型;步骤4、利用训练好的模型进行光学图像相位解缠绕。本发明利用了U‑Net分割网络,该方法的针对性很强,主要针对于光学图像的相位解缠绕。在光学成像研究领域有着很大的应用前景,且本发明提出的基于U‑Net分割网络的相位解缠绕方法,像素分割准确率很高,从而求解准确率也很高。同时在CPU i5‑8600K和GPU NVIDIA TITAN Xp的环境下,求解时间只需0.037秒。

Description

一种基于U-Net分割网络的光学图像相位解缠绕方法
技术领域
本发明属于图像相位解缠绕领域,尤其针对光学图像,具体涉及一种基于U-Net分割网络的光学图像相位解缠绕方法。
背景技术
很多时候光学成像得到的信号是复数形式,包含了幅度值和相位值。但从复数信号中提取真实相位时,相位值会被限制在[-π,π]的区间内,位于该区间外的真实相位被缠绕到这一区间内。此现象称为相位缠绕,得到的相位称为缠绕相位。从缠绕相位中得到真实的相位称为相位解缠绕。
现有的相位解缠绕方法主要有以下三种。第一种方法是基于离散粒子群优化算法的枝切线法。这种方法先将整幅图像的残差分成几组;在每组内使用离散粒子群优化算法对正负极性残差进行配对;用枝切线连接每组内配好对的正负极性残差;最后绕过这些枝切线进行相位解缠。第二种相位解缠方法是基于直接求解法的加权最小Lp范数法。它将整个相位图像的解缠相位梯度与缠绕相位梯度之间差值的加权Lp范数作为优化目标函数;将这个目标函数转化成一个方程组,其系数矩阵采用稀疏结构储存和表达;最后使用直接求解法求解方程组。由于方程组的系数矩阵与解缠相位有关,因此采取迭代方式得到最终的解缠结果。第三种方法是基于掩码的区域增长法。这种方法采用一种新的掩码提取方式将残差合理地连接起来作为掩码中的零点;将掩码与相位导数方差结合构成最终的质量图,这样连接残差经过的点均被当成零质量(也就是质量最差)的点,会被滞留到最后才被相位解缠;接着根据质量图将整幅图像分成多个区域,在每个区域内单独进行相位解缠,其中质量最差的那个区域从多个方向进行相位加权平均;最后将多个区域融合在一起。然而上述方法面临求解速度慢、求解精度差、鲁棒性不足的缺点。因此本发明提出了一种新的基于U-Net分割网络的光学图像相位解缠绕方法。
发明内容
本发明主要考虑随着光学成像技术的发展,越来越多应用到了成像信号中相位的信息。如何更好的解决光学相位的解缠绕是值得探讨的问题。本发明针对由Zernike多项式产生的光学图像进行了相位解缠绕研究。具体按照以下步骤实施:
步骤1、利用Zernike多项式产生相位未缠绕的光学图像
像差是指光学系统中的成像缺陷。几何光学上把像差分为单色光像差和色光像差,前者包括球差、彗差、像散、场曲和畸变,后者包括位置色差和倍率色差;而物理光学上把像差称之为波前像差或波阵面像差,即是点光源发出的球面波经光学系统后形成的波形与理想球面波之间的距离。波前像差可以通过Zernike多项式周期表或球差、彗差等几何像差来表达。
Zernike在1934年引入了一组定义在单位圆上的复值函数集{Vpq(x,y)},{Vpq(x,y)}具有完备性和正交性,使得它可以表示定义在单位圆盘内的任何平方可积函数。其定义为:
Vpq(x,y)=Vpq(ρ,θ)=Rpq(ρ)ejqθ
其中,ρ表示原点到点(x,y)的矢量长度;θ表示矢量长度,ρ与x轴逆时针方向的夹角;Rpq(ρ)是实值径向多项式:
称为Zernike多项式,Zernike多项式满足正交性。由于Zernike多项式的正交完备性,所以在单位圆内的任何图像都可以唯一的表示。由于Zernike多项式和光学检测中观测到的像差多项式的形式是一致的,因而常用Zernike描述波前特性。
因此,在本发明中我们利用Zernike多项式产生相位未缠绕的光学图像。
步骤2、利用未缠绕的光学图像进行相位缠绕操作,得到相位缠绕图像;
通过步骤1之后,我们得到了一批未缠绕的与实验类似的光学图像。紧接着我们通过以下公式得到相应的相位缠绕图像以及两者的差值。
imgdiff=imgunwrap-imgwrap
其中,imgwrap、imgunwrap分别代表相位未缠绕和相位缠绕的光学图像;angle(x)代表x的相位;imgdiff是未缠绕和缠绕的光学图像的差值。
步骤3、利用U-Net分割网络训练模型
U-Net是原作者参加ISBI Challenge提出的一种分割网络,能够适应很小的训练集。整个U-Net网络结构类似于一个大大的U字母:首先进行Conv和Pooling进行下采样;然后Deconv反卷积进行上采样,crop之前的低层feature map,进行融合;然后再次上采样。重复这个过程,直到获得输出特征图,最后经过softmax获得输出分割结果。
由于解缠绕的过程可以理解为就是将不同的相位分割出来,然后填写相应的相位值,而且填写的相位值为2π的整数倍。最后将填好的相位值和光学相位缠绕图像相加。整个过程如下公式所示:
其中,(x,y)代表图像中像素点的坐标;φ(x,y)代表该像素点相位未缠绕图像的数值;代表该像素点相位缠绕图像的数值;k(x,y)代表该像素点需要叠加2π的倍数,为整数。
所以本发明采用了先利用U-Net分割网络对光学缠绕图像进行分割并填写相位值,分割并填写相位值之后的图像与光学相位缠绕图像进行相加得到最终的光学相位解缠绕的图像。具体如下,我们把训练集上光学相位缠绕图像不同的相位分割成不同的区域,并按照需要叠加的整数倍从小到大进行排列作为我们的Groudtruth。之后把光学相位缠绕图像作为U-Net分割网络的输入,Groundtruth作为输出进行训练网络。本发明的模型采用了交叉熵作为损失函数。
步骤4、利用训练好的模型进行光学解缠绕
本发明利用了步骤3训练结果得到的网络进行了保存。之后我们利用了上述保存结果进行了光学相位缠绕图像的解缠绕。具体为把光学相位缠绕图像作为网络的输入,网络输出按需要叠加的整数倍从小到大进行排列的分割图,之后从0开始填好相应的相位值,最后和光学相位缠绕图像相叠加,得到最终的光学相位解缠绕图像。在我们的实验结果中,我们发现模型的预测结果准确性和求解速度相对于传统的光学相位缠绕图像解缠绕算法都有了很大的改进。
本发明方法具有的优点及有益结果为:
1、本发明提出了一种新的光学相位缠绕图像解缠绕的方法。该方法利用了U-Net分割网络,该方法的针对性很强,主要针对于光学图像的相位解缠绕。在光学成像研究领域有着很大的应用前景。
2、本发明提出的基于U-Net分割网络的光学相位解缠绕方法,像素分割准确率很高,从而求解准确率也很高。同时在CPUi5-8600K和GPU NVIDIA TITANXp的环境下,求解时间只需0.037秒。
附图说明
图1(a)为Zernike多项式产生的相位没有缠绕的光学图像,
图1(b)是相应的相位缠绕的光学图像;
图1(c)是相位未缠绕图像的分割图像;
图2是本发明的U-Net网络结构图;
图3(a)为相位缠绕的光学图像,
图3(b)为预测的相位缠绕图像的不同相位分割图;
图3(c)为预测的相位缠绕的光学图像;
图3(d)为相应的真实的相位未缠绕的光学图像。
具体实施方式
下面结合具体实施方式对本发明进行详细的说明。
本发明提出基于残差卷积神经网络的光学图像相位解缠绕方法,按照以下步骤实施。
步骤1、利用Zernike多项式产生相位未缠绕的光学图像
像差是指光学系统中的成像缺陷。几何光学上把像差分为单色光像差和色光像差,前者包括球差、彗差、像散、场曲和畸变,后者包括位置色差和倍率色差;而物理光学上把像差称之为波前像差或波阵面像差,即是点光源发出的球面波经光学系统后形成的波形与理想球面波之间的距离。波前像差可以通过Zernike多项式周期表或球差、彗差等几何像差来表达。
Zernike在1934年引入了一组定义在单位圆上的复值函数集{Vpq(x,y)},{Vpq(x,y)}具有完备性和正交性,使得它可以表示定义在单位圆盘内的任何平方可积函数。其定义为:Vpq(x,y)=Vpq(ρ,θ)=Rpq(ρ)ejqθ
其中,ρ表示原点到点(x,y)的矢量长度;θ表示矢量ρ与x轴逆时针方向的夹角;Rpq(ρ)是实值径向多项式:
称为Zernike多项式,Zernike多项式满足正交性。由于Zernike多项式的正交完备性,所以在单位圆内的任何图像都可以唯一的表示。由于Zernike多项式和光学检测中观测到的像差多项式的形式是一致的,因而常用Zernike描述波前特性。
因此,在本发明中我们利用Zernike多项式产生相位未缠绕的光学图像。
步骤2、利用未缠绕的光学图像进行相位缠绕操作,得到相位缠绕图像
通过步骤1之后,我们得到了一批未缠绕的与实验类似的光学图像。紧接着我们通过以下公式得到相应的相位缠绕图像以及两者的差值。
imgdiff=imgunwrap-imgwrap
其中,imgwrap、imgunwrap分别代表未缠绕和缠绕的光学图像;angle(x)代表x的相位;imgdiff是未缠绕和缠绕的光学图像的差值。
步骤3、利用U-Net分割网络训练模型
U-Net是原作者参加ISBI Challenge提出的一种分割网络,能够适应很小的训练集。整个U-Net网络结构类似于一个大大的U字母:首先进行Conv和Pooling进行下采样;然后Deconv反卷积进行上采样,crop之前的低层feature map,进行融合;然后再次上采样。重复这个过程,直到获得输出特征图,最后经过softmax获得输出分割结果。
由于解缠绕的过程可以理解为就是将不同的相位分割出来,然后填写相应的相位值,而且填写的相位值为2π的整数倍。最后将填好的相位值和光学相位缠绕图像相加。整个过程如下公式所示:
其中,(x,y)代表图像中像素点的坐标;φ(x,y)代表该像素点相位未缠绕图像的数值;代表该像素点相位缠绕图像的数值;k(x,y)代表该像素点需要叠加2π的倍数,为整数。
所以本发明采用了先利用U-Net分割网络对光学相位缠绕图像进行分割并填写相位值,之后与光学相位缠绕图像进行相加得到最终的光学相位解缠绕的图像。具体如下,我们把训练集上光学相位缠绕图像不同的相位分割成不同的区域,并按照需要叠加的整数倍从小到大进行排列作为我们的Groudtruth。之后把光学相位缠绕图像作为U-Net分割网络的输入,Groundtruth作为输出进行训练网络。本发明的模型采用了交叉熵作为损失函数。
步骤4、利用训练好的模型进行光学解缠绕
本发明利用了步骤3训练结果得到的网络进行了保存。之后我们利用了上述保存结果进行了光学相位缠绕图像的解缠绕。具体为把光学相位缠绕图像作为网络的输入,网络输出按需要叠加的整数倍从小到大进行排列的分割图,之后从0开始填好相应的相位值,最后和光学相位缠绕图像相叠加,得到最终的解缠绕图像。在我们的实验结果中,我们发现模型的预测结果准确性和求解速度相对于传统的光学相位缠绕图像解缠绕算法都有了很大的改进。
实施例
本发明所采用的实施例中训练集为类似于图1(a)、图1(b)和图1(c)所示的由Zernike多项式产生的光学图像。之后按照步骤2产生相应的相位缠绕图像。经过步骤3的模型训练之后,利用学习到的网络进行测试。最终测试结果如图3(a)、图3(b)、图3(c)和图3(d)所示。

Claims (1)

1.一种基于U-Net分割网络的光学图像相位解缠绕方法,其特征在于包括如下步骤:
步骤1、利用Zernike多项式产生相位未缠绕的光学图像;
步骤2、利用相位未缠绕的光学图像进行相位缠绕操作,得到相位缠绕光学图像;
步骤3、利用U-Net分割网络训练模型;
步骤4、利用训练好的模型进行光学相位缠绕图像解缠绕;
步骤1具体实现如下:
定义在单位圆上的复值函数集{Vpq(x,y)},{Vpq(x,y)}具有完备性和正交性:
Vpq(x,y)=Vpq(ρ,θ)=Rpq(ρ)ejqθ
其中,ρ表示原点到点(x,y)的矢量长度;θ表示矢量长度,ρ与x轴逆时针方向的夹角;Rpq(ρ)是实值径向多项式:
步骤2具体实现如下:
将步骤1获取的光学图像,通过以下公式得到相应的相位缠绕图像以及两者的差值;
imgdiff=imgunwrap-imgwrap
其中,imgwrap、imgunwrap分别代表相位未缠绕和相位缠绕的光学图像;angle(x)代表x的相位;imgdiff是未缠绕和缠绕的光学图像的差值;
步骤3所述的利用U-Net分割网络训练模型,具体实现如下:
先利用U-Net分割网络对光学相位缠绕图像进行分割并填写相位值,之后将分割并填写相位值的图像与光学相位缠绕图像进行相加得到最终的光学相位解缠绕的图像;具体如下:
将训练集上相位缠绕光学图像不同的相位分割成不同的区域,并按照需要叠加的整数倍从小到大进行排列作为Groudtruth;
把光学相位缠绕图像作为U-Net分割网络的输入,Groundtruth作为输出进行训练网络;具体的U-Net分割网络过程如下:首先进行Conv和Pooling进行下采样;然后Deconv反卷积进行上采样,crop之前的低层feature map,进行融合;然后再次上采样;重复这个过程,直到获得输出特征图,最后经过softmax获得输出分割结果;
由于解缠绕的过程能够理解为就是将不同的相位分割出来,然后填写相应的相位值,而且填写的相位值为2π的整数倍;最后将填好的相位值和光学相位缠绕图像相加;整个过程如下公式所示:
其中,(x,y)代表图像中像素点的坐标;φ(x,y)代表该像素点相位未缠绕图像的数值;代表该像素点相位缠绕图像的数值;k(x,y)代表该像素点需要叠加2π的倍数;
步骤4所述的利用训练好的模型进行光学相位缠绕图像解缠绕,具体实现如下:
根据步骤3获取的网络进行光学相位缠绕图像的解缠绕;具体为把光学相位缠绕图像作为网络的输入,网络输出按需要叠加的整数倍从小到大进行排列的分割图,之后从0开始填好相应的相位值,最后和缠绕相位相叠加,得到最终的光学相位解缠绕图像。
CN201910003354.4A 2019-01-03 2019-01-03 一种基于U-Net分割网络的光学图像相位解缠绕方法 Active CN109886880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910003354.4A CN109886880B (zh) 2019-01-03 2019-01-03 一种基于U-Net分割网络的光学图像相位解缠绕方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910003354.4A CN109886880B (zh) 2019-01-03 2019-01-03 一种基于U-Net分割网络的光学图像相位解缠绕方法

Publications (2)

Publication Number Publication Date
CN109886880A true CN109886880A (zh) 2019-06-14
CN109886880B CN109886880B (zh) 2021-02-26

Family

ID=66925574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910003354.4A Active CN109886880B (zh) 2019-01-03 2019-01-03 一种基于U-Net分割网络的光学图像相位解缠绕方法

Country Status (1)

Country Link
CN (1) CN109886880B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942453A (zh) * 2019-11-21 2020-03-31 山东众阳健康科技集团有限公司 一种基于神经网络的ct影像肺叶识别方法
CN111461224A (zh) * 2020-04-01 2020-07-28 西安交通大学 一种基于残差自编码神经网络的相位数据解包裹方法
CN111812647A (zh) * 2020-07-11 2020-10-23 桂林电子科技大学 一种用于干涉合成孔径雷达相位解缠方法
CN112381172A (zh) * 2020-11-28 2021-02-19 桂林电子科技大学 一种基于U-net的InSAR干涉图像相位解缠方法
CN112748089A (zh) * 2019-10-31 2021-05-04 北京理工大学 多普勒光学相干层析成像中的相位解缠绕方法及装置
CN113129295A (zh) * 2021-04-28 2021-07-16 桂林电子科技大学 全尺度连接的深度学习相位展开方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869290A (zh) * 2014-03-20 2014-06-18 西安电子科技大学 基于大规模数据加权枝切线的相位解缠绕方法
US20180341023A1 (en) * 2013-09-05 2018-11-29 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341023A1 (en) * 2013-09-05 2018-11-29 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging
CN103869290A (zh) * 2014-03-20 2014-06-18 西安电子科技大学 基于大规模数据加权枝切线的相位解缠绕方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GILI ET AL.: ""Phase Unwrapping Using Residual Neural Networks"", 《COMPUTATIONAL OPTICAL SENSING AND IMAGING》 *
MANUEL ET AL.: ""Temporal phase-unwrapping of static surface with 2-sensitivity fringe-patterns"", 《OPTICS EXPRESS》 *
NARUTO_Q: ""相差与zernike多项式"", 《CSDN》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748089A (zh) * 2019-10-31 2021-05-04 北京理工大学 多普勒光学相干层析成像中的相位解缠绕方法及装置
CN110942453A (zh) * 2019-11-21 2020-03-31 山东众阳健康科技集团有限公司 一种基于神经网络的ct影像肺叶识别方法
CN111461224A (zh) * 2020-04-01 2020-07-28 西安交通大学 一种基于残差自编码神经网络的相位数据解包裹方法
CN111461224B (zh) * 2020-04-01 2022-08-16 西安交通大学 一种基于残差自编码神经网络的相位数据解包裹方法
CN111812647A (zh) * 2020-07-11 2020-10-23 桂林电子科技大学 一种用于干涉合成孔径雷达相位解缠方法
CN112381172A (zh) * 2020-11-28 2021-02-19 桂林电子科技大学 一种基于U-net的InSAR干涉图像相位解缠方法
CN113129295A (zh) * 2021-04-28 2021-07-16 桂林电子科技大学 全尺度连接的深度学习相位展开方法

Also Published As

Publication number Publication date
CN109886880B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN109886880A (zh) 一种基于U-Net分割网络的光学图像相位解缠绕方法
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110441271B (zh) 基于卷积神经网络的光场高分辨解卷积方法及系统
CN109712109A (zh) 一种基于残差卷积神经网络的光学图像相位解缠绕方法
Tang et al. RestoreNet: a deep learning framework for image restoration in optical synthetic aperture imaging system
CN109410114B (zh) 基于深度学习的压缩感知图像重建算法
CN110675326A (zh) 基于U-Net网络的计算鬼成像重建恢复的方法
CN104700440B (zh) 磁共振部分k空间图像重建方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN114331842B (zh) 结合地形特征的dem超分辨率重建方法
CN110838085A (zh) 一种图像的超分辨率重建方法、装置及电子设备
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN115293995A (zh) 一种基于Transformer的点云逐点去噪方法
CN109949321B (zh) 基于三维Unet网络的脑部核磁共振图像组织分割方法
CN115311184A (zh) 基于半监督深度神经网络的遥感图像融合方法及系统
CN114972570A (zh) 图像重建方法及设备
CN112950736B (zh) 一种基于无监督网络解色散模糊的高光谱成像方法
Luo et al. Correcting optical aberration via depth-aware point spread functions
CN116704332A (zh) 一种蓝藻水华检测方法、装置及计算设备集群
CN116051532A (zh) 基于深度学习的工业零件缺陷检测方法、系统及电子设备
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN113723516B (zh) 基于神经网络的摩尔纹去除方法、装置、设备及介质
CN115393682A (zh) 目标检测方法、装置、电子设备及介质
CN112785498B (zh) 一种基于深度学习的病理图像超分建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant