CN110378367B - 用于相位展开的生成式对抗网络的获取方法、装置及系统 - Google Patents
用于相位展开的生成式对抗网络的获取方法、装置及系统 Download PDFInfo
- Publication number
- CN110378367B CN110378367B CN201910486859.0A CN201910486859A CN110378367B CN 110378367 B CN110378367 B CN 110378367B CN 201910486859 A CN201910486859 A CN 201910486859A CN 110378367 B CN110378367 B CN 110378367B
- Authority
- CN
- China
- Prior art keywords
- phase
- network
- generative
- map
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种用于相位展开的生成式对抗网络的获取方法、装置,一种使用该网络展开相位的方法,以及一种计算机可读存储介质和一种系统。其中,所述网络获取方法包括:获取相位折叠图;使用所述生成式对抗网络中的生成式网络生成相位展开图;获取真实相位展开图;合并生成的相位展开图和真实相位展开图;使用所述生成式对抗网络中的判别式网络对合并结果进行真伪判别,以得到分类器;当对应像素值为真的概率与对应像素值为伪的概率不同时,根据所述分类器的像素值计算所述生成式网络的损失值,并优化所述生成式对抗网络的模型参数;以及重复上述步骤直到对应像素值为真的概率与对应像素值为伪的概率相同。
Description
技术领域
本发明涉及相位展开领域,尤其涉及一种用于相位展开的生成式对抗网络的获取方法、装置,一种基于生成式对抗网络的相位展开方法,以及一种计算机可读存储介质和一种生成式对抗网络系统。
背景技术
物体三维形貌的快速测量在工业检测、航空航天、医学、文物、教育等行业应用广泛。针对实现物体三维形貌的快速测量,现在主流的方法是利用非接触式测量方式,其中相位测量轮廓术是目前比较成熟的方法。在相位测量轮廓领域,相位展开结果的质量直接影响测量结果的准确性,因此相位展开技术起着重要作用。
求解相位最常用的方法是傅里叶变换法和相移法,其中最核心且最困难的环节就是如何高速、高精度的得到相位展开图。傅里叶法可以从一幅条纹图中解调出相位信息,但由于其计算原理本身的限制,对于如何准确提取载波的频谱始终是一个难题,并且计算耗时也是傅里叶变换法的一个固有问题。相移法使用多幅相位图进行测量,但多幅图像并不适合于快速测量,更不能完成动态测量。然而,近年来,相位展开算法并没有取得突破性进展。
发明内容
鉴于此,本发明提出了一种使用深度学习模式的生成式对抗网络的获取方法、装置以用于相位展开,在此基础上还提出了一种基于上述生成式对抗网络的相位展开方法,以及一种计算机可读存储介质和生成式对抗网络系统。
具体地,根据本发明的第一方面,本发明提出了一种用于相位展开的生成式对抗网络的获取方法,所述方法包括如下步骤:
获取相位折叠图;
使用所述生成式对抗网络中的生成式网络生成所述相位折叠图的相位展开图;
获取所述相位折叠图的真实相位展开图;
合并所述生成式网络生成的相位展开图和所述真实相位展开图;
使用所述生成式对抗网络中的判别式网络对合并结果进行真伪判别,以得到与所述合并结果尺寸相同的分类器,其中所述分类器的每个像素值为实数,并且所述分类器的每个像素值表示所述生成的相位展开图中的对应像素值为真的概率;
当所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率不同时,根据所述分类器的像素值计算所述生成式网络的损失值,并根据所述损失值优化所述生成式对抗网络的模型参数;以及
重复所述生成、合并、判别、计算和优化的步骤,直到所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率相同,以得到用于相位展开的生成式对抗网络。
根据本发明的第二方面,本发明提出了一种基于生成式对抗网络的相位展开方法,所述方法包括如下步骤:
使用本发明上述第一方面所述的方法得到用于相位展开的生成式对抗网络;
获取待展开的相位折叠图;以及
使用所述生成式对抗网络的生成式网络生成所述待展开的相位折叠图的相位展开图。
根据本发明的第三方面,本发明提出了一种用于相位展开的生成式对抗网络的获取装置,所述装置包括:
第一获取模块,其配置为获取相位折叠图;
生成模块,其配置为使用所述生成式对抗网络中的生成式网络生成所述相位折叠图的相位展开图;
第二获取模块,其配置为获取所述相位折叠图的真实相位展开图;
合成模块,其配置为合并所述生成式网络生成的相位展开图和所述真实相位展开图;
判别模块,其配置为使用所述生成式对抗网络中的判别式网络对合并结果进行真伪判别,以得到与所述合并结果尺寸相同的分类器,其中所述分类器的每个像素值为实数,并且所述分类器的每个像素值表示所述生成的相位展开图中的对应像素值为真的概率;以及
优化模块,其配置为当所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率不同时,根据所述分类器的像素值计算所述生成式网络的损失值,并根据所述损失值优化所述生成式对抗网络的模型参数;
其中,所述生成模块、所述合并模块、所述判别模块和所述优化模块所执行的操作被重复执行,直到所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率相同,以得到用于相位展开的生成式对抗网络。
根据本发明的第四方面,本发明提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实施本发明上述第一方面或第二方面所述方法的步骤。
根据本发明的第五方面,本发明提出了一种生成式对抗网络系统,所述生成式对抗网络系统包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实施本发明上述第一方面或第二方面所述方法的步骤。
技术效果
本发明所提出的方法既可以使用所述生成式对抗网络中的生成式网络生成条纹图的整体相位展开图,也可以生成只带有待测物体高度信息的相位差分布图。并且,本发明所提出的方法、装置可以从一幅相位折叠图中获得相位展开图,同时所获得的相位展开图具有足够的精度,并且也能够抵抗频率和阴影等噪声的影响,有效抑制相位展开中的“拉线”现象。
本发明所提出的方法解决了传统相位展开方法需要多幅条纹图以及采用单幅条纹图进行相位展开存在精度低等问题。本发明利用生成式对抗网络,实现了单幅条纹图的相位展开,同时在不需要参考条纹图的情况下,可以获得准确的相位展开图/相位差分布图,进而得到待测物体的三维形貌。
本发明还可以通过系统仿真生成大量条纹图来训练所述生成式对抗网络,解决了利用深度学习的方法需要获取大量数据的问题,并具有很好的泛化能力。进一步,本实施例的判别式网络使得所述生成式网络所生成的相位展开图无线接近于真实的相位展开图,从而保证了使用本实施例中方法生成相位展开图的精度。由于本实施例是一种深度学习模式,因此受实际测量系统的因素较小,从而解决了传统相位测量和相位展开过程中实施条件苛刻、很难实现高精度测量或在线测量或动态测量等问题,即只需要普通的投影仪和相机即可完成高精度测量或在线测量或动态测量。
附图说明
图1是相位测量轮廓术的原理示意图。
图2是根据本发明第一方面的一实施例所提供的一种用于相位展开的生成式对抗网络的获取方法的流程示意图。
图3是根据本发明第一方面的一实施例所提供的生成相位展开图的示意图。
图4是根据本发明第一方面的一实施例所提供的判断所述生成的相位展开图真伪的示意图。
图5是一实施例中模拟的有物体时的条纹图。
图6是另一实施例中模拟的有物体且带阴影噪声时的相位折叠图。
图7是图6的实施例中使用本发明第二方面所述的方法所得到的相位差分布图。
图8是图6的实施例中生成的相位展开图和真实相位展开图之间的误差示意图。
图9是图6的实施例中使用枝切法所得到的相位展开图。
图10是另一实施例中采集的有物体时的不同载频的条纹图。
图11是图10的实施例中使用相移法得到的相位差分布图。
图12是图10的实施例中使用本发明第二方面所述的方法所得到的相位差分布图。
图13示出了图12的相位展开图与图11的真实相位展开图之间的误差分布图。
图14示出了使用枝切法所生成的相位展开图与图11的真实相位展开图之间的误差分布图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,本发明说明书的实施例中各步骤的执行顺序应以其功能和内在逻辑确定,各步骤的撰写顺序不应对本发明实施例的实施过程构成任何限定。
本发明涉及相位测量轮廓和相位展开技术,因此有必要先简单介绍一下待测物体的高度与相位之间的关系。如图1所示,假设A是参考平面,投影仪向参考平面A投射条纹图,而后相机会采集参考平面A上的条纹图,其中条纹图中包含相位信息。在参考平面A上没有放置待测物体时,假设投影仪上一光束投射到参考平面A上的D点处且该光束由参考平面A上D点反射的光被相机接收,则当参考平面A上放置有待测物体时,投影仪上的同一光束投射到物体上B点处且该光束由物体上B点反射的光被相机接收。因此,由于待测物体B点处的高度h0的存在,使得相机的图像传感器的同一点所接收的条纹图从D点移到了C点,即相机的图像传感器的同一点所表示的相位从参考平面A上D点处的相位变成了C点处的相位。根据图1中的三角形相似关系,可以将物体上B点处的高度h0表示为如下:
其中h表示投影仪与参考平面之间的距离,d表示投影仪与相机之间的距离,f0是条纹图的载频,h、d和f0均是系统参数因此均是已知的。根据上述公式,被测物体的高度与相位差成正比,因此只要知道了相位差分布就可以获得待测物体的三维轮廓。
相机采集到的参考平面A上的条纹图可以表示为如下:
其中,(x,y)表示条纹图的像素坐标;A(x,y)为条纹图幅值;f0(x,y)为条纹图的载频分布;为条纹图的初始相位,其值的范围为(-2π,2π);是由被测物体高度引起的相位差分布。另外,相机采集到的条纹图的干涉图像的强度分布可表示为如下:
其中,a(x,y)是干涉图像的背景光强度;b(x,y)是干涉交替项;fx和fy分别是x方向和y方向上f0的分量;表示包含侧面的相位信息的相位分布,即条纹图的相位分布;*表示共轭。干涉图的光谱可以通过对上述方程(4)中空间变量x和y进行二维傅里叶变换获得:
I(f1,f2)=A(f1,f2)+C(f1-fx,f2-fy)+C*(f1+fx,f2+fy) (5)
其中,中心频率为(fx,fy)的滤波器用于分离正一阶谱C(f1-fx,f2-fy)并将其转换为原点。通过二维逆傅里叶变换和上述方程(4)可以获得c(x,y),于是,可以得到如下所示的条纹图的相位折叠图:
使用本发明所提出的一种用于相位展开的生成式对抗网络的获取方法以及一种基于所述生成式对抗网络的相位展开方法,可以对上述相位折叠图进行相位展开。
具体地,根据本发明第一方面的一实施例所提供的一种用于相位展开的生成式对抗网络的获取方法,如图2所示,所述方法可以包括步骤101、102、103、104、105、106和107。
在步骤101处,获取相位折叠图,其中,所述相位折叠图可以是通过系统模拟产生的相位折叠图,也可以是通过相机采集到的条纹图的真实相位折叠图,只要能够获得所述相位折叠图的精确相位展开图即可。
在步骤102处,使用所述生成式对抗网络中的生成式网络生成所述相位折叠图的相位展开图;
在步骤103处,获取所述相位折叠图的真实相位展开图,其中所述真实的相位展开图是步骤101中的相位折叠图的精确相位展开图。例如,若是利用仿真系统生成的条纹图,则可以通过上述公式(2)~(6)获得所述条纹图的相位展开图和相位折叠图。例如,若是通过实际系统的投影仪来投射条纹图并通过所述系统的相机来采集所述条纹图,则可以采用相移法来获得所述条纹图的真实相位展开图和相位折叠图。值得说明的是,若是通过实际的投射与采集方式来获得所述条纹图的真实相位展开图和相位折叠图,则可以采用任何可以获得无限接近所述条纹图的实际相位展开图的方法,本文对比不做任何限制。更值得说明的是,本发明对条纹图的生成方式不做限制,例如真实的或者模拟的。应该理解,所述步骤103可以在步骤101之前、与步骤101同步或者在步骤101之后,也可以在步骤102之前、与步骤102同步或者在步骤102之后。
在步骤104处,合并所述生成式网络生成的相位展开图和所述真实相位展开图。具体地,可以沿所述生成的相位展开图的特征图的深度方向来合并所述真实相位展开图。
在步骤105处,使用所述生成式对抗网络中的判别式网络对步骤104的合并结果进行真伪判别,以得到与所述合并结果尺寸相同的分类器,其中所述分类器的每个像素值为实数,并且所述分类器的每个像素值表示所述生成的相位展开图中的对应像素值为真的概率,也就是表示所述生成的相位展开图中的对应像素值接近所述真实相位展开图中的对应像素值的概率。
在步骤106处,当所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率不同时,根据所述分类器的像素值计算所述生成式网络的损失值,并根据所述损失值优化所述生成式对抗网络的模型参数。
在步骤107处,重复所述步骤102、104、105和106,直到所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率相同,以得到用于相位展开的生成式对抗网络。
值得说明的是,由上述公式(1)~(6)可知,既可以从条纹图中获得条纹图的整体相位分布,也可从条纹图中获得由被测物体高度引起的相位差分布,因此,在无特别说明的情况下,本实施例所提出的方法既可以使用所述生成式对抗网络中的生成式网络生成条纹图的整体相位展开图,也可以生成只带有待测物体高度信息的相位差分布图,这由使用本发明的用户的意图所决定。因此,本实施例中所指代的相位展开图可以是条纹图的整体相位展开图,也可以是只带有待测物体高度信息的相位差分布图,只要所述生成式网络所生成的相位展开图/相位差分布图与所获得的真实相位展开图/真实相位差分布图的类型一致即可。重点是,本发明所提出的方法、装置等可以从一幅相位折叠图中获得相位展开图,同时所获得的相位展开图具有足够的精度,并且也能够抵抗阴影等噪声的影响。
本发明的该实施例解决了传统相位展开方法需要多幅条纹图以及采用单幅条纹图进行相位展开存在精度低等问题。本实施例利用生成式对抗网络,实现了单幅条纹图的相位展开,同时在不需要参考条纹图的情况下,可以获得准确的相位展开图/相位差分布图,进而得到待测物体的三维形貌。另外,本实施例可以通过系统仿真生成大量条纹图来训练所述生成式对抗网络,解决了利用深度学习的方法需要获取大量数据的问题。进一步,本实施例的判别式网络使得所述生成式网络所生成的相位展开图无线接近于真实的相位展开图,从而保证了使用本实施例中方法生成相位展开图的精度。由于本实施例是一种深度学习模式,因此受实际测量系统的因素较小,从而解决了传统相位测量和相位展开过程中实施条件苛刻、很难实现高精度测量或在线测量或动态测量等问题,即只需要普通的投影仪和相机即可完成高精度测量或在线测量或动态测量。
根据本发明所提供的一种用于相位展开的生成式对抗网络的获取方法的一实施例中,其具有上述实施例的基本步骤,并在上述实施例的基础上,如图3所示,所述步骤102可以包括:
使用降采样卷积方式对所述相位折叠图进行编码,得到一系列尺寸不同的特征图;以及
使用反卷积方式对所述特征图进行解码,生成所述相位折叠图的相位展开图。
在本实施例中,所述生成式网络可以是多层感知的神经网络。
在本发明所提出的用于相位展开的生成式对抗网络的获取方法的一实施例中,可以当最小的特征图尺寸为1×1时,停止进行降采样卷积,然后再使用反卷积方式对所述特征图进行解码,生成所述相位折叠图的相位展开图。
在本发明所提出的用于相位展开的生成式对抗网络的获取方法的一实施例中,其具有上述实施例的基本步骤,并在上述实施例的基础上,如图4所示,所述步骤105可以包括:
在所述判别式网络中对所述合并结果进行多层卷积的操作,以得到与所述合并结果尺寸相同的分类器。
其中,在本实施例中,所述判别式网络也可以是多层感知的神经网络。其中,当判定所述生成的相位展开图的像素值为真时,所述分类器的对应像素值等于第一阈值,例如1;当判定所述生成的相位展开图的像素值为伪时,所述分类器的对应像素值等于第二阈值,例如0;当所述生成的相位展开图的像素值介于真伪之间时,所述分类器的对应像素值在第一阈值和第二阈值之间,例如0~1之间。本发明不对分类的标签值做具体限制,只要其能实现本发明的分类或者判别功能即可。
在本发明所提出的用于相位展开的生成式对抗网络的获取方法的一实施例中,其具有上述实施例的基本步骤。再次参考图2,若用G表示所述生成式网络,D表示所述判别式网络,x表示所述真实相位展开图,Pdata(x)表示所述真实相位展开图的数据分布,z表示所述相位折叠图,Pz(z)表示所述相位折叠图的数据分布,G(z,θg)表示所述判别式网络所生成的相位展开图,D(x,θd)表示x来自所述真实相位展开图的数据分布Pdata(x)而不是来自所述生成的相位展开图的数据分布PG(z,θg)的概率,D(G(z,θg),θd)表示z来自所述生成的相位展开图的数据分布PG(z,θg)而不是自所述真实相位展开图的数据分布Pdata(x)的概率,E表示取期望。则在上述实施例的基础上,所述步骤106可以包括:
建立如下式所示的所述生成式对抗网络的损失函数:
计算所述判别式网络的损失值logD(x,θd),通过使所述判别式网络的损失值最大化来优化所述判别式网络的模型参数θd;以及
固定所述判别式网络的参数θd,计算所述生成式网络的损失值log(1-D(G(z,θg),θd),通过使所述生成式网络的损失值最小化来优化所述生成式网络的模型参数θg。
在一实施例中,在训练判别式网络的过程中,如图4所示,可以保持特征图尺寸不变,即数据集中的所有图像具有相同的大小。作为本实施例的一种选择性训练,所述判别式网络的批次大小可以设置为32,即训练一次的输入图像的数量可以设置为32。
在本发明所提出的上述各方法实施例中,可以使用Adam优化器来优化所述生成式对抗网络的模型参数。
根据本发明所提出的一种基于生成式对抗网络的相位展开方法的一实施例,所述相位展开方法可以包括步骤201、202和203。
在步骤201处,使用上述生成式对抗网络的获取方法中任一实施例获得用于相位展开的生成式对抗网络,以获取所述生成式对抗网络中生成式网络的模型参数θg。
在步骤202处,获取待展开的相位折叠图,其中,所述相位折叠图可以是通过系统模拟产生的相位折叠图,也可以是通过相机采集到的条纹图的真实相位折叠图。
在步骤203处,使用所述生成式网络生成所述待展开的相位折叠图的相位展开图。在该步骤中,可以将步骤202中的相位折叠图映射至所述生成式网络中,以生成所述待展开的相位折叠图的相位展开图。
同样地,本实施例所提出的方法既可以使用所述生成式对抗网络中的生成式网络生成条纹图的整体相位展开图,也可以生成只带有待测物体高度信息的相位差分布图,这由使用本发明的用户的意图所决定。因此,本实施例中所指代的相位展开图可以是条纹图的整体相位展开图,也可以是只带有待测物体高度信息的相位差分布图,只要所述生成式网络所生成的相位展开图/相位差分布图与所获得的真实相位展开图/真实相位差分布图的类型一致即可。重点是,本实施例的方法可以从一幅相位折叠图中获得相位展开图,同时所获得的相位展开图具有足够的精度,并且也能够抵抗阴影等噪声的影响。
本发明的该实施例解决了传统相位展开方法需要多幅条纹图以及采用单幅条纹图进行相位展开存在精度低等问题。本实施例利用生成式对抗网络,实现了单幅条纹图的相位展开,同时在不需要参考条纹图的情况下,可以获得准确的相位展开图/相位差分布图,进而得到待测物体的三维形貌。由于本实施例是一种深度学习模式,因此受实际测量系统的因素较小,从而解决了传统相位测量和相位展开过程中实施条件苛刻、很难实现高精度测量或在线测量或动态测量等问题,即只需要普通的投影仪和相机即可完成高精度测量或在线测量或动态测量。
为了更好的说明本发明的方法是如何实现的,以下通过一具体实施方式来对本发明的方法进行进一步的说明。例如,在一实施方式中,可以预先模拟一具有跳跃高度的物体,因此由上述公式(1)可以模拟出该物体的相位差分布其如图5(a)所示。通过上述公式(2),可以将该物体的相位差分布融合进无该物体时的初始条纹图中,得到如图5(b)所示的变形条纹图。由于是模拟的条纹图,其模拟的系统参数和初始条纹图的参数均是已知的,则可以通过上式(3)~(6)得到变形条纹图的折叠相位图。为了更好地突出本发明方法的效果,在得到的变形条纹图的折叠相位图中添加了阴影噪声,所得到的受噪声干扰的相位折叠图如图6所示。在本实施方式中,将图6所示的折叠相位图用作所述生成式网络的输入数据以生成相位展开图,将图5(b)的变形条纹图的相位展开图作为真实相位展开图像与所生成的相位展开图进行合并,并使用所述判别式网络对合并结果进行真伪判别。在本实施方式中,使用时间相位法生成的相位展开图用作真实的相位展开图。其中,使用所述生成式网络生成所述相位展开图实际上是学习数据分发的过程。当生成式网络所生成的图像和真实图像合并用作判别式网络的输入数据时,判别式网络将每个像素分为第一类,例如标记为0;当两幅真实图像合并用作判别器的输入数据时,判别式网络将每个像素分为第二类,例如标记为1,这改善了判别式网络判断正确的相位差图像和错误的相位差图像的概率,从而指导生成式网络更新数据。在该实施方式中,在训练过程中可以采用动态学习率的优化方法。例如,当优化时迭代次数小于5000时,学习率可以设置为0.001,当优化时迭代次数超过5000时,学习率可以设置为0.0001。总之,在早期训练中可以使用更高的学习率来加速网络的收敛并提高训练速度,而在后期训练中可以使用稍低的学习率来提高训练精度。在该实施方式中,为了稳定训练过程,在训练所述生成式对抗网络时可以对输入数据进行归一化。例如,对每层的输入数据进行归一化(平均值为0,标准差为1),从而使数据分布稳定。在该实施方式中,所述训练过程可以在高性能计算机上进行,例如Intel Core i7、Tatan XP、Ubuntu操作系统和TensorFlow深入学习框架。通过本实施方式生成的相位展开图如图7所示,图8显示了在训练过程中生成的相位展开图和真实相位展开图之间的均方误差。可以看出,所生成的相位展开图的相位差误差为0.002。然而,使用枝切法对图6所示的相位折叠图进行相位展开,得到的结果如图9所示。可见,传统的枝切法不能准确地展开具有阴影的图像,而本发明的生成式对抗网络可以成功地展开并计算相位差,且获得与无阴影图像相同的精度。
由于以上为系统模拟的结果,为了更好的说明本发明的方法是如何实现的,以下通过另一具体实施方式来对本发明的方法进行进一步的说明。在本实施方式中,通过向参考平台投射如图10所示的不同载频的条纹图(即条纹图具有不同的周期,周期的单位可以是,例如,像素),并使用相移法生成的相位差分布图如图11所示,令图11作为真实相位展开图。使用本发明方法所生成的相位展开图如图12所示,可见本发明在减少系统复杂度、计算复杂度、条纹图数量等的前提下仍然可以进行单幅相位图的相位展开。进一步,图13示出了使用本发明方法所生成的相位展开图与真实相位展开图之间的差值,图14示出了使用枝切法所生成的相位展开图与真实相位展开图之间的差值。从图13和图14中可见本发明的相位展开方法可以抑制阴影对相位展开的影响,而传统的枝切法因受到阴影的影响而无法正确展开相位,同时本发明的相位展开方法仅在目标边缘存在些许误差但在其他像素位置误差较小,而枝切法由于阴影的影响在多个像素位置的误差都很大。根据本发明一种用于相位展开的生成式对抗网络的获取装置的一实施例,所述装置可以包括:
第一获取模块,其配置为获取相位折叠图;
生成模块,其配置为使用所述生成式对抗网络中的生成式网络生成所述相位折叠图的相位展开图;
第二获取模块,其配置为获取所述相位折叠图的真实相位展开图;
合成模块,其配置为合并所述生成式网络生成的相位展开图和所述真实相位展开图;
判别模块,其配置为使用所述生成式对抗网络中的判别式网络对合并结果进行真伪判别,以得到与所述合并结果尺寸相同的分类器,其中所述分类器的每个像素值为实数,并且所述分类器的每个像素值表示所述生成的相位展开图中的对应像素值为真的概率;以及
优化模块,其配置为当所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率不同时,根据所述分类器的像素值计算所述生成式网络的损失值,并根据所述损失值优化所述生成式对抗网络的模型参数;
其中,所述生成模块、所述合并模块、所述判别模块和所述优化模块所执行的操作被重复执行,直到所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率相同,以得到用于相位展开的生成式对抗网络。
本发明的装置实施例所实施的步骤与上述方法实施例相对应,在此不再累赘陈述。并且本发明的装置可以实现上述各方法实施例的步骤。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实施例的模块和/或方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。值得说明的是,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些模块中的特征可以忽略,或不执行。
在本发明的一实施例中,所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述方法实施例中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,且所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
在本发明的一种生成式对抗网络系统的各实施例中,所述生成式对抗网络系统包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,且所述处理器执行所述计算机程序时可以实施上述各方法实施例的步骤。
在上述系统实施例中,示例性的,所述计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序的执行过程。示例性的,所述处理器可以是中央处理单元,也可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。示例性的,所述存储器可以是内部存储单元,例如硬盘或内存,也可以是外部存储设备,例如配备的插接式硬盘、智能存储卡、安全数字卡、闪存卡等。示例性的,所述存储器还可以既包括内部存储单元也包括外部存储设备。示例性的,所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。另外,用于描述本发明各实施例的附图中所使用的尺寸,例如图像的大小等数字,仅用作示意说明,而并不意在限制本发明的使用范围。
以上实施例仅用以说明本发明的技术方案,而非对其限制。尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种用于相位展开的生成式对抗网络的获取方法,其特征在于,所述方法包括如下步骤:
获取相位折叠图;
使用所述生成式对抗网络中的生成式网络生成所述相位折叠图的相位展开图;
获取所述相位折叠图的真实相位展开图;
合并所述生成式网络生成的相位展开图和所述真实相位展开图;
使用所述生成式对抗网络中的判别式网络对合并结果进行真伪判别,以得到与所述合并结果尺寸相同的分类器,其中所述分类器的每个像素值为实数,并且所述分类器的每个像素值表示所述生成的相位展开图中的对应像素值为真的概率;
当所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率不同时,根据所述分类器的像素值计算所述生成式网络的损失值,并根据所述损失值优化所述生成式对抗网络的模型参数;以及
重复所述生成、合并、判别、计算和优化的步骤,直到所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率相同,以得到用于相位展开的生成式对抗网络。
2.根据权利要求1所述的方法,其特征在于,所述使用所述生成式对抗网络中的生成式网络生成所述相位折叠图的相位展开图的步骤包括:
使用降采样卷积方式对所述相位折叠图进行编码,得到一系列尺寸不同的特征图;以及
使用反卷积方式对所述特征图进行解码,生成所述相位折叠图的相位展开图。
3.根据权利要求2所述的方法,其特征在于,当最小的特征图尺寸为1×1时,停止进行降采样卷积。
4.根据权利要求1所述的方法,其特征在于,所述使用所述生成式对抗网络中的判别式网络对合并结果进行真伪判别的步骤包括:
在所述判别式网络中对所述合并结果进行多层卷积的操作,以得到与所述合并结果尺寸相同的分类器,
其中,当判定所述生成的相位展开图的像素值为真时,所述分类器的对应像素值等于第一阈值,当判定所述生成的相位展开图的像素值为伪时,所述分类器的对应像素值等于第二阈值,当所述生成的相位展开图的像素值介于真伪之间时,所述分类器的对应像素值在第一阈值和第二阈值之间。
5.根据权利要求1所述的方法,其特征在于,所述根据所述分类器的像素值计算所述生成式网络的损失值并根据所述损失值优化所述生成式对抗网络的模型参数的步骤包括:
建立如下式所示的所述生成式对抗网络的损失函数:
其中,G表示所述生成式网络,D表示所述判别式网络,x表示所述真实相位展开图,Pdata(x)表示所述真实相位展开图的数据分布,z表示所述相位折叠图,Pz(z)表示所述相位折叠图的数据分布,G(z,θg)表示所述生成的相位展开图,D(x,θd)表示x来自所述真实相位展开图的数据分布Pdata(x)而不是来自所述生成的相位展开图的数据分布PG(z,θg)的概率,D(G(z,θg),θd)表示z来自所述生成的相位展开图的数据分布PG(z,θg)而不是自所述真实相位展开图的数据分布Pdata(x)的概率,E表示取期望;
计算所述判别式网络的损失值logD(x,θd),通过使所述判别式网络的损失值最大化来优化所述判别式网络的模型参数θd;以及
固定所述判别式网络的参数θd,计算所述生成式网络的损失值log(1-D(G(z,θg),θd),通过使所述生成式网络的损失值最小化来优化所述生成式网络的模型参数θg。
6.根据权利要求1所述的方法,其特征在于,使用Adam优化器来优化所述生成式对抗网络的模型参数。
7.一种基于生成式对抗网络的相位展开方法,其特征在于,所述方法包括如下步骤:
使用权利要求1所述的方法得到用于相位展开的生成式对抗网络;
获取待展开的相位折叠图;以及
使用所述生成式对抗网络的生成式网络生成所述待展开的相位折叠图的相位展开图。
8.一种用于相位展开的生成式对抗网络的获取装置,其特征在于,所述装置包括:
第一获取模块,其配置为获取相位折叠图;
生成模块,其配置为使用所述生成式对抗网络中的生成式网络生成所述相位折叠图的相位展开图;
第二获取模块,其配置为获取所述相位折叠图的真实相位展开图;
合成模块,其配置为合并所述生成式网络生成的相位展开图和所述真实相位展开图;
判别模块,其配置为使用所述生成式对抗网络中的判别式网络对合并结果进行真伪判别,以得到与所述合并结果尺寸相同的分类器,其中所述分类器的每个像素值为实数,并且所述分类器的每个像素值表示所述生成的相位展开图中的对应像素值为真的概率;以及
优化模块,其配置为当所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率不同时,根据所述分类器的像素值计算所述生成式网络的损失值,并根据所述损失值优化所述生成式对抗网络的模型参数;
其中,所述生成模块、所述合成 模块、所述判别模块和所述优化模块所执行的操作被重复执行,直到所述生成的相位展开图中的对应像素值为真的概率与所述生成的相位展开图中的对应像素值为伪的概率相同,以得到用于相位展开的生成式对抗网络。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实施上述权利要求1-7中任一项所述方法的步骤。
10.一种生成式对抗网络系统,所述生成式对抗网络系统包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实施上述权利要求1-7种任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910486859.0A CN110378367B (zh) | 2019-06-05 | 2019-06-05 | 用于相位展开的生成式对抗网络的获取方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910486859.0A CN110378367B (zh) | 2019-06-05 | 2019-06-05 | 用于相位展开的生成式对抗网络的获取方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378367A CN110378367A (zh) | 2019-10-25 |
CN110378367B true CN110378367B (zh) | 2021-04-30 |
Family
ID=68249827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910486859.0A Active CN110378367B (zh) | 2019-06-05 | 2019-06-05 | 用于相位展开的生成式对抗网络的获取方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378367B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111189408A (zh) * | 2020-01-08 | 2020-05-22 | 西安工业大学 | 一种投影莫尔齿轮齿面三维测量装置和测量方法 |
CN111189414B (zh) * | 2020-01-09 | 2021-09-03 | 西安知象光电科技有限公司 | 一种实时单帧相位提取方法 |
CN112381172B (zh) * | 2020-11-28 | 2022-09-16 | 桂林电子科技大学 | 一种基于U-net的InSAR干涉图像相位解缠方法 |
CN113674370A (zh) * | 2021-08-02 | 2021-11-19 | 南京理工大学 | 基于卷积神经网络的单帧干涉图解调方法 |
CN114322841B (zh) * | 2021-12-06 | 2022-11-18 | 重庆邮电大学 | 一种投影光栅相移生成动态三维测量方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103337071A (zh) * | 2013-06-19 | 2013-10-02 | 北京理工大学 | 基于结构重建的皮下静脉三维可视化装置及方法 |
CN109253708A (zh) * | 2018-09-29 | 2019-01-22 | 南京理工大学 | 一种基于深度学习的条纹投影时间相位展开方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8922780B2 (en) * | 2009-05-14 | 2014-12-30 | Andover Photonics, Inc. | Shape measurement using microchip based fringe projection |
US10115599B2 (en) * | 2012-09-28 | 2018-10-30 | The Board Of Trustees Of The University Of Illinois | Spectrally and temporally engineered processing using photoelectrochemistry |
-
2019
- 2019-06-05 CN CN201910486859.0A patent/CN110378367B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103337071A (zh) * | 2013-06-19 | 2013-10-02 | 北京理工大学 | 基于结构重建的皮下静脉三维可视化装置及方法 |
CN109253708A (zh) * | 2018-09-29 | 2019-01-22 | 南京理工大学 | 一种基于深度学习的条纹投影时间相位展开方法 |
Non-Patent Citations (1)
Title |
---|
PhaseNet:A Deep Convolutional Neural Network for Two-Dimensional Phase Unwrapping;Spoorthi等;《IEEE》;20181101;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110378367A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378367B (zh) | 用于相位展开的生成式对抗网络的获取方法、装置及系统 | |
US10706622B2 (en) | Point cloud meshing method, apparatus, device and computer storage media | |
CN103503025B (zh) | 基于对对象的模型进行变换来确定模型参数 | |
US8538077B2 (en) | Detecting an interest point in an image using edges | |
EP3742113B1 (en) | System and method for marking images for three-dimensional image generation | |
CN108122256A (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
CN111080662A (zh) | 车道线的提取方法、装置及计算机设备 | |
CN112336342B (zh) | 手部关键点检测方法、装置及终端设备 | |
Zenkova et al. | Pseudo-phase mapping of speckle fields using 2D Hilbert transformation | |
CN112561850A (zh) | 一种汽车涂胶检测方法、设备及存储介质 | |
CN115205360A (zh) | 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用 | |
CN111079893B (zh) | 用于干涉条纹图滤波的生成器网络的获取方法和装置 | |
JP2003216931A (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
Zhu et al. | Invalid point removal method based on error energy function in fringe projection profilometry | |
CN106327481A (zh) | 基于大数据的图像篡改检测方法及装置 | |
Hallek et al. | Real-time stereo matching on CUDA using Fourier descriptors and dynamic programming | |
CN111178266B (zh) | 一种生成人脸关键点的方法及装置 | |
CN117053716A (zh) | 一种圆形孔径干涉图轮廓参数自动检测方法 | |
Kalutskiy et al. | Method of moving object detection from mobile vision system | |
CN112562059B (zh) | 一种自动化结构光图案设计方法 | |
EP3327481A1 (en) | Method for modelling an imaging device, corresponding computer program product and computer-readable carrier medium | |
CN106575356A (zh) | 提取被周期性图案遮盖的非周期性图案的方法及执行该方法的装置 | |
Wang et al. | Suppression method for strong interference from stray light in 3D imaging system of structured light | |
CN117496499B (zh) | 3d结构光成像中虚假深度边缘的识别和补偿方法、系统 | |
Marques et al. | An algorithm for the delineation of craters in very high resolution images of Mars surface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |